기술 요약: 다국어 도구 사용 에이전트의 효율적 적응 (LuckyStar 111B)

1. 문제 정의

다국어 환경에서 작동하는 엔터프라이즈 어시스턴트는 복잡한 제약 조건에 직면합니다. 이들은 프라이빗 데이터에 대해 추론하고, 도구 호출(SQL 또는 검색 등)을 실행하며, 엄격한 메모리 및 서빙 예산을 준수해야 합니다. 특히 한국어-영어 이중 언어 환경에서는 에이전트가 한국어 요청을 파싱하고, 영어 중심의 스키마나 문서에 대해 추론하며, 도구를 실행한 뒤, 수치적으로 근거가 명확한 결과를 포함하여 한국어로 답변해야 하는 특정한 과제가 발생합니다.

기존 방식은 모델을 처음부터 학습시키거나 서로 다른 워크로드(예: 추론용 vs. 간결한 상호작용용)를 위해 별도의 모델을 유지해야 하는 경우가 많으며, 이는 비용이 많이 들고 비효로적입니다. 또한, 사후 학습된(post-trained) 다국어 모델을 검증 가능한 에이전트 워크플로우에 적응시킬 때, 언어 드리프트(한국어 프롬프트가 영어 답변을 유도하는 현상)나 추론 최적화 후의 장황함(verbosity)과 같은 실패 모드가 발생하기 쉽습니다. 본 연구의 목표는 메모리 제약이 있는 배포 환경(예: 단일 GPU 서빙)에서 하이브리드 추론 및 도구 사용을 효율적으로 처리할 수 있도록 대규모 사후 학습 다국어 모델을 적응시키는 것입니다.

2. 방법론

저자들은 Cohere의 완전 사후 학습된 Command A 모델을 기반으로 적응시킨 111B 파라미터 규모의 이중 언어 모델인 LuckyStar 111B를 소개합니다. 팀은 처음부터 사전 학습을 수행하는 대신, 일반적인 지시 이행 품질을 유지하면서 추론 및 도구 사용 능력을 추가하기 위해 3단계 적응 파이프라인을 채택했습니다.

2.1 하이브리드 적응 파이프라인

핵심 설계 선택은 프리앰블 컨디셔닝(preamble conditioning)을 통한 하이브리드 추론입니다. 모델은 동일한 가중치를 사용하여 두 가지 운영 모드를 지원합니다:

• 추론 모드(Reasoning Mode): 특정 프리앰블에 의해 트리거되며, 수학, 도구 사용 및 자연어-SQL 변환(NL2SQL)을 위한 단계별 행동을 유도합니다.
• 비추론 모드(Non-Reasoning Mode): 다른 프리앰블에 의해 트리거되며, 표준 사용자 상호작용을 위한 간결한 응답을 유도합니다.

학습 파이프라인은 다음과 같이 구성됩니다:

1. 하이브리드 지도 미세 조정(Hybrid SFT): 데이터셋은 간결한 동작을 보존하기 위해 약 80%의 추론 예시(수학, 코드, 도구 사용)와 약 20%의 비추론 예시로 구성됩니다. 추론을 위해 모델은 최종 답변 전에 중간 단계를 생성하도록 학습됩니다.
2. 검증 가능한 보상을 통한 강화 학습(RLVR): 이 단계는 다단계 작업의 정확성을 최적화합니다.
   • 데이터 큐레이션: NL2SQL을 위해 팀은 Spider, BIRD, SynSQL에서 10만 개의 검증 가능한 프롬프트-쿼리 쌍을 큐레이션하였으며, 출력 토큰이 1~500개 사이인 실행 가능한 쿼리로 필터링했습니다.
   • 콜드 스타트 솔루션: 베이스 모델의 큐레이션된 NL2SQL 세트 정확도가 1% 미만이었기 때문에, 팀은 SFT 부트스트래핑을 위한 고품질 트레이스를 생성하기 위해 강력한 내부 모델 및 오픈 모델을 활용한 **Best-of-N 거절 샘플링(rejection sampling)**을 사용했습니다.
   • 보상 함수: 규칙 기반 검증기 또는 LLM 심사역(Command A)을 기반으로 정확성에 따라 이진 보상이 할당됩니다.
3. 오프라인 선호도 정렬(DPO): RLVR로 인해 발생하는 장황함을 상쇄하기 위해, 팀은 낮은 학습률로 직접 선호도 최적화(DPO)를 적용했습니다. 이 단계는 직접적인 답변이 "선택(chosen)"되고 장황한 출력이 "거부(rejected)"되는 선호 쌍을 사용하여, 추론 능력을 저하시키지 않으면서 챗봇의 동작을 정교화합니다.

2.2 다국어 추론 전략

초기 실험 결과, 프롬프트가 한국어임에도 불구하고 영어 추론 트레이스와 최종 답변으로 언어가 드리프트되는 현상이 발견되었습니다.

• 번역 시도: 영어 추론 트레이스를 한국어로 번역하는 것은 자연스러움과 학습 신호의 저하로 인해 개선 효과가 미미했습니다.
• 혼합 언어 전략: 팀은 모델이 영어로 추론하되, **최종 답변은 사용자의 언어(한국어)**로 생성하도록 하는 전략을 채ền택했습니다.
• 언어 일관성 페널티: RLVR 과정 중, 최종 답변의 언어가 프롬프트 언어와 일치하지 않을 경우 페널티($r_{penalty} = 0.5$)를 적용하되, 중간 추론은 영어로 유지했습니다. 이를 통해 언어 불일치율을 SFT 단계의 12.2%에서 최종 RLVR 단계의 0.8%로 크게 낮추었습니다.

2.3 효율적 배포

메모리 제약을 해결하기 위해 모델을 FP8에서 4비트 가중치로 양자화했습니다. 이를 통해 메모리 풋프린트를 약 50% 줄여, 111B 파라미터 모델을 단일 80GB H100 GPU에서 실행할 수 있게 했습니다.

3. 주요 결과

적응된 LuckyStar 111B 모델은 일반적인 다국어 품질을 유지하면서 도구 사용 및 추론 능력에서 상당한 향상을 보여주었습니다.

• 추론 및 도구 사용:

  • 수학적 추론: AIME 2024(Command A의 10.0 대비 69.3) 및 MATH 500(76.2 대비 93.6)에서 Pass@1 정확도 향상.
  • 함수 호출(Function Calling): BFCL v3에서 향상(13.3 대비 73.7).
  • 엔터프라이즈 NL2SQL: 내부 150개 질문 벤치마크에서 7.3에서 38.0으로 향상.
  • LG 에이전틱 평가: 검색과 SQL이 필요한 60개 문항의 비즈니스/금융 벤치마크에서 2.67에서 4.85로 향상.
  • 4비트 양자화 모델은 이러한 벤치마크 전반에서 FP8 모델과 대등한 성능을 유지했습니다.

• 일반 다국어 품질:

  • 모델은 강력한 지시 이행 능력을 보존했습니다. 한국어 벤치마크(KMMLU, ARC-C, IFEval, MT-Bench)에서 다른 강력한 독점 모델(예: GPT-4o, Claude 3.7 Sonnet) 및 베이스 모델인 Command A와 대등하거나 이를 상회하는 점수를 기록했습니다.
  • 영어 성능 또한 견고하게 유지되었으며, MMLU(82.7) 및 ARC-C(93.8) 점수는 베이스 모델과 일치하거나 이를 상회했습니다.

4. 의의 및 주장

본 논문은 사후 학습된 다국어 모델을 메모리 제약이 있는 배포 환경에서 검증 가능한 에이전트 워크플로우에 적응시키기 위한 실질적인 레시피를 제공한다고 주장합니다.

• 하이브리드 추론: 프리앰블 컨디셔닝의 사용은 단일 모델이 간결한 모드와 추론 모드 사이를 전환할 수 있게 하여, 서로 다른 엔터프라이즈 워크로드를 위해 별도의 모델을 운용할 필요성을 없애줍니다.
• 실패 모드 분석: 저자들은 에이전트 시스템을 확장할 때 발생하는 세 가지 핵심 실패 모드를 식별하고 해결했습니다:
  1. NL2SQL 콜드 스타트: 거절 샘플링된 SFT를 통해 RL을 위한 부트스트래핑 문제를 해결했습니다.
  2. 언어 드리프트: RLVR 과정 중 언어 일관성 보상을 통해 해결했습니다.
  3. 장황함(Verbosity): 오프라인 선호도 정렬(DPO)을 통해 해결했습니다.
• 배포 가능성: 본 연구는 111B 파라미터 모델이 4비트 양자화를 통해 단일 H100 GPU에서 효과적으로 배포될 수 있음을 입증하며, 이를 통해 제한된 하드웨어 환경에서도 고급 에이전트 기능을 사용할 수 있게 합니다.
• 관심사의 분리: 결과는 내부 추론 언어(영어)와 사용자 대면 응답 언어(한국어)를 분리하는 것이 다국어 에이전트를 위한 실용적인(비록 불완전할지라도) 전략임을 시사합니다. 다만, 네이티브 언어 추론은 향후 과제로 남아 있습니다.

저자들은 공개 벤치마크가 비교 가능성을 제공하지만, 실제 세계의 배포에 필요한 특정 워크플로우, 스키마 제약 및 수치적 정확도를 포착하기 위해서는 내부 엔터프라이즈 평가가 필수적임을 강조합니다.