기술 요약: API가 잘못된 언어로 말할 때

문제 정의: 인자 언어 불일치 (Argument Language Mismatch, ALM)

대규모 언어 모델(LLM)은 구조화된 API 호출을 통해 외부 시스템과 점점 더 많이 상호작용하고 있습니다. 최근의 발전이 영어 환경에서의 도구 사용(tool-use) 능력은 향상시켰으나, 다국어 설정에서는 신뢰도가 크게 저하됩니다. 본 연구에서 식별한 구체적이고 미개척된 실패 모드는 바로 **인자 언어 불일치(ALM)**입니다.

ALM은 모델이 사용자의 의도를 정확히 파악하고 적절한 API 도구를 선택했음에도 불구하고, 인자 값(argument values)을 사용자의 입력이나 시스템 요구사항과 일치하지 않는 언어로 생성할 때 발생합니다. 예를 들어, 스페인어로 질문한 사용자에게 API 호출 결과로 영어 인자가 전달될 수 있습니다. 이는 의미론적으로는 올바를지라도, 엄격한 언어 제약을 적용하는 시스템에서는 운영상 유효하지 않아 작업 실패로 이어집니다. 표준 API 호출 메트릭(예: AST 매칭)은 이러한 오류를 일반적인 호출 오류로 취급하여, 구체적인 원인을 은폐하는 경향이 있습니다.

방법론

벤치마크 구축

ALM을 연구하기 위해 저자들은 Berkeley Function Calling (BFC) 벤치마크의 다국어 확장 버전을 구축했습니다.

• 언어: 데이터셋은 스페인어(학습 및 평가), 이탈리아어, 네덜란드어, 프랑스어(평가 전용)를 포함합니다.
• 번역 프로토콜: 번역된 사용자 발화와 그에 따른 인자 값 사이의 일관성을 보장하기 위해 규칙 기반 번역 프로토콜을 설계했습니다. 고유 식별자와 API 강제 형식은 변경되지 않은 채 유지되었으며, 사용자 제공 자연어 인자만이 번역되었습니다.
• 평가 분할(Splits): 서로 다른 능력을 테스트하기 위해 두 가지 분할을 생성했습니다:
  • Split-1 (학습 가능성): 학습 세트와 테스트 세트 간의 API 중첩도가 중간 정도인 경우.
  • Split-2 (일반화): API 중첩도가 최소화되어, 보지 못한(unseen) API 및 인자 구조로의 전이 능력을 테스트하는 경우.

평가 메트릭

저자들은 ALM을 다른 오류로부터 격리하기 위해 계층적 평가 프레임워크를 제안합니다:

1. 도구 호출 탐지 (Tool Invocation Detection, TID): API 호출이 필요한지 정확히 결정함.
2. 도구 선택 정확도 (Tool Selection Accuracy, TSA): 올바른 API 함수를 선택함.
3. 인자 완성 정확도 (Argument Completion Accuracy, ACA): 필요한 모든 인자 이름을 생성함.
4. 인자 언어 일관성 (Argument Language Consistency, ALC): 텍ological 인자 값이 사용자의 언어와 일치하는지 확인함.
5. 함수 호출 일치 (Function Call Match, FCM): 전체 API 호출의 완전하거나 의미론적인 일치 여부.
   이 메트릭들은 엄격한 계층 구조($FCM \le ALC \le ACA \le TSA \le TID$)를 형성하여 언어 특화된 실패를 격리할 수 있게 합니다.

사후 학습 전략 (Post-Training Strategies)

본 연구는 세 가지 사후 학습 접근 방식을 비교합니다:

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT): 정답 구조 출력의 가능도(likelihood)를 극대화하는 기본 접근 방식입니다.
2. 강화 학습 (Reinforcement Learning, RL): 특히 **PPO(Proximal Policy Optimization)**와 **GRPO(Group Relative Policy Optimization)**를 사용합니다.
   • 보상 설계: 보상의 세밀함을 테스트하기 위해 세 가지 보상 모델(RM)을 설계했습니다:
     • RM-1 (희소 보상): 완벽한 실행 대 실패에 대한 이진(binary) 보상.
     • RM-2 (계층적 보상): 달성된 평가 계층의 깊이에 기반한 중간 보상.
     • RM-3 (인자 분해 보상): 언어 일치 품질에 따라 개별 인자 값에 특정 점수를 부여하는 연속적 인자 수준 보상.
   • 토큰 가중치 부여: 최적화 과정에서 인자 값 토큰의 가중치를 높이는(upweighting) 실험을 진행했습니다.
3. 웜 스타트 (Warm-Start): 구조적으로 올려된 후보를 생성할 수 있도록, SFT를 1 에포크 수행한 모델로부터 RL 학습을 시작했습니다.

주요 결과

1. 강력한 베이스라인으로서의 SFT

지도 미세 조정(SFT)만으로도 ALM 오류의 상당 부분을 해결할 수 있습니다.

• SFT는 기본 모델에 비해 인자 언어 일치성(ALC)과 엔드 투 엔드 함수 호출 일치(FCM)를 실질적으로 개선합니다.
• 통제된 조건(최적의 검증 체크포인트 선택) 하에서, SFT는 더 복로한 RL 기반 접근 방식과 대등하거나, 경우에 따라(Split-1 FCM) 이를 능가하는 성능을 보여줍니다.
• 이는 다국어 API 그라운딩(grounding) 성능의 상당 부분이 복잡한 최적화 목적 함수 없이도 세심한 지도 학습과 모델 선택을 통해 달성될 수 있음을 시사합니다.

2. RL을 통한 점진적 이득

강화 학습(RL)은 SFT에 비해 추가적이지만 점진적인 이점을 제공합니다.

• 일반화: RL(특히 GRPO)은 SFT에 비해 보지 못한 API와 언어에 대해 더 강력한 일반화 성능을 보입니다. 이는 모델이 표면 형식을 암기하기보다 추상적인 규칙("인자 언어를 사용자 로케일에 맞출 것")을 학습하고 있음을 나타냅니다.
• 추론 능력 보존: 중요한 발견은 작업 성능과 일반 추론 능력 사이의 트레이드오프입니다. 가장 성능이 좋은 SFT 모델은 영어 추론 능력(MGSM 벤치마크)에서 상당한 하락을 보인 반-면, RL 방식(GRPO)은 API 정확도에서 경쟁력 있는 성과를 달성하면서도 추론 성능을 유지했습니다.
• 보상의 세밀함: 보상의 세밀함이 RM-1에서 RM-3으로 증가함에 따라 성능이 단조 증가했습니다. 인자 분해 보상(RM-3)은 미세한 크레딧 할당(credit assignment)에 필수적이었으며, 모델이 부분적으로 옳은 출력과 거의 완벽한 출력을 구분할 수 있게 했습니다.

3. 최적화 역학

• GRPO vs. PPO: GRPO는 ALC와 FCM 모두에서 일관되적으로 PPO보다 우수한 성능을 보였습니다. 저자들은 이를 GRPO의 그룹 상대적 정규화(group-relative normalization) 덕분으로 보는데, 이는 보상이 희소하거나 특정 토큰(인자 값)에 국한될 때 학습을 안정화하는 반면, PPO의 배치 수준 정규화는 변동성이 큰 보상에 민감하게 반응했기 때문입니다.
• 토큰 가중치 부여: 인자 값 토큰의 가중치를 높이는 것은 GRPO의 성능을 향상시켰으나 PPO를 불안정하게 만들었습니다. 이는 보상 형성(reward shaping)과 최적화 알고론 사이의 상호작作用을 강조합니다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

1. ALM의 공식화: 표준 메트릭에 의해 가려질 수 있는, 다국어 에이전트 시스템에서 실질적으로 중요한 별개의 실패 모드로서 '인자 언어 불일치'를 식별하고 공식화했습니다.
2. 사후 학습의 재평가: 구조화된 다국어 생성을 위해 점점 더 복잡한 목적 함수가 반드시 필요하다는 가정에 도전합니다. 결과적으로 강력한 지도 베이스라인(SFT)이 대부분의 성능 향상을 달성할 수 있으며, RL은 근본적인 변화보다는 타겟팅된 점진적 개선을 제공한다는 것을 입증했습니다.
3. 다중 목적 트레이드오프를 위한 RL: SFT가 많은 경우에 충분하지만, 작업 특화 성능과 함께 견고한 일반화 및 일반 추론 능력을 동시에 유지해야 하는 시나리오에서는 RL(특히 인자 인식 보상과 GRPO를 결합한 형태)이 유용한 정교화 도구임을 주장합니다.

저자들은 구조화된 다국어 생성을 위해 지도 학습의 한계를 이해하는 것이 중요하다고 결론짓습니다. 모든 정렬(alignment) 문제가 복잡한 최적화를 요구하는 것은 아니지만, 보지 못한 구조로의 일반화나 다중 목적의 균형이 필요한 경우에는 구조화된 강화 학습이 필수적인 정교화 도구로 남습니다.