기술 요약: LLM의 추론 시 교차 언어 표현 정렬을 위한 점진적 코드 스위칭 (Gradual Code-Switching)

문제 정의

다국어 능력의 상당한 발전에도 불구하고, 대규모 언어 모델(LLM)은 언어 간에 불균형한 성능을 보인다. 이러한 격차는 **영어 중심의 잠재 표현(English-centric latent representations)**에 대한 과도한 의존에서 기인한다. 최근 연구에 따르면, LLM은 종종 비영어 입력값을 추론하기 전에 내부적으로 영어로 번역하는 과정을 거치며, 이로 인해 "번역 장벽(translation barrier)"이 발생한다. 만약 이 초기 내부 번역이 실패할 경우, 최종 출력의 품질은 급격히 저하된다.

이를 완화하기 위한 기존 방식인 **교차 언어 인컨텍스트 러닝(Cross-Lingual In-Context Learning, X-ICL)**은 일반적으로 급격하고 단일 단계적인 피벗(pivot)에 의존한다. 예를 들어, 모델에게 영어 예시를 제공하여 타겟 언어로 과제를 해결하게 하거나, 쿼리를 추론 전 영어로 완전히 번역하는 방식이다. 이러한 방법들은 표면적인 작업 패턴(예: 출력 형식)은 전이시키지만, 타겟 언어와 모델의 영어 중심 잠재 공간 사이의 근본적인 표현 격차를 효과적으로 메우지는 못한다. 결과적으로, 저자원 및 미학습 언어에서의 성능은 여전히 최적 수준에 미치지 못한다.

방법론: 코드 스위칭 인컨텍스트 러닝 (CSICL)

저자들은 교차 언어 표현을 정렬하기 위해 추론 경로를 명시적으로 스캐폴딩(scaffolding)하는 설계된, 훈련이 필요 없는 추론 시 메커니즘인 CSICL을 제안한다. CSICL은 급격한 전환 대신, 타겟 언어에서 영어로 전환되는 점진적 코드 스위칭(gradual code-switching) 전략을 채택한다.

핵심 메커니즘

CSICL은 두 가지 주요 구성 요소로 작동한다:

1. 점진적 번역 지시(Gradual Translation Instruction): 모델이 비영어 입력을 처리할 때, 이를 영어로 점진적으로 번역하고, 영어로 사고하며, 그 후 타겟 언어로 최종 답변을 생성하도록 지시한다.
2. 점진적 코드 스위칭 데몬스트레이션(Gradual Code-Switching Demonstrations): 모델에게 제공되는 퓨샷(few-shot) 예시들은 언어를 갑작스럽게 전환하지 않는다. 대신, 다음과 같은 단계적 진행을 따른다:
   • 0% (타겟 언어): 쿼리가 전체적으로 타겟 언어로 되어 있음.
   • 25% - 75% (중간 단계): 타겟 언어의 문법 구조를 유지하면서(Matrix Language Frame 모델), 쿼리에 영어 토큰을 점진적으로 포함함.
   • 100% (영어): 쿼리가 영어로 완전히 번역됨.

이러한 점진적 변화는 "언어적 가교(linguistic bridge)" 역할을 하여, 실제 추론 단계가 일어나기 전에 LLM이 비영어 입력을 모델의 영어 중심 추론 공간과 동적으로 정렬하도록 유도한다.

구현 세부 사항

• 데몬스트레이션 구축: 각 타겟 언어에 대해 저자들은 점진적 코드 스위칭 시퀀스를 생성한다. 기본 구현에는 GPT-5를 사용하여 데몬스트레이션을 구축하지만, CSICL은 근본적으로 외부 오라클(oracle)에 제한되지 않는다. 이 방법은 자기 생성(동일 모델 사용) 또는 규칙 기반 생성을 지원한다. 또한, 이 방법은 추론 모델로 GPT-5를 사용하는 것에 국한되지 않으며, 저자들은 Qwen3-32B, deepseek-chat-v3.1, grok-4-fast, Gemini 2.5 Flash 등 4개의 서로 다른 다국어 LLM에서 CSICL을 평가하였다.
• 방향성: 이 방법은 명시적으로 타겟 언어 $\to$ 영어로 전환된다. 절제 연구(ablation studies)에 따르면, 이 방향이 역방향(영어 $\to$ 타겟 언어)보다 우수한데, 이는 입력값을 모델의 잠재 공간에 정렬시키는 것이 모델로부터 멀어지는 것보다 효과적이기 때문이다.
• 그래뉴러리티(Granularity): 저자들은 다양한 단계 수(예: 3단계, 5단계, 7단계 전환)를 테스트하였으며, 5단계 선형 전환이 성능과 토큰 효율성 사이에서 가장 좋은 균형을 제공한다는 것을 발견했다.

주요 기여

1. CSICL 제안: 급격한 피벗의 함정을 피하면서, 구조화된 점진적 코드 스위칭을 통해 타겟 언어와 영어 표현을 연결하는 새로운 추론 시 메커니즘을 제안하였다.
2. 체계적인 경험적 증거: 4개의 다국어 LLM(Qwen3, DeepSeek, Grok, Gemini), 6개의 데이터셋(Global MMLU, MedExpQA, PolyMath 포함), 그리고 10개의 언어(고자원, 중자원, 저자원 환경을 포괄)에 걸친 종합적인 평가를 수행하였다.
3. 잠재 공간 시각화: 논문은 은닉 상태(hidden states)의 PCA를 통한 시각적 증거를 제공하여, CSICL이 비영어 입력 표현을 잠재 공간 내의 영어 앵커(English anchor)에 체계적으로 가깝게 이동시킨다는 것을 보여줌으로써 정렬 가설을 검증하였다.
4. 설계 요소 분석: 저자들은 방향성, 그래뉴러리티, 데몬스트레이션 생성 소스 등의 핵심 요소를 분석하여, CSICL이 자기 생성 또는 규칙 기반 데몬스트레이션을 사용할 때도 효과적임을 입증하였다.

실험 결과

CSICL은 모든 평가 설정에서 표준 X-ICL 베이스라인(단일 언어, 병렬, 번역 기반 프롬프팅 포함)을 일관되게 능가한다.

• 성능 향상:
  • 타겟 언어: 단일 언어 베이스라인 대비 평균 6.0 퍼센티지 포인트(pp) 향상.
  • 미학습 언어: 평균 4.8 pp 향상.
  • 저자원 설정: 개선 효과가 가장 두드러졌으며, 타겟 언어에서는 14.7 pp, 미학습 언어에서는 5.3 pp의 향상을 보였다.
• 작업 특이성:
  • 번역: CSICL은 타겟 언어에서 가장 큰 폭의 향상(+6.8 pp)을 기록했는데, 이는 점진적 전환이 잠재적 번역 과정을 직접적으로 스캐폴딩하기 때문이다.
  • 추론: 추론 중심 작업에서도 유의미한 개선(+5.4 pp)이 관찰되었으며, 이는 점진적 정렬을 통한 "영어로 생각하기"가 표현 간섭을 완화함을 시사한다.
  • 지식: 문화적 지식 및 사회적 편향 작업에서도 완만하지만 일관된 향상이 발견되었다.
• 효율성: 전체 CSICL 구성(5 shot, 5 step)은 단순한 베이스라인보다 더 많은 토큰을 사용하지만, 그 오버헤드는 표준 컨텍스트 창 내에서 관리 가능한 수준이다. 특히, 0-shot 및 1-shot 버전의 CSICL은 많은 기존 X-ICL 대안들보다 적은 토큰을 사용하면서도 강력한 베이스라인들을 능가한다.

의의 및 주장

본 논문은 CSICL을 모델 재학습이나 파인튜닝 없이 추론 중에 교차 언어 불일치를 줄이는 강력하고 효과적인 접근 방식으로 규정한다.

• 공평한 배포: 저자원은 저자원 및 미학습 언어에서의 성능을 개선함으로써, 능력이 영어에 크게 치우쳐 있는 현재의 한계를 해결하고 LLM을 더욱 공평한 다국어 시스템으로 나아가게 한다.
• 메커니즘 통찰: 본 연구는 점진적 코드 스위칭이 단순한 스타일적 선택이 아니라, 추론 궤적을 제어하는 기능적 메커니즘임을 확립한다. 이를 통해 모델이 타겟 언어의 충실도를 유지하면서도 가장 강력한 영어 추론 능력을 활용할 수 있게 한다.
• 실용적 유용성: 이 방법은 효율성과 정확성 사이의 유리한 트레이드오프를 제공하는 가볍고 튜닝 가능한 솔루션으로 제시되어, 예산이 제한된 환경(0/1-shot 변형 활용)과 높은 정확도가 요구되는 환경 모두에 적합하다.

저자들은 결론적으로 CSICL이 교차 언어 정렬에 대한 새로운 관점을 제시하며, 타겟 언어에서 영어로의 전환을 명시적으로 스캐폴딩하는 것이 기존 LLM의 다국어 능력을 크게 향상시킬 수 있음을 입증했다고 밝힌다.