🤖 machine learning

Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap

이 논문은 고정된 출력 토큰 제한이 다국어 추론 격차를 인위적으로 부풀리거나 역전시키는 숨겨진 실험 변수로 작용한다는 점을 입증하며, 평가가 진정한 추론 결핍과 절단 아티팩트를 구분하기 위해서는 단일 제한치가 아닌 다양한 출력 예산의 스펙트럼에 걸친 정확도를 보고해야 한다고 주장한다.

원저자: Ankit Goyal, Jaideep Ray

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ankit Goyal, Jaideep Ray

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 두 명의 서로 다른 러너가 경주를 얼마나 빨리 마칠 수 있는지 측정하려고 한다고 상상해 보십시오. 한 러너는 단어가 짧고 강렬한 언어를 사용하고, 다른 러너는 단어가 길고 화려한 언어를 사용합니다. 만약 당신이 두 러너에게 "정확히 100걸음을 걸었을 때 달리기를 멈춰야 합니다"라고 말한다면, 당신은 단순히 그들의 속도를 테스트하는 것이 아니라, 그들의 언어가 같은 내용을 말하기 위해 얼마나 많은 걸음(단어)을 필요로 하는지를 은밀히 테스트하는 것입니다. 긴 단어를 사용하는 러너는 속도가 느려서가 아니라, 그들의 보폭에 비해 결승선이 너무 일찍 설정되었기 때문에 문장 중간에 끊길 수도 있습니다. 이것이 현대 인공지능의 핵심적인 퍼즐입니다. 우리가 AI 모델에게 다양한 언어로 수학 문제를 풀도록 요청할 때, 종종 그들이 모국어보다 영어를 거쳐 번역하여 문제를 풀 때 더 잘 수행하는 것을 목격하곤 합니다. 과학자들은 이를 "다국어 추론 격차(multilingual reasoning gap)"라고 부릅니다. 하지만 이 격차가 AI가 실제로 모국어에서 더 "멍청해진" 것인지, 아니면 게임의 규칙을 설정하는 방식에서 발생한 측정 오류인 것일까요?

"Mind the Cap"이라는 제목의 이 논문은 그 유명한 격차가 실제로 측정 테이프의 속임수인지 조사합니다. 연구진은 두 가지 인기 있는 AI 모델(Qwen과 Llama)이 독일어, 태국어, 스와힐리어로 수학 문제를 풀도록 하는 경주를 설정했습니다. 그들은 두 가지 전략을 비교했습니다. 즉, AI가 모국어로 생각하고 답하게 하는 방식(NATIVE)과, 문제를 영어로 번역하여 영어로 생각한 뒤 모국어로 답하게 하는 방식(TRANSLATE-ACT)입니다. 반전은 무엇이었을까요? 그들은 단순히 최종 점수만 본 것이 아니라, AI가 답을 쓰는 데 사용할 수 있는 디지털 구성 단위(토큰)의 최대치인 '토큰 캡(token cap)'을 변경하며 경주가 진행되는 과정을 단계별로 관찰했습니다.

저자들은 이 "격차"가 고정된 진리가 아니라, 얼마나 촘촘하게 통제하느냐에 따라 완전히 달라지는 움직이는 목표물이라는 것을 발견했습니다. 캡이 매우 타이트할 때(예: 128 토큰), 모국어는 종종 처참하게 패배하는데, 이는 AI가 추론을 못 해서가 아니라 단순히 문장을 끝마칠 공간이 부족하기 때문입니다. 그러나 캡을 느슨하게 만들수록 격차는 줄어들었고 때로는 사라지기도 했습니다. 실제로 특정 예산인 1,024 토큰에서 한 모델(Qwen)의 격차는 거의 완전히 사라졌는데, 이는 AI가 추론 능력이 부족했던 것이 아니라 단지 숨 쉴 공간이 더 필요했을 뿐임을 시사합니다.

또한 연구진은 AI에게 시작하기 전에 제한 사항을 알려주는 것이 어떻게 행동을 변화시키는지에 대한 놀라운 사실도 발견했습니다. 태국어 모국어 AI에게 "당신은 128 토큰만 사용할 수 있습니다"라고 말했을 때, AI는 "당신은 2,048 토큰을 사용할 수 있습니다"라고 말했을 때보다 오히려 더 나은 성능을 보였습니다. 비록 실제 하드 리밋(hard limit)은 두 경우 모두 동일했음에도 말입니다. AI는 자신이 서둘러야 한다고 생각할 때 더 효율적으로 움직이는 듯 보입니다.

궁극적으로 이 논문은 "추론 격차"가 흔히 "예산의 결과물(budget artifact)"이라고 주장합니다. AI에게 생각을 마칠 충분한 공간을 준다면, 모국어는 종종 따라잡을 수 있습니다. 연구진은 실험을 사전에 고정하고 수천 건의 새로운 독립 테스트를 실행함으로써 이를 검증했습니다. 그들은 격차가 타이트한 예산에서는 실재하지만, AI가 전체 답변을 작성할 수 있게 되면 종종 사라진다는 것을 발견했습니다. 또한 "어휘 확장(vocabulary extension)"—AI에게 모국어를 위한 더 짧은 단어들을 제공하는 것—을 테스트했지만, 이는 오직 AI의 문장이 끊길 정도로 예산이 타이트할 때만 도움이 되었습니다. 일단 AI에게 충분한 공간이 주어지면 추가적인 단어들은 별 차이를 만들지 못했습니다.

핵심적인 교훈은 토큰 제한을 단순한 배경 설정으로 취급해서는 안 된다는 것입니다. 그것은 결과값을 변화시키는 변수입니다. 만약 우리가 AI가 특정 언어로 진정으로 추론할 수 있는지 알고 싶다면, 단 하나의 제한 조건으로 단 하나의 점수만을 봐서는 안 됩니다. 우리는 출발 신호부터 결승선까지 전체 경주를 지켜봐야 하며, 때때로 AI가 실패하는 것은 사고하는 데 실패한 것이 아니라 단지 생각을 끝맺는 데 실패한 것일 수도 있다는 사실을 깨달아야 합니다.

기술 요약: Mind the Cap (한계치를 유의하라)

문제 정의
대규모 언어 모델(LLM)의 다국어 평가에서는 모델이 영어로 번역된 문제(예: "Translate-Act" 전략)를 풀 때보다 모국어로 직접 추론할 때 성능이 낮게 나타나는 "추론 격차(reasoning gap)"가 빈번하게 보고된다. 그러나 이러한 평가들은 대개 단일하고 고정된 출력 토큰 한계치(cap)에서 정확도를 측정한다. 본 논문은 이 한계치가 숨겨진 실험 변수라고 주장한다. 언어마다 동일한 내용을 표현하는 데 필요한 토큰 수가 다르기 때문에(토큰 프리미엄), 고정된 한계치는 영어로 번역된 결과물에 비해 모국어 추론 과정을 불균형적으로 중단시킨다. 저자들은 측정된 "추론 격차"가 실제 다국어 추론 능력의 결함이라기보다는, 토큰 예산의 불일치로 인한 인위적인 현상(artifact)일 수 있다고 가정한다.

방법론
본 연구는 세 가지 언어(독일어, 태국어, 스와힐리어)와 두 가지 모델(Qwen3-8B, Llama-3.1-8B-Instruct)을 대상으로 MGSM(Multilingual Grade Science Math) 벤치마크를 분석함으로써 "토큰 예산 인위성(token-budget artifact)"을 구체화한다.

실험 설계:
- 전략: 네 가지 프롬프팅 전략을 평가하였다: NATIVE (대상 언어로 추론 및 답변), TRANSLATE-ACT (영어로 번역하여 풀고, 대상 언어로 답변), PIVOT (영어로 추론하고, 대상 언어로 답변), CODE-SWITCHED.
- 장부(The Ledger): 저자들은 48,000개의 저장된 생성물(각 4096 토큰)을 생성하였으며, 이 생성물들의 모든 접두사(prefix)를 점수화하였다. 이 "장부"를 통해 데이터를 재생성하는 과정 없이 다양한 예산 수준( $B$ )에서 사후적 평가가 가능하며, 이를 통해 예산 간 샘플링 노이즈를 제거하였다.
- 독립적 디코딩: 발견(discovery) 단계와 확인(confirmation) 단계 사이의 경로 공유를 방지하기 위해, 특정 예산에서 엄격한 한계치를 적용하여 생성된 540,000개의 별도 디코딩 샘플을 생성하여 결과를 검증하였다.
추정량 및 지표:
- 핵심 지표는 $\Delta_L(B) = acc_N(\lfloor r_{m,L} B \rfloor) - acc_N(B)$ 이다. 여기서 $acc_N$ 은 모국어 정확도, $B$ 는 예산, $r_{m,L}$ 은 영어 대비 언어 $L$ 의 FLORES-200 토큰 프리미엄이다.
- 이 지표는 모국어 정확도를 영어 번역의 토큰 비용에 맞춰 확장했을 때의 이득을 분리해낸다. 즉, "격차의 어느 정도가 추론 과정이 잘려 나갔기 때문인가?"를 묻는 것이다.
- 반증 가능한 가설: 만약 격차가 예산에 의한 인위적 현상이라면, 모국어 예산을 확장했을 때 격차가 줄어들 것이다. 만약 예산을 확장한 후에도 격차가 지속된다면, 이는 진정한 추론 결함을 의미한다.
통계적 엄밀성:
- 본 연구는 "사전적으로 동결된(prospectively frozen)" 설계를 채택하였다. 데이터 분석 전, 특정 예산( $B^*=1024$ )과 6개의 Holm 교정 테스트 세트를 정의하였다.
- 감사(Audits): 다섯 가지 장부 계산 가능 감사를 실시하였다: 추론 언어 ID(GlotLID), 번역 품질(COMET), 파서 견고성, 디코더 패리티, 정규화 민감도.

주요 결과

예산에 따른 격차 의존성:
- 측정된 격차는 출력 예산에 매우 민감하다. 엄격한 한계치 하에서 격차는 최대 57포인트까지 휘둘릴 수 있다.
- 길이 정규화(Length Normalization): 길이를 정규화(모국어 예산을 토큰 프리미엄에 맞춰 확장)하면, "예산 제약 영역(binding regime, 답변이 여전히 생성되는 구간)"에서 격차가 최대 38.9포인트까지 이동한다.
- 전략 역전: 매우 엄격한 한계치에서는 길이 정규화가 우월한 전략의 순위를 바꿀 수 있다. 예를 들어, Qwen 독일어 및 스와힐리어의 경우, 낮은 예산(예: 128 토큰)에서는 번역 서문이 너무 많은 토큰을 소비하여 답변을 남겨두지 못하기 때문에 NATIVE 전략이 TRANSLATE-ACT보다 더 우수한 성능을 보인다.
$B^*=1024$ 에서의 동결 테스트:
- 사전에 지정된 예산인 1024 토큰에서, 연구는 Qwen(및 Llama)에 대해 격차가 0이라는 귀무가설을 기각하는 데 실패하였다.
- 이유: 모국어 정확도가 이 예산에서 이미 포화 상태에 도달했기 때문이다(예: Qwen 독일어 모국어 정확도는 79%에서 정체됨). 정확도가 포화되면, 전략 간의 잔여 차이는 절단(truncation)에 의한 "추론 결함"이 아니라 "전략 성능 차이"(번역 품질, 프롬프트 재구성 등에 의한 것)가 된다.
- 본 연구는 "추론 격차"가 포화 지점에서는 식별되지 않는다고 결론 내린다. 즉, 격차는 추론 과정이 절단되는 예산 제약 영역에서만 관찰된다.
독립적 확인:
- 독립적으로 한계치가 적용된 디코딩을 사용한 두 번째 테스트 세트는, 발견 피크(예: 256 토큰에서의 태국어 38.9포인트)에서 관찰된 큰 격차가 공유된 궤적에 의한 인위적 현상이 아님을 확인하였다.
- 그러나 포화 지점( $B=1024$ )에서 독립 테스트 역시 귀무가설을 기각하지 못했으며, 이는 모국어 궤적이 완료되기에 충분한 예산이 주어지면 격차가 사라진다는 점을 뒷받침한다.
공지 효과(Announcement Effects):
- 예산을 모델에게 "공지"하는 것이 강제된 한계치가 고정되어 있더라도 행동을 변화시킨다는 것을 발견하였다. 더 좁은 예산(128 vs 2048)을 공지했을 때 태국어 모국어 정확도가 5.1포인트 상승했는데, 이는 정확도가 단순히 강제된 한계치뿐만 아니라 모델의 내부 예산 추정치에도 영향을 받는다는 것을 시사한다.
적응 사다리(어휘 확장):
- 어휘를 확장(대상 언어 토큰 추가)함으로써 격차를 줄일 수 있는지 테스트하였다.
- 결과: 어휘 확장은 한계치가 추론 과정을 절단하고 있는 구간에서만 격차를 줄였다. 포화 지점( $B=1024$ , 절단이 발생하지 않는 곳)에서는 확장이 0.00포인트의 격차도 줄이지 못했다.
- 이는 격차가 어휘력이나 추론 능력 자체의 부족이 아니라, 토큰 예산에 의한 절단에 의해 발생함을 확인시켜 준다.

의의 및 주장
본 논문은 다국어 추론을 어떻게 평가해야 하는지에 대한 방법론적 전환을 주장한다.

한계치는 변수이다: 출력 한계치는 배경 상수가 아닌 독립 변수로 취급되어야 한다. 단일 예산에서의 정확도 보고는 불충분하며 오해의 소지가 있다.
격차의 재정의: "다국어 추론 격차"는 종종 "예산 제약에 의한 인위적 현상"이다. 모국어 궤적이 완료될 수 있도록 (길이 정규화나 더 큰 한계치를 통해) 허용하면, 예산 제약 영역에서 격차는 감소하거나 사라진다.
포화 vs 결함: 모국어 정확도가 포화되면, 모국어 전략과 번역 전략 사이의 남은 차이는 실행 요소(번역 품질, 프롬프트 준수 등)를 반영하는 것이지 근본적인 다국어 추론 능력의 부재를 의미하는 것이 아니다.
실무적 지침: 비용이 많이 드는 적응(예: 미세 조정 또는 어휘 확장)에 투자하기 전에, 실무자들은 단순히 출력 한계치를 늘리는 것만으로 얻을 수 있는 실질적인 이득을 먼저 측정해야 한다. 한계치가 제약 요인이 아니라면, 이러한 개입은 아무런 이득을 주지 못할 것이다.

저자들은 자신들의 연구 범위가 MGSM 벤치마크, 테스트된 모델, 그리고 특정 "정확히 일치(exact match)" 평가 지표에 국한되어 있음을 명시하며 겸손한 입장을 취한다. 그들은 다국어 추론이 모든 맥락에서 영어 추론과 동일하다고 주장하는 것이 아니라, 이 특정 설정에서 "측정된" 격차가 상당 부분 토큰 예산에 의한 인위적 현상임을 밝히고 있다.

유사한 논문