기술 요약: 다국어 언어 모델의 공유된 난이도 기하학

문제 정의

대규모 언어 모델(LLM)이 다국어 환경에 점점 더 많이 배치되고 있음에도 불구하고, 모델의 내부 추론에 대한 이해는 영어에 지나치게 편향되어 있습니다. 이전 연구(Lugoloobi and Russell, 2025)는 영어에서 인간이 인지하는 문제 난이도가 모델의 잔차 활성화(residual activations)로부터 선형적으로 디코딩될 수 있음을 보여주었으며, 이를 통해 환각 현상을 줄이는 개입이 가능함을 입증했습니다. 그러나 이러한 난이도 신호가 다른 언어에서도 지속되는지는 아직 탐구되지 않았습니다. 구체적으로, 모델이 동일한 수학 문제를 다른 언어로 접했을 때, 서로 다른 난이도 표현을 구축하는지, 아니면 모든 입력을 활성화 공간 내의 공유된 "난이도" 개념으로 투영하는지가 핵심 질문입니다. 본 논문은 난이도 프로빙(probing)과 다국어 표현 학습 사이의 간극을 메워, 문제 난이도 추정과 같은 고차원적 메타 인지적 특성이 언어 간에 일반화되는지를 규명하고자 합니다.

방법론

저자들은 IRT(문항 반응 이론)를 통해 도출된 연속적인 난이도 점수가 주석 처리된 Easy2Hard 벤치마크의 AMC 서브셋을 기반으로 다국어 벤치마크를 구축했습니다.

• 데이터: 원본 영어 문제들을 gpt-5.1을 사용하여 20개의 추가 언어로 번역하여 21개 언어 데이터셋을 생성했습니다. 데이터셋은 언어당 약 3,000개의 문제는 학습용으로, 1,000개의 문제는 테스트용으로 사용되도록 분할되었습니다. 이 분할은 동일한 미학습 문제에 대한 교차 언어 평가를 보장하기 위해 문제 단위로 정의되었습니다.
• 모델: 다양한 아키텍처와 규모를 가진 네 가지 지시 미세 조정(instruction-tuned) LLM을 평가했습니다: LLaMA-3.1-8B, LLaMA-3.2-3B, LLaMA-3.2-1B, 그리고 Qwen3-8B.
• 특징 추출: TransformerLens를 사용하여 모든 트랜스포머 레이어의 잔차 스트림 활성화를 추출했습니다. 구체적으로, 난이도의 선형 프로빙에 가장 정보가 많은 표현으로 식별된 마지막 프롬프트 토큰에서의 잔차 벡터를 기록했습니다.
• 프로빙 및 평가: 각 레이어에서 연속적인 난이도 점수를 예측하도록 선형 리지 회귀(Linear Ridge regression) 프로브를 독립적으로 훈련했습니다. 프로브는 단일 언어로 훈련되었으며 두 가지 방식으로 평가되었습니다:
  1. 단일 언어(Monolingual): 동일한 언어로 훈련 및 테스트.
  2. 교차 언어(Cross-lingual): 언어 A로 훈련하고 언어 B로 테스트.
     성능은 예측된 난이도 점수와 실제 점수 사이의 스피어먼 순위 상관계수($\rho$)를 사용하여 측정되었습니다.

주요 결과

본 연구는 난이도 표현의 깊이 의존적 조직화(depth-dependent organization)를 밝혀냈으며, 이는 교차 언어 일반화와 언어 특화 정확도 사이의 트레이드오프를 보여줍니다.

1. 2단계 표현 과정:

   • 얕은 레이어(초기): 얕은 표현에서 훈련된 프로브는 강력한 교차 언어 일반화 성능을 보입니다. LLaMA-3.1-8B의 경우, 교차 언어 전이는 레이어 14 부근에서 정점에 도달합니다. 이 레이어들은 문제 난이도에 대한 언어 불가지론적(language-agnostic) 표현을 지원합니다.
   • 깊은 레이어(후기): 깊은 표현에서 훈련된 프로브는 훈련된 언어 내에서는 더 높은 정확도를 달성하지만, 언어 간 일반화는 잘 이루어지지 않습니다. LLaMA-3.1-8B의 경우, 동일 언어 성능은 레이어 30 부근에서 정점에 도달합니다. 이 레이어들은 난이도 신호를 언어 특화된 형태로 정교화합니다.

2. 정량적 트레이드오프:

   • 프로브가 "대각선 최적(diagonal-optimal)" 레이어(동일 언어 성능에 최적화된 레이어)에 고정되어 교차 언어적으로 평가될 때 성능이 크게 하락합니다 (예: LLaMA-3.1-8B의 경우 스피어먼 $\rho$가 평균 0.177 감소).
   • 반대로, 프로브가 "오프-대각선 최적(off-diagonal-optimal)" 레이어(교차 언어 전이에 최적화된 레이어)에 고정되어 단일 언어로 평가될 때, 동일 언어 성능의 손실은 미미합니다 (예: LLaMA-3.1-8B의 경우 감소 폭이 0.014에 불과함).

3. 모델 간 일관성: 이러한 깊이 의존적 분리는 평가된 모든 모델(LLaMA-3.1-8B, LLaMA-3.2-3B, LLaMA-3.2-1B, Qwen3-8B)에서 일관되게 관찰되었으며, 절대적인 레이어 인덱스는 모델의 깊이에 따라 이동했습니다.

주요 기여

• 난이도의 다국어 기하학: 본 논문은 문제 난이도가 네트워크 초기에 나타나는 공유된, 언어 불가지론적인 방향으로 인코딩되며, 이후 더 깊은 레이어에서 언어 특화된 표현으로 정교화된다는 것을 입립함으로써 문제 난이도의 다국어 기하학을 확립했습니다.
• 난이도 프로빙의 확장: Lugoloobi와 Russell(2025)의 연구를 영어 너머로 확장하여, 난이도 신호가 영어 중심적 훈련의 산물이 아니라 진정한 다국어적 내부 속성임을 입증했습니다.
• 기계론적 통찰: 본 연구는 난이도 인코딩을 LLM 해석 가능성의 광범위한 발견과 연결하며, 모델이 언어 특화된 출력을 생성하기 전에 추상적인 개념 공간(언어 불가지론적)에서 작동함을 시사합니다. 이는 의미론적 내용뿐만 아니라 고차원적 메타 인지적 속성에도 적용됩니다.

의의 및 주장

저자들은 이러한 발견이 두 가지 주요 통찰을 제공한다고 주장합니다:

1. 난이도 신호의 견고성: 영어에서 식별된 난이도 신호는 언어적 산물이 아니라, 저자원 언어를 포함한 21개 언어 전반에 걸쳐 지속되는 LLM의 근본적인 내부 속성을 반영합니다.
2. 기계론적 기원: 난이도의 기계론적 역할(이전 연구에서 스티어링 및 환각 감소를 지원하는 것으로 밝혀진 바 있음)은 언어 특화된 추론에 앞서 발생하는 공유된 표현 하위 공간에서 기원합니다. 이는 난이도를 표면적인 언어 특징의 부산물이 아닌 고차원적인 내부 신호로 보는 것을 뒷받art합니다.

실무적 관점에서 본 논문은 얕은 활성화에서 훈련된 경량 난이도 예측기를 언어별 튜닝 없이 배포할 수 있음을 시사합니다. 이는 특히 라벨링된 데이터가 부족한 저자원 환경에서 언어 불가지론적인 라우팅, 커리큘럼 설계 또는 연산량 인식 추론(compute-aware inference)을 가능하게 합니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 언급했습니다:

• 도메인 특수성: 분석이 잘 보정된 인간 유래 라벨을 제공하는 수학 문제 해결(AMC 서브셋)에 국한되어 있습니다. 이러한 기하학이 상식 추론이나 개방형 생성과 같은 주관적인 영역에도 확장되는지는 불분명합니다.
• 모델 범위: 평가는 소수의 지시 미세 조정된 디코더 전용 모델에 한정되었습니다.
• 인과적 증거: 결론은 신호의 존재와 정렬을 확립하는 프로빙 분석에 기반하고 있으며, 신호가 모델 행동을 형성하는 인과적 역할을 입증하지는 않습니다. 비록 이전 연구에서 영어에서의 인과적 효과를 보여주었으나, 스티어링 개입이 언어 간에 전이되는지는 여전히 미해결 과제로 남아 있습니다.