기술 요약: 행동은 말보다 중요하다 (Actions Speak Louder than Words)

문제 정의

도구 사용 에이전트(tool-using agents)에 대한 현재의 다국어 평가는 거의 전적으로 최종 정답의 정확도에만 집중하며, 중간 단계의 행동 추적(action traces)은 무시하고 있다. 이러한 접근 방식은 에이전트가 여러 언어로 동일한 정답을 생성한다면 그 행동 또한 일관될 것이라고 가정한다. 그러나 에이전트에게 있어 '경로'(도구 호출 및 중간 단계의 시퀀스)는 실제 결과물 그 자체이다. 경로의 차이는 비용, 지연 시간, 실패 모드 및 감사 가능성(auditability)의 차이를 야기한다. 영어 추적(trace)에서 검증된 안전장치가 비영어 추적에서도 유효할지는, 최종 출력은 동일하더라도 기저의 행동 정책(action policy)이 다를 수 있기 때문에 보장할 수 없다.

핵심 문제는 교차 언어 정책 유지력(cross-lingual policy retention), 즉 세만틱하게 동일한 과업에 대해 에이전트가 서로 다른 언어 간에 동일한 일련의 행동을 실행하는 정도를 측정할 수 있는 방어 가능한 지표가 부족하다는 것이다. 표준적인 유사도 측정 방식은 다섯 가지 특정한 혼란 변수(confounds)로 인해 신뢰하기 어렵다:

1. 기준점 부재 (No Baseline): 모델은 완벽하게 자기 일관적(self-consistent)이지 않다. 동일한 질문을 동일한 언어로 두 번 물었을 때도 모델은 종종 서로 다른 추적을 생성한다. 동일 언어 기준점이 없다면 교차 언어 간의 차이를 분리해낼 수 없다.
2. 추적 길이 편향 (Trace Length Bias): 짧은 추적은 유사도 측정에서 인위적으로 높은 점수를 받는다.
3. 빈 추적 편향 (Empty Trace Bias): 행동이 없는 추적은 유사도에서 완벽한 점수(1.0)를 받아 결과를 왜곡한다.
4. 천장 효과 (Ceiling Effect): 가능한 최대 일치도는 모델 자체의 재현성(자기 일관성)에 의해 제한된다.
5. 우연한 바닥 (Chance Floor): 관련 없는 추적들도 우연히 50% 이상의 일치도를 보이므로, 유사도 측정 시 0이 아닌 기준점을 형성한다.

방법론

저자들은 위에서 언급한 다섯 가지 혼란 변수를 명시적으로 보정하여 **정규화된 정책 유지력($\tilde{I}$)**을 측정하는 프로토콜을 제안한다.

• 실험 설정:

  • 모델: Gemma-3, Sarvam-M, Qwen3, Llama-4, GPT-OSS를 포함하여 4B에서 235B 파라미터에 이르는 8개의 지시 미세 조정(instruction-tuned) 모델을 사용하였으며, 밀집(dense) 및 혼합 전문가(MoE) 아키텍처를 모두 포함한다.
  • 과업: 41개 언어로 구현된 6개의 병렬 벤치마크(FLORES-200, XQuAD, XNLI, Belebele, XCOPA, 그리고 합성 스위트)를 사용한다.
  • 규모: 505개 셀에 걸친 238만 개의 에이전트 롤아웃(rollout).
  • 스캐폴드(Scaffold): 고정된 기호적 도구 사용 스캐폴드(Thought/Action/Finish)와 공유된 5개 도구 알파벳을 사용한다. 추적은 정규 표현식(regex)을 통해 추출되며, 도구는 기호적(파싱되지만 실행되지는 않음)이다.

• 측정 프로토콜:

  • 반복 실험 (Replicates): 동일한 조건(동일한 시드, 과업, 예산) 하에서 모든 과업-언어 쌍을 두 번 생성하여 동일 언어 기준($I_{within}$)을 설정한다.
  • 교차 언어 비교: 서로 다른 언어의 추적을 비교한다 ($I_{cross}$).
  • 정규화: 지표는 $\tilde{I} = I_{cross} / I_{within}$로 정의된다. 이는 모델의 자기 일관성 천장에 대해 교차 언어 일치도를 정규화한다.
  • 보정:
    • 추적 길이 편향을 제거하기 위한 양방향 길이 매칭(Length-matching).
    • 빈 추적 제외.
    • 가정을 통한 것이 아닌 순열(permutation)을 통한 우연한 바닥(chance floor) 측정.
    • 천장 효과(자기 일관성)에 대한 보정.

• 개입 (Interventions):

  • 온도 사다리 (Temperature Ladder): 샘플링 노이즈와 구조적 발산을 구분하기 위해 온도 $T \in \{0, 0.3, 0.5, 0.7, 1.0\}$에 걸쳐 테스트한다.
  • 영어 피벗 절제 실험 (English Pivot Ablation): Translate 도구를 제거하거나 이를 첫 번째 단계로 강제하여 영어에 대한 인과적 의존성을 테스트한다.
  • 추적 길이 조작: 길이 효과를 격리하기 위해 추적 길이를 인위적으로 변화시킨다.

주요 결과

1. 보정할수록 커지는 효과

혼란 변수를 보정하면 관찰된 효과가 줄어들 것이라는 직관과는 반대로, 적용된 모든 보정(길이 매칭, 빈 추적 제거, 우연한 바닥 보정)은 측정된 발산을 증가시켰다. 가공되지 않은(raw) 언어 간 격차는 하한선이었으며, 보정된 격차는 훨씬 더 컸다.

2. 프런티어 모델에서의 수렴

그리디 디코딩($T=0$) 하에서, 다양한 규모, 아키텍처 및 학습 혼합물을 가진 네 개의 프런티어 모델은 거의 동일한 정책 유지율인 **71–73%**로 수렴했다.

• 모델의 정체성은 이 정규화된 지표의 분산 중 단 **5.7%**만을 설명했다.
• 반면, $T=0.5$ (샘플링 포함)에서는 모델 정체성이 분산의 74.8%를 설명했으며, 순위가 완전히 역전되었다.
• 이는 교차 언어 정책 유지력이 샘플링 노이즈의 산물이 아니라, 그리디 디코딩 하에서의 모델의 구조적 특성임을 시사한다.

3. 규칙성의 경계

이 71–73%의 규칙성은 약 10B 파라미터 미만의 모델에서는 붕괴된다.

• 작은 모델(4B, 8B)들은 높은 가변성을 보였다.
• 가공되지 않은 지표를 기준으로 한 작은 모델들의 외견상 순위는 대부분 "우연한 바닥(chance floor)"의 산물이었다(작은 모델의 짧은 추적이 인위적으로 높은 유사도 점수를 유도함). 일단 보정하고 나면, 작은 모델들의 순위는 역전되었다.

4. 영어 피벗 메커니즘

본 연구는 발산의 인과적 메커니즘을 식별했다: 에이전트는 비영어 과업을 영어 피벗(English pivot)을 통해 경로를 설정한다.

• 준수하는 모델들에게서 Translate는 모든 벤치마크에서 가장 많이 사용된 도구였다.
• 추론 텍스트는 비라틴 문자를 사용하는 경우에도 약 99%가 ASCII였다.
• 인과적 테스트: Translate 도구를 제거하자 모델의 의존도에 비례하여 교차 언어 일치도가 감소했다. 번역을 강제하는 것은 '여유 공간(head-room)'(낮은 기본 번역 사용량)이 있는 모델의 유지력을 향상시켰다.
• 강건성: 모델에게 과업의 언어로 추론하도록 지시해도 준수율이 1% 미만이었는데, 이는 영어 피벗이 프롬프트로 교정할 수 있는 스타일적 기본값이 아니라 구조적 선호임을 나타낸다.

5. 측정 병리 현상 (Measurement Pathology)

논문은 단 하나의 추적 추출 정규 표현식(regex)이 유능한 모델(GPT-OSS-120B)을 고장 난 것처럼 보이게 만든 결정적 측정 실패 사례를 강조한다.

• 해당 모델은 요구된 구문 대신 산문 형태("We will use Translate")로 답변했다. 그 결과 76.4%의 빈 추적이 발생했다.
• 빈 추적은 유사도에서 1.0의 점수를 받기 때문에, 이 모델은 높은 불변성(invariance)을 가지면서도 정확도는 거의 0에 가까운 것으로 나타났다.
• 두 개의 퓨샷(few-shot) 예시를 추가하자 파싱 가능성이 회복되었고, 모델의 실제 능력 변화 없이도 측정된 정확도가 26배 증가했다. 이는 오직 모델의 가독성(legibility) 문제였음을 보여준다.

의의 및 주장

본 논문은 정답 수준의 동등성(answer-level parity)이 상당한 행동적 발산과 공존할 수 있음을 주장하며, 이는 비용, 지연 시간 및 안전 측면에서 실질적인 시사점을 갖는다.

• 지표 기여: 저자들은 다섯 가지 특정 혼란 변수를 가격 책정(price)한 천장 보정 추정치($\tilde{I}$)와 프로토콜을 제공한다.
• 구조적 통찰: 교차 언어적 발산은 무작위 노이즈가 아니라, 모델이 충분히 크고 그리디하게 디코딩될 때 언어가 바뀌어도 약 71–73%의 행동 정책을 유지하는 구조적 특성이다.
• 메커니즘: 영어 피벗에 대한 의존은 모델이 명시적으로 지시받더라도 거부하는, 핵심적인 인과적 요인이다.
• 타당성: 본 연구는 표준적인 정규 표현식 기반 추적 추출이 다국어 실패를 조작할 수 있음을 입증하며, 정확도와 함께 파싱 실패율(parse-failure rates)을 반드시 보고해야 함을 강조한다.

이 연구는 에이전트 벤치마크(결과에 집중)와 교차 언어 평가(최종 예측에 집중) 사이의 간극을 메우며, 다국어 에이전트의 행동을 진정으로 이해하기 위해서는 행동 정책(action policy) 자체가 측정 대상이 되어야 한다고 주장한다.