GAIA-v2-LILT: Multilingual Adaptation of Agent Benchmark beyond Translation

"GAIA-v2-LILT: 번역을 넘어선 에이전트 벤치마크의 다국어 적응"에 대한 상세한 기술 요약입니다.

1. 문제 제기

현재 에이전트 벤치마크 (예: GAIA) 는 주로 영어 중심입니다. 이러한 벤치마크를 비영어권 언어에 맞게 적응시킬 때, 표준 워크플로는 기계 번역 (MT) 을 거친 후 최소한의 사후 편집을 수행하는 것입니다. 저자들은 이러한 "최소 워크플로"가 에이전트 작업(다단계 추론과 도구 사용이 필요한 작업) 에는 부적절하다고 주장하며, 이는 벤치마크의 타당성을 훼손하는 세 가지 치명적인 실패 모드를 초래한다고 말합니다.

• 기능적 불일치: 기계 번역은 종종 작업 제약을 유지하지 못합니다. 예를 들어, IOC 국가 코드 (예: "CUB") 를 일반 명사 ("lion cub") 로 번역하거나, 답변을 프롬프트에 누출시키는 경우입니다. 이로 인해 에이전트는 추론 오류가 아니라 깨진 작업 논리로 인해 실패하게 됩니다.
• 문화적 불일치: 직역은 종종 원본 지역의 가정 (예: 미국 지리, 야드파운드 단위, 특정 재활용 법규 등) 을 유지하여 대상 인구에게는 비자연스럽거나 관련이 없는 상황을 만듭니다. 이는 에이전트가 미국 중심 작업의 "번역된" 버전을 해결하거나, 이를 해결하기 위해 프롬프트를 다시 영어로 번역하여 진정한 다국어 추론을 우회하도록 강요합니다.
• 난이도 보정: 번역은 우연히 작업 난이도를 변경할 수 있습니다. 예를 들어, 관련 정보가 대상 언어에서 희소하면 작업이 더 어려워지고, 반대로 번역이 복잡한 수수께끼를 단순화하면 더 쉬워집니다.

2. 방법론

저자들은 기능적 정렬, 문화적 정렬, 그리고 난이도 보정을 보장하기 위해 단순 번역을 넘어선 정교화된 적응 워크플로를 제안합니다. 이 워크플로는 GAIA-v2-LILT 데이터셋을 생성하는 데 적용되었습니다.

GAIA-v2-LILT 데이터셋

• 범위: GAIA 벤치마크의 확장판으로, 5 개 비영어권 언어(아랍어, 독일어, 힌디어, 한국어, 포르투갈어 (브라질)) 를 다룹니다.
• 크기: 언어당 165 개의 쿼리 - 답변 쌍 (검증 세트).
• 출처: MAPS 패키지의 GAIA 기계 번역 버전을 기반으로 합니다.

하이브리드 검토 워크플로

표준 기계 번역의 한계를 해결하기 위해 저자들은 LLM 자기 선호 편향과 인류 유창성 편향을 완화하도록 설계된 3 단계 검토 프로세스를 구현했습니다.

1. 결정론적 필터링 (자동화):
   • 규칙 기반 스크립트가 인간/LLM 검토 전에 객관적 결함을 확인합니다.
   • 확인 항목에는 언어 식별, 답변 누출 감지 (골드 답변이 프롬프트에 포함되지 않았는지 확인), 그리고 플레이스홀더 회수 (숫자/URL 이 보존되었는지 확인) 가 포함됩니다.
2. LLM 심사관 (분해 평가):
   • 전체 점수 매기기가 아닌, 별도의 LLM 이 유창성, 적절성, 쿼리 - 답변 호환성, 문화적 적절성 등 특정 축을 평가합니다.
   • 이러한 좁고 단일 축 접근 방식은 편향을 줄이고 전역 분석보다 인간의 판단을 더 밀접하게 추적합니다.
3. 인간 감사 (이중 언어 언어학자):
   • 이중 언어 언어학자가 최종 검토를 수행하며, 단순한 유창성보다 기능적 무결성을 우선시하도록 훈련받습니다.
   • 작업이 해결 가능하고, 문화적으로 적절하며, 원래 난이도 수준을 유지하는지 확인합니다.
   • 메타 검토: 두 번째 언어학자와 ML 연구자가 언어학자의 수정 사항을 검토하여 일관성을 보장합니다.

3. 주요 기여

• 에이전트 특유의 함정 식별: 이 논문은 에이전트 벤치마크에 고유한 특정 번역 실패를 분류하여, 영어로 유지되어야 할 용어의 "과소 번역 (under-translation)"과 제약을 깨는 용어의 "과도 번역 (over-translation)"을 구분합니다.
• 엄격한 적응 워크플로: 작업 해결 가능성과 문화적 관련성을 보장하기 위해 결정론적 필터, 분해된 LLM 심사, 구조화된 인간 감사를 결합한 새로운 파이프라인입니다.
• GAIA-v2-LILT 데이터셋: 비영어권 에이전트 성능 평가를 위한 기준선으로 작용하는 고품질, 감사된 다국어 벤치마크 데이터셋입니다.
• 실증적 증거: poor alignment 로 인한 측정 오류로 인해 표준 MT 기반 벤치마크가 에이전트 능력을 현저히 과소평가한다는 것을 입증했습니다.

4. 실험 결과

저자들은 Open Deep Research 에이전트 프레임워크를 사용하여 GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.6 등 세 가지 최첨단 모델을 원시 MT 초안과 인간이 감사한 GAIA-v2-LILT 모두에서 평가했습니다.

• 성능 향상: 정렬 문제를 수정한 결과 막대한 성능 향상이 이루어졌습니다. 5 개 언어에서 에이전트 성공률은 원시 MT 버전 대비 **10.9% 에서 32.7%**까지 증가했습니다.
• 격차 축소: 감사는 비영어권 언어와 영어 기준선 간의 성능 격차를 줄였습니다. 최선의 경우 격차는 영어 성능 대비 3.1% 이내로 축소되었습니다. 그러나 일부 경우 (예: 아랍어는 30.3% 격차) 에는 여전히 상당한 격차가 남아있어, 정렬이 도움이 되지만 데이터 희소성 등 다른 요인들도 여전히 존재함을 나타냅니다.
• 수정 사항 분석:
  • 기능적 정렬이 가장 높은 "플립률 (flip rate)" (67.9%) 을 보였으며, 이는 답변 누출이나 형식 위반과 같은 기능적 오류를 수정하는 것이 모델의 결과를 틀림에서 옳음으로 변경하는 데 가장 빈번하게 기여했음을 의미합니다.
  • 유창성은 가장 낮은 플립률 (40.6%) 을 보여, 스타일적 완벽함은 기능적 정확도보다 에이전트 성공에 덜 중요함을 시사합니다.
  • 문화적 정렬과 난이도 보정도 정답률에 상당한 영향을 미쳤습니다 (약 50% 플립률).

5. 중요성과 결론

이 논문은 AI 에이전트의 "다국어 성능 격차" 상당 부분이 실제 모델 능력의 부족이 아니라 벤치마크로 인한 측정 오류라고 결론지었습니다.

• 연구에 대한 함의: 향후 다국어 에이전트 평가는 단순 기계 번역에 의존할 수 없습니다. 벤치마크가 모델의 깨진 지시사항 해독이나 문화적 불일치 극복 능력이 아닌, 추론 능력을 테스트하도록 보장하기 위해 작업 수준 정렬이 필요합니다.
• 자원 배분: 저자들은 평가 타당성에 가장 큰 영향을 미치는 요인인 기능적 및 문화적 충실도를 스타일적 유창성보다 우선시하는 현지화 노력이 필요하다고 제안합니다.
• 한계: 현재 워크플로는 자동화된 에이전트 테스트 (예: 대상 지역에서 검색 API 가 작동하는지 확인) 나 파일 첨부물 (이미지/PDF) 의 현지화를 포함하지 않으며, 이는 향후 과제로 남겨져 있습니다.

요약하자면, GAIA-v2-LILT는 비영어권 언어를 위한 자율 에이전트의 유효하고 공정하며 정확한 벤치마크를 생성하기 위해 엄격한 인간 - 루프 정렬이 필수적임을 보여줍니다.