기술 요약: SEATauBench

문제 정의

동남아시아(SEA)의 AI 개발은 급격히 확장되었으나, 지역 언어에서의 AI 에이전트 역량에 대한 이해는 여전히 부족한 상태이다. 기존 벤치마크들은 주로 정적인 모델 행동(예: 추론, 번역 또는 지식 검색)을 평가하며, 커머스, 여행, 서비스와 같은 분야에서 실제적인 주권적 AI(sovereign AI) 배포에 필요한 동적이고 다회차적인 도구 매개 상호작용을 평가하지 못한다. 또한, 현재의 에이전트 평가 프레임워크는 영어 중심으로 편중되어 있어, 영어 중심의 평가가 언어적으로 다양한 저자원(low-resource) 동남아시아 맥락에서 에이전트의 성능을 정확하게 반영하지 못하는 격차를 만든다. 대화 언어가 변경될 뿐만 아니라, 도구 명세(tool specification)와 태스크 도메인까지 현지화되었을 때 에이전트가 어떻게 작동하는지를 평가할 수 있는 진단 프레임워크가 절실히 필요하다.

방법론

저자들은 동남아시아 주권적 AI를 위한 최초의 에이전트 중심 평가 프레임워크인 SEATauBench를 소개한다. 이 프레임워크는 영어 기반의 $\tau^2$-Bench(Yao et al., 2024; Barres et al., 2025)를 만다린 중국어, 베트남어, 태국어, 인도네시아어, 필리핀어의 다섯 가지 대상 언어로 적응시킨 것이다.

적응 파이프라인 (Adaptation Pipeline)

태스크의 의미론적 일관성을 유지하면서 인터페이스를 현지화하기 위해, 저자들은 두 단계로 구성된 비파괴적(non-breaking) 번역 파이프라인을 개발했다:

1. 오프라인 번역 (Offline Translation): 정적 도메인 자산(태스크 정의, 정책, 데이터베이스 콘텐츠, 도구 docstring, 스키마)을 번형한다. 여기서 핵심은 실행 레이어를 깨뜨리지 않도록 실행 가능한 토큰(ID, 상태 코드, 도구 이름, enum 리터럴)을 마스킹하는 것이다. 스키마 우선 접근 방식을 통해 용어의 일관성을 보장하기 위한 용어집(glossary)을 구축한다.
2. 런타임 현지화 (Runtime Localization): 추론 중에 환경이 에이전트의 시야를 패치한다. 도구 스키마(설명, enum 선택지)는 대상 언어($L_2$)로 렌더링되지만, 에이전트가 제공하는 인자(arguments)는 도구 실행 전 표준 영어 값으로 정규화된다. 이후 도구 출력값은 사용자 상호작용을 위해 다시 $L_2$로 현지화된다. 이를 통해 에이전트는 단일 언어 $L_2$ 맥락 내에서 작동하면서도 영어 베이스라인과 측정 가능성을 유지한다.

평가 시나리오

SEATauBench는 특정 역량의 격차를 분리하여 평가하기 위해 네 가지 단계적으로 현지화된 시나리오를 평가한다:

• S1 (영어 전용): 영어에서의 베이스라인 성능.
• S2 (L2 상호작용): 사용자-에이전트 대화는 $L_2$로 진행되지만, 도구, 정책 및 컨텍스트는 영어로 유지됨.
• S3 (L2 도구): 대화와 도메인 컨텍스트는 영어로 유지되지만, 도구 스키마는 $L_2$로 번역됨. 여기에는 단일 언어 및 혼합 언어 도구 설정이 모두 포함됨.
• S4 (L2 도메인): 대화, 도구 스키마, 정책, 태스크 설명 및 데이터베이스 콘텐츠가 모두 $L_2$인 완전 현지화 설정.

실험 설정

본 연구는 최근의 세 가지 대규모 언어 모델(LLM) 에이전트를 평가한다:

• GPT-5-Mini: 독점 모델.
• Qwen3-235B-A22B-Instruct: 대표적인 오픈 소스 모델.
• Kimi-K2.5: 더 큰 규모의 오픈 소스 모델.

성능은 pass@1(품질/성공률)과 세 번의 독립적인 시행을 통해 일관된 성공 확률을 측정하는 파생된 **강건성 지표($\rho_3$)**를 사용하여 측정된다. 평가는 Retail, Airline, Telecom의 세 가지 도메인을 다룬다.

주요 결과

현지화 설정에서의 성능 저하

결과는 평가 설정이 영어 전용에서 멀어질수록 에이전트 성능이 일관되고 급격히 하락함을 보여준다:

• 상호작용 vs. 전체 현지화: 대화 언어만 변경되었을 때는 에이전트가 비교적 잘 전이(transfer)되지만(S2), 도구 인터페이스와 태스크 컨텍스트까지 현지화되면(S3 및 S4) 품질과 강건성이 크게 저하된다.
• 도메인 적응: 가장 심각한 성능 저하는 L2 도메인(S4) 시나리오에서 발생한다. 예를 들어, 태국어와 필리핀어의 경우, 높은 영어 베이스라인과 비교하여 pass@1 점수가 0.4 초반대로 떨어진다.
• 언어적 변동성: 성능 저하의 심각도는 언어마다 다르다. 태국어와 필리핀어는 고유의 문자 체계나 낮은 자원 보유량으로 인해 가장 큰 하락을 보이는데, 이는 라틴 문자를 사용하는 필리핀어조차 에이전트가 완전히 현지화된 대화와 스키마를 바탕으로 추론해야 할 때 상당한 약점을 보임을 시사한다.

품질과 강건성의 괴리

연구 결과, 품질(pass@1)과 강건성($\rho_3$)이 항상 상관관계를 갖는 것은 아니다. 일부 언어(예: 인도네시아어, 필리핀어)에서는 L2 도메인에서 pass@1은 떨어지지만 강건성은 비교적 안정적으로 유지되는데, 이는 에이전트가 전체적으로 해결하는 태스크 수는 적더라도 성공한 시도는 재현 가능하다는 것을 의미한다. 반면, 태국어는 두 지표 모두에서 하락을 보여, 평균적인 성공뿐만 아니라 일관성에서도 붕괴가 일어남을 나타낸다.

모델 및 도메인 차이

• 모델 변동성: 모든 SEA 언어에서 압도적인 우위를 점하는 단일 모델은 없다. Kimi-K2.5는 베트남어, 필리핀어, 중국어에서 일반적으로 가장 좋은 성능을 보이며, GPT-5-Mini는 인도네시아어와 태국어에서 앞선다. Qwen3-235B는 지속적으로 낮은 pass@1을 보이지만, 저자원 설정에서 종종 더 강력한 강건성을 보인다.
• 도메인 난이도: Retail 도메인은 복잡한 정책과 상태 업데이트로 인해 모든 언어에서 일관되게 가장 어려운 도메인으로 나타난다. 주목할 점은, 영어에서의 도메인 특화 강점(예: Retail에서 우수한 성능을 보이는 Qwen)이 현지화된 설정으로 반드시 전이되지는 않는다는 것이다.

오류 분석 및 언어 드리프트(Language Drift)

• 오류 유형: 결정적인 오류(사용자 의도에서의 이탈)는 L2 설정, 특히 태국어와 필리핀어에서 크게 증가한다.
• 언어 드리프트: 에이전트가 대화 도중 영어로 전환하는 "언어 드리프트" 현상이 나타나지만, 분석 결과 언어의 정확성과 태스크 성공 사이의 상관관계는 매우 낮다($R^2 = 0.014$). 이는 태스크 실패가 단순한 언어 전환 때문이 아니라, 현지화된 스키마와 정책을 바탕으로 추론하는 능력의 부재에 의해 주도됨을 시사한다.
• 혼합 언어 도구: 여러 언어의 도구를 동시에 도입하는 것은 단일 언어 현지화에 비해 성능 저하가 완만하여, 에이전트가 어느 정도의 다국어 도구 다양성을 처리할 수 있음을 보여준다.

의의 및 주장

본 논문은 SEATauBench가 동남아시아 평가 자원의 성장과 현재 에이전트들의 주권적 AI 배포 준비성 사이의 결정적인 격차를 드러낸다고 주장한다. 주요 기여는 다음과 같다:

1. 진단적 벤치마크: 정적인 벤치마크를 넘어, 상호작용적이고 도구 매개적인 태스크를 통해 SEA 언어에서의 에이전트 역량을 체계적으로 평가할 수 있는 최초의 프레임워크를 제공한다.
2. 영어 대리 지표의 불신: 영어 전용 평가가 SEA 언어 역량에 대한 신뢰할 수 있는 대리 지표가 아님을 입증한다. 높은 영어 성능이 현지화된 환경(특히 도구 스키마와 도메인 정책이 번역된 경우)에서의 강건성을 보장하지 않는다.
3. 적응 파이프라인: 실행 무결성을 유지하면서 새로운 언어로 도구-에이전트 벤치마크를 빠르게 적응시킬 수 있는 재사용 가능한 비파괴적 번역 파이프라인을 제공한다.
4. 권고 사항: 상관관계 분석을 바탕으로, 저자들은 필리핀어 서브셋이 다른 SEA 언어들의 성능을 추정하는 대표적인 대리 지표 역할을 할 수 있다고 제안하며, 이를 통해 지역 내 효율적인 평가 전략을 제시한다.

궁극적으로 SEATau-Bench는 언어적으로 다양한 지역을 위한 신뢰할 수 있는 다국어 에이전트를 구축하기 위한 엄격한 토대를 마련하며, 주권적 AI를 위해서는 단순한 번역 이상의 것, 즉 도구 인터페이스와 도메인 추론 능력의 강력한 적응이 필요함을 강조한다.