技術要約: SEATauBench

問題提起

東南アジア（SEA）におけるAI開発は急速に拡大しているが、地域言語におけるAIエージェントの能力については十分に理解されていない。既存のベンチマークは、主に静的なモデルの挙動（推論、翻訳、知識検索など）を評価するものであり、コマース、旅行、サービスといった分野での現実世界のソブリンAI（主権AI）展開に求められる、動的でマルチターンな、ツールを介した相互作用を評価するものではない。さらに、現在のエージェント評価フレームワークは英語に大きく偏っており、英語中心の評価では、言語的に多様でリソースの少ないSEAの文脈におけるエージェントの性能を正確に反映できないというギャップが生じている。会話言語が変わるだけでなく、ツールの仕様やタスクドメインもローカライズされた場合に、エージェントがどのように機能するかを評価するための診断フレームワークが切実に求められている。

メソドロジー

著者らは、SEAソブリンAIのための初のエージェント特化型評価フレームワークであるSEATauBenchを導入する。このフレームワークは、英語ベースの$\tau^2$-Bench（Yao et al., 2024; Barres et al., 2025）を、中国語（Mandarin）、ベトナム語、タイ語、インドネシア語、フィリピン語の5つの対象言語に適応させたものである。

適応パイプライン

タスクのセマンティクス（意味論）の一貫性を保ちつつインターフェースをローカライズするために、著者らは、実行レイヤーを壊さない2段階の非破壊的な翻訳パイプラインを開発した：

1. オフライン翻訳: 静的なドメイン資産（タスク定義、ポリシー、データベースの内容、ツールのdocstring、およびスキーマ）を翻訳する。重要な点として、パイプラインは実行可能なトークン（ID、ステータスコード、ツール名、および列挙型のリテラル）をマスクし、翻訳によって実行プロセスが破損することを防ぐ。スキーマファーストのアプローチにより、用語の整合性を確保するための用語集を確立する。
2. ランタイム・ローカリゼーション: 推論中、環境はエージェントの視点をパッチ適用する。ツールのスキーマ（説明、列挙型の選択肢）は対象言語（$L_2$）でレンダリングされるが、エージェントによって提供される引数は、ツール実行前に標準的な英語の値へと正規化される。その後、ツール出力はユーザーとの相互作用のために$L_2$へとローカライズされる。これにより、エージェントは単一言語の$L_2$コンテキスト内で動作しながら、英語のベースラインとの指標の比較可能性を維持することができる。

評価シナリオ

SEATauBenchは、特定の能力の欠落を特定するために、段階的にローカライズが進む4つのシナリオを通じてエージェントを評価する：

• S1 (English Only): 英語のみによるベースライン性能。
• S2 (L2 Interaction): ユーザーとエージェントの会話は$L_2$で行われるが、ツール、ポリシー、およびコンテキストは英語のまま。
• S3 (L2 Tool): ツールのスキーマは$L_2$に翻訳されるが、会話とドメインコンテキストは英語のまま。これには、単一言語および混合言語のツール設定の両方が含まれる。
• S4 (L2 Domain): ダイアログ、ツールスキーマ、ポリシー、タスク記述、およびデータベースの内容がすべて$L_2$である、完全にローカライズされた設定。

実験セットアップ

本研究では、3つの最新の大規模言語モデル（LLM）エージェントを評価する：

• GPT-5-Mini: プロプライエタリなモデル。
• Qwen3-235B-A22B-Instruct: 代表的なオープンソースモデル。
• Kimi-K2.5: より大規模なオープンソースモデル。

性能は、pass@1（品質/成功率）と、3回の独立した試行における一貫した成功の確率を測定する派生指標である**堅牢性メトリック（$\rho_3$）**を用いて測定される。評価は、Retail（小売）、Airline（航空）、Telecom（通信）の3つのドメインを対象としている。

主要な結果

ローカライズされた設定における性能低下

結果は、評価設定が英語のみから離れるにつれて、エージェントの性能が一貫して急激に低下することを示している：

• 相互作用 vs 完全なローカライズ: 会話言語が変わるだけの場合（S2）は比較的良好に転移するが、ツールのインターフェースとタスクコンテキストもローカライズされると（S3およびS4）、品質と堅牢性が著しく低下する。
• ドメイン適応: 最も深刻な性能低下は、**L2ドメイン（S4）**シナリオで発生する。例えば、タイ語とフィリピン語では、高い英語ベースラインと比較して、pass@1スコアは0.4台の低い値まで低下する。
• 言語による差異: 低下の深刻さは言語によって異なる。タイ語とフィリピン語は、独特の表記体系やリソースの少なさにより、最大の低下を示している。しかし、フィリピン語のようなラテン文字を使用する言語であっても、エージェントが完全にローカライズされたダイアログやスキーマに基づいて推論しなければならない場合、顕著な弱点を示す。

品質と堅牢性の乖離

本研究では、品質（pass@1）と堅牢性（$\rho_3$）が必ずしも相関しないことを発見した。一部の言語（例：インドネシア語、フィリピン語）では、L2ドメインにおいてpass@1は低下するものの、堅牢性は比較的安定しており、これはエージェントが全体としてのタスク解決数は減るものの、成功した試行自体は再現可能であることを示唆している。逆に、タイ語では両方の指標が低下しており、平均的な成功率と一貫性の両方が崩壊していることを示している。

モデルおよびドメインの違い

• モデルの差異: すべてのSEA言語において支配的なモデルは存在しない。Kimi-K2.5は一般にベトナム語、フィリピン語、中国語で最も優れた性能を示し、GPT-5-Miniはインドネシア語とタイ語でリードしている。Qwen3-235Bは一貫して低いpass@1を示すが、低リソースの設定においてより強い堅牢性を示すことが多い。
• ドメインの難易度: Retailドメインは、複雑なポリシーと状態更新のため、すべての言語において一貫して最も困難である。注目すべきは、英語におけるドメイン固有の強み（例：Retailで優れた性能を示すQwen）が、必ずしもローカライズされた設定に転移するわけではないことである。

エラー分析と言語ドリフト

• エラータイプ: L2設定、特にタイ語とフィリピン語において、致命的なエラー（ユーザーの意図からの逸脱）が大幅に増加する。
• 言語ドリフト: エージェントは「言語ドリフト」（会話の途中で英語に切り替わる現象）を示すことがあるが、分析によれば、言語の正確性とタスクの成功率の間には非常に弱い相関（$R^2 = 0.014$）しか認められない。これは、タスクの失敗が単純な言語の切り替えによるものではなく、ローカライズされたスキーマやポリシーに対する推論能力の欠如によって引き起こされていることを示唆している。
• 混合言語ツール: 複数の言語のツールを同時に導入しても、単一言語のローカライズと比較して性能の低下はわずかであり、エージェントはある程度のマルチリンガルなツールの多様性に対処できることが示唆される。

意義と主張

本論文は、SEATauBenchが、SEAの評価リソースの成長と、現在のエージェントのソブリンAI展開への準備態勢との間にある決定的なギャップを露呈させていると主張している。その主な貢献は以下の通りである：

1. 診断的ベンチマーク: 静的なベンチマークを超え、インタラクティブでツールを介したタスクを通じて、SEA言語におけるエージェントの能力を系統的に評価するための初のフレームワークを提供する。
2. 英語プロキシの信頼性不足: 英語のみの評価は、SEA言語能力の信頼できるプロキシ（代理指標）ではないことを実証した。高い英語性能は、特にツールスキーマやドメインポリシーが翻訳された環境における堅牢性を保証するものではない。
3. 適応パイプライン: 実行の完全性を維持しながら、ツール・エージェント・ベンチマークを新しい言語へ迅速に適応させるための、再利用可能な非破壊的翻訳パイプラインを提供する。
4. 推奨事項: 相関分析に基づき、著者らはフィリピン語のサブセットが、他のSEA言語の性能を推定するための代表的なプロキシとして機能し、地域におけるより効率的な評価戦略を提供できることを提案している。

最終的に、SEATauBenchは、信頼できるマルチリンガルエージェントを構築するための厳格な基礎を確立しており、ソブリンAIには単なる翻訳以上のもの、すなわちツールインターフェースとドメイン推論能力の堅牢な適応が必要であることを強調している。