論文要約：マルチリンガルプロンプトローカライゼーションとエージェント・アズ・ア・ジャッジにおける言語・バックボーン依存性

この論文は、コード生成エージェントの評価において、「評価言語」と「評価モデル（ジャッジバックボーン）」の組み合わせが、モデルの性能順位を逆転させるほど重要な要因であることを実証的に示した研究です。従来の評価は英語をデフォルトとして行われることが一般的でしたが、多言語環境での展開を想定すると、この前提が評価結果に大きなバイアスをもたらす可能性を指摘しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

• 英語中心の評価バイアス: 現在のエージェント・アズ・ア・ジャッジ（AAAJ: Agent-as-a-Judge）やコード生成ベンチマークは、評価プロンプトや基準が英語に固定されていることがほとんどです。
• 隠れた交絡変数: 評価言語とジャッジモデルのバックボーン（基盤モデル）が相互作用し、モデル間の性能順位を逆転させる（Language-Backbone Interaction）という、これまで測定されていなかった交絡変数が存在します。
• 多言語展開のリスク: 英語での評価結果が、アラビア語やヒンディー語などの他の言語環境での性能を正しく反映しない可能性があり、多言語対応におけるモデル選定を誤らせるリスクがあります。

2. 手法と実験設計 (Methodology)

著者らは、多言語環境におけるエージェント評価のロバスト性を検証するために、以下の大規模実験を行いました。

• 評価対象:
  • タスク: DevAI ベンチマークの 55 件の開発タスク（データ処理、モデル構築、可視化など）。各タスクは 365 件の明示的な要件（Requirement）に分解されています。
  • 開発エージェント: MetaGPT, GPT-Pilot, OpenHands の 3 つのフレームワーク。
  • 評価モデル（ジャッジバックボーン）: GPT-4o, GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2, Qwen3.5-9B の 6 種類。
  • 評価言語: 言語類型的多様性を考慮し、英語（ベースライン）、アラビア語、トルコ語、中国語、ヒンディー語の 5 言語。
• 実験規模: 合計 4,950 回のジャッジ実行（55 タスク × 5 言語 × 3 フレームワーク × 6 モデル）。
• プロンプトローカライゼーション: 評価プロンプトの構造とロジックを維持しつつ、要件記述、評価基準、正当化（Justification）のプロンプトをターゲット言語に翻訳・ローカライズしました。
• アブレーション研究: 「ベンチマーク内容のみを翻訳」する場合と、「ジャッジ側の指示（システムプロンプト）も翻訳」する場合を比較し、指示言語の影響を分析しました。

3. 主要な貢献 (Key Contributions)

1. 言語依存性の発見: 評価言語によって最適なジャッジモデルが異なることを初めて体系的に実証しました。
2. 大規模マルチリンガルベンチマーク: 55 タスク、6 モデル、5 言語、3 フレームワークにわたる 4,950 回の評価データを提供し、要件レベル（Requirement-level）での詳細な分析を可能にしました。
3. ローカライゼーション手法の提案: AAAJ プロンプトスタックを構造的に維持しつつ多言語化する実践的な手法を提示し、指示言語のローカライゼーションが評価の安定性に決定的な影響を与えることを示しました。
4. オープンデータ: 要約指標、完全な要件レベルの判断データ、実行統計データを公開し、再現性を担保しています。

4. 実験結果 (Key Results)

A. バックボーン順位の逆転 (Ranking Inversion)

評価言語によって「最も性能が良いモデル」が異なります。

• 英語: GPT-4o が最高（満足度 44.72%）。
• アラビア語: Gemini が GPT-4o を大幅に上回る（51.72% vs 26.25%、p < 0.001）。
• ヒンディー語: Gemini が最高（53.22%）。
• 結論: 英語での評価結果をそのまま他言語に適用することはできず、言語ごとに最適な評価モデルが異なります。

B. モデル能力による閾値効果

• 高性能モデル（GPT-4o, Gemini）は言語による変動が大きいですが、低性能モデル（DeepSeek, Qwen）は全体的に性能が低く、言語による変動自体が観測されにくいです（ベースラインが低すぎるため）。

C. 要件タイプごとの感度

• 操作系要件（データ読み込み、トレーニング）は言語にあまり依存せず安定しています。
• 意味的に密度の高い要件（モデル構築、評価指標）は言語によって評価結果が大きく変動します。特に GPT-4o はアラビア語で「モデル構築」の要件評価が英語に比べて著しく低下しました。

D. アブレーション研究（指示言語の影響）

• ヒンディー語: 「ベンチマーク内容のみ翻訳（指示は英語）」の場合、満足度は 42.8% から 23.2% に急落しました。
• アラビア語: 同様の条件変化でも影響は小さかったです。
• 示唆: 低リソース言語（ヒンディー語など）では、ジャッジ側の指示（システムプロンプト）をターゲット言語に翻訳することが、評価の安定性にとって不可欠であることがわかりました。

E. モデル間の合意度

• 6 つのモデル間での要件判断の一致度（Fleiss' κ）は全体的に低く（最大 0.231）、言語によらずモデルによって「何が満たされたか」の判断が大きく異なることが示されました。

5. 意義と示唆 (Significance)

• 評価パラメータとしての言語: 言語は単なる実装の詳細ではなく、評価結果を左右する「明示的な評価変数」として扱われるべきです。
• 多言語評価のベストプラクティス:
  1. 英語以外の評価を行う際は、少なくとも 2 つ以上の異なるバックボーンモデルで検証する必要がある。
  2. 評価プロンプトの指示部分（システムメッセージ）もターゲット言語にローカライズする必要がある（特に低リソース言語）。
  3. 単一の「タスク解決率（100% 完了）」だけでなく、20%、50%、70% などの段階的な達成率（Percentile Success Rates）を報告すべきである。
• 将来のベンチマーク設計: 今後のコードエージェントベンチマークでは、英語一択ではなく、多言語・多モデルでの評価を標準的な要件として組み込むべきです。

この研究は、LLM ベースの評価システムが「言語」に対していかに敏感であるかを浮き彫りにし、多言語 AI 開発における公平かつ正確な評価枠組みの構築に重要な指針を提供しています。