AsymmetryZero: A Framework for Operationalizing Human Expert Preferences as Semantic Evals

本論文は、モデル単独およびエージェント環境の両方において、人間の専門家の選好を明示的かつ再利用可能な評価契約として実用化するフレームワーク「AsymmetryZero」を導入し、内部の不一致が大きいにもかかわらず、コンパクトな審査員団が最先端の審査員団と同等のタスクレベルの結果を達成しつつ、審査コストとレイテンシを大幅に削減できることを実証する。

要約

巨大な料理コンテストを運営している状況を想像してください。何千人ものシェフ（AI モデル）が完璧な料理を作ろうと試みますが、「完璧」は主観的なものです。ある審査員は塩加減を重視し、別の審査員は盛り付けを、さらに別の審査員は調理時間を重視するかもしれません。

過去には、これらの料理を評価しようとする試みは混乱を招いていました。時には審査員が「味が良い」といった漠然としたメモを書くだけで終わったり、なぜある料理が他より優れているのかについて無限に議論したりしていました。この論文は、その混乱を解決するための新しいシステム「AsymmetryZero」を導入し、その後、審査員を雇うための 2 つの異なる方法をテストしています。

以下に、簡単な言葉で要点を整理します。

1. 問題：「曖昧な審査員」の罠

現在、AI をテストする際、超優秀な AI に他の AI の作業を評価させることがよくあります。しかし、「このエッセイを評価せよ」とだけ指示すると、評価者は独自の隠れたルールを使う可能性があります。長い回答を好んだり、トピックに混乱したりするかもしれません。これは、チェックリストを持たない料理評論家を雇うようなもので、彼らが料理を評価しているのか、それとも単にその時の気分を反映しているのか、決して分かりません。

2. 解決策：「評価契約」

著者たちは、厳格な採点のレシピとも言えるAsymmetryZeroを作成しました。

曖昧な指示の代わりに、すべてのタスクには「契約」が伴います。この契約は、以下のような詳細なスコアカードの役割を果たします。

• 何を評価するのか？（例：「シェフは塩を使ったか？」）
• どのように確認するのか？（例：「'salt'という単語が含まれていれば、10 点を与える。」）
• 誰が決定するのか？（単一の審査員か、グループか？）
• 合格点は何か？

この契約は、単にテキストを書く単純な AI と、ツールを使用し複数のステップを踏む複雑な AI エージェントの両方に機能します。面白い点は、単純なテキストボットと複雑なロボットの両方を同じ契約で評価でき、そのスコアを比較可能にできることです。

3. 実験：「巨大な審査員」対「小さな審査員」

著者たちは疑問に思いました：これらの契約を評価するために、高価で超優秀な審査員が必要なのか、それとも安価で小さな審査員で十分なのか？

彼らは、高度な数学やコーディング問題の解決など、75 の複雑なタスクでテストを設定しました。4 つの異なる「出場者」AI モデルを使ってタスクを解決させました。その後、2 つの異なる「審査員」AI グループを使用して、それらの解決策を評価しました。

• フロンティア・ジュリー（巨大な審査員）： 利用可能な最も強力、高価、賢い AI モデル 5 体で構成されるパネル。
• コンパクト・ジュリー（小さな審査員）： より小さく、安価で、高速な AI モデル 5 体で構成されるパネル。

4. 結果：「安価な審査員」はノイズが多い

彼らが発見したことは以下の通りです。

• 最終スコアは類似している： 全ポイントを合計すると、「巨大な審査員」と「小さな審査員」は通常、誰がコンテストに勝ったかに同意しました。巨大な審査員にとってタスクが合格であれば、小さな審査員にとっても通常は合格でした。
• 詳細は混乱している： しかし、個々のステップ（スコアカードの特定の基準）を見ると、小さな審査員は巨大な審査員と**15% から 25%**の頻度で不一致を示しました。
• 「指差す」問題： 最大の課題は、小さな審査員同士でさえ合意できなかったことです。
  • 巨大な審査員は穏やかな委員会のようでした。彼らはほぼ常に合意しており、意見が割れたのはわずか 6〜11% の場合でした。
  • 小さな審査員は混沌とした部屋のようでした。彼らは絶えず互いに議論し、**30%**の頻度で 3 対 2 に意見が割れました。

比喩： 数学のテストを評価する状況を想像してください。

• 巨大な審査員： 5 人の教授全員が解答を見て、「はい、それは正しい」と言います。
• 小さな審査員： 3 人の教授は「正しい」と言いますが、2 人は「数学は合っているが、字が汚いので不正解」と言います。彼らは自分自身と議論しています。

5. トレードオフ：コスト対一貫性

小さな審査員は信じられないほど安価で高速でした。

• コスト： 巨大な審査員よりも約97% 安価でした。
• 速度： 約82% 高速でした。

結論：
システムが概ね機能しているかどうかを素早く安価に確認したい場合（「健全性チェック」のようなもの）、小さな審査員は優れています。彼らは莫大な費用を節約します。

しかし、何か失敗した理由を正確に知る必要がある場合、または高リスクな意思決定のための完璧な監査証跡が必要な場合は、小さな審査員は「ノイズ」が多すぎます。彼らは細部について信頼を置けるほど、自分同士で議論しすぎます。

まとめ

この論文は、採点ルール（契約）をどのように書くかが、誰を評価のために雇うかと同じくらい重要であると主張しています。

安価で小さな AI 審査員を使用することで多くの費用を節約できますが、彼らが互いに頻繁に議論することを許容する必要があります。落ち着きがあり一貫した判決が必要な場合は、依然として高価な「フロンティア」審査員が必要です。単に大まかな見積もりが必要な場合のみ、安価なもので十分です。

技術概要

技術概要：AsymmetryZero

問題定義

本論文は、現在の強化学習（RL）および AI 評価パイプラインにおける重要なギャップを特定している：主観的、手続き的、およびドメイン固有の人間専門家の要件を、スケーラブルな評価シグナルとして実用化することの難しさである。完全一致メトリクスは決定論的タスクには十分であるが、意味的、多因子、またはオープンエンドのタスクでは機能しない。逆に、オープンエンドの LLM による判定は、しばしばプロンプト内に採点方針を暗黙的に留め置いたままとなり、不安定性と監査可能性の欠如を招く。著者らは、ポストトレーニングにおける中心的な課題は単にモデルをスコアリングすることではなく、評価そのものへの専門家の要件の忠実な符号化にあると主張する。

手法：AsymmetryZero フレームワーク

これに対処するため、著者らはAsymmetryZeroを導入する。これは、安定した評価契約を介して人間の専門家の好みを意味的評価として実用化するフレームワークである。

中核コンポーネント

1. 評価契約：単一のプロンプトや解答キーの代わりに、タスクは実行入力（プロンプト、参照）を採点入力（基準、重み、閾値）から分離するポータブルな契約として定義される。

   • 構造：各基準は、その重み、プロンプト、および判定者タイプ（ExactMatch または llm-judge）を明示的に宣言する。
   • 集約：基準レベルの決定はタスクスコアとして集約される（$S = \sum w_i \hat{v}_i$）。タスクは $S \ge \tau$ の場合に合格とする。
   • 陪審員コンセンサス：llm-judge 基準については、判定者パネル（$J_i$）が投票する。コンセンサスは厳密な過半数によって決定される（$\hat{v}_i = 1$ は $\sum v_{ij} > |J_i|/2$ の場合）；同点の場合は不合格となる。

2. デュアル実行ハーネス：このフレームワークは、評価の意味論を実行から分離する。

   • Inspect：モデル単独の評価に使用される。
   • Harbor：エージェント評価に使用される（特に terminus2 エージェントを使用）。
   • 両方のハーネスは同一の契約を消費し、モデル出力とエージェント出力間で比較可能なスコアと共有監査アーティファクトを確保する。

3. 監査可能性：システムは詳細なトレースを生成し、基準ごとの結果、判定者の投票、根拠、重みの寄与を記録する。これにより、失敗モードや異議の分析が可能となる。

実証研究：判定者容量と代替

本論文は、PORTEX-COMPOSITEベンチマークを用いた実証研究を提示し、高価な「フロンティア」陪審員に代わり、より小型で安価な「コンパクト」陪審員が評価の完全性を損なうことなく代替可能かどうかを回答する。

実験設定

• タスク：4 つのソルバーモデル（Claude Opus 4.6、GPT-5.4、Grok-4.20、Gemini-3.1-Pro）で評価された 75 のフロンティアクラスタスク。
• 陪審員条件：
  • フロンティア陪審員：5 つの大型の最先端オープンウェイトモデル。
  • コンパクト陪審員：5 つの小型のオープンウェイトモデル。
• メトリクス：基準レベルの合意、プール内不一致（異議率）、タスクレベルのスコア安定性、経済的効率性（コスト、レイテンシ、トークン数）。

主要な結果

1. 基準レベルの乖離：コンパクト陪審員とフロンティア陪審員は完全に合意しない。

   • 過半数合意：実行間で**75.9% から 89.6%**の範囲（厳密な共通部分集合：77.8%–92.1%）。
   • 示唆：コンパクト判定者の代替は、意味的基準決定の無視できない割合を変更する。

2. 内部不一致（安定性）：コンパクト陪審員は、著しく高い内部不安定性を示す。

   • 3–2 分割：フロンティア陪審員の平均分割率は**6.1%–11.5%であったのに対し、コンパクト陪審員は28.7%–32.4%**であった。
   • 結論：コンパクト陪審員はフロンティア陪審員とより多く不一致を示すだけでなく、自分自身同士でもより多く不一致を示す。

3. タスクレベルの安定性：基準レベルの乖離にもかかわらず、集約されたタスク結果はしばしば類似している。

   • 相関：フロンティアとコンパクトのタスクスコア間のピアソン相関は0.88（範囲 0.81–0.93）。
   • スコア変化：採点されたタスクの 70%–87% は、プール間でスコア変化を示さなかった。
   • ニュアンス：この安定性は「脆い」ように見え、一貫した基準レベルの判断ではなく、加重和における誤りの相殺に依存している。

4. 経済的効率性：コンパクト陪審員は莫大な効率性向上を提供する。

   • コスト：基準あたり**約 97%**削減。
   • レイテンシ：**約 82%**削減。
   • トークン：出力トークンが**約 75%**削減。

5. 不一致の分析：

   • 応答長さ：長い応答は高い不一致と相関するが、統計的モデリング（順序混合モデル）は、コンパクト陪審員がフロンティア陪審員よりも長さに対してより敏感であるという強力な証拠は見出さなかった。不一致の主要な駆動力はプールタイプそのものであり（コンパクトプールは本質的にノイズが多い）、である。
   • 失敗モード：定性的レビューは、コンパクト陪審員がフロンティア陪審員と同じ理由（例：文字通り解釈対実質）で失敗することを示唆するが、基準を均一に適用しない。

主要な貢献

1. 実用化フレームワーク：AsymmetryZero は、専門家の知識を、モデルとエージェントの両方で機能する監査可能で実行可能な評価契約に変換する具体的なシステムを提供する。
2. ルブリックに基づく意味的採点：オープンエンドなプロンプティングを超え、明示的な集約規則を備えた構造化された基準中心の採点へと移行する。
3. 判定者容量に関する実証的証拠：この研究は、コンパクト陪審員が大量の監視において経済的に実行可能である一方で、より高い分散と内部不一致により、基準監査可能な評価においてはフロンティア陪審員と決定同等ではないというデータ駆動型の証拠を提供する。

意義と主張

本論文は、評価の信頼性は判定者と同様に契約にも依存すると主張する。

• 実務家にとって：このフレームワークは、組織が「何が重要か」（契約）の定義を「いくらかかるか」（判定者の選定）から分離することを可能にする。
• 戦略的洞察：コンパクト陪審員は、最終タスクスコアが特定の基準トレースよりも重要である低コストの結果監視に適している。しかし、基準レベルの監査可能性を必要とする高リスクの意思決定においては、優れた内部コンセンサスを有するフロンティア陪審員がデフォルトとして残る。
• 将来の方向性：著者らは、コンパクトとフロンティアの行動間のギャップは、オンポリシー蒸留（コンパクト評価者をフロンティア陪審員の決定に模倣させるトレーニング）を通じて狭められる可能性があると示唆するが、これは将来の課題として特定されており、現在の機能ではない。

著者らは謙虚であり、本研究は陪審員間の比較可能性を評価するものであり、人間のグランドトゥルースに対する絶対的な正しさを評価するものではなく、また結果はテストされた STEM 指向のタスクと Harbor エージェント設定に特化したものであると指摘している。