💬 NLP

CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks

CoEvalは、ラベル付きデータを必要とせず、また公開されているベンチマークを信頼することなく、カスタムタスクに対して言語モデルを確実にランク付けするために、汚染のない属性制御されたベンチマークを生成し、多様なアンサンブル・ジャッジモデルを採用するオープンソースのフレームワークです。

原著者： Alexander Apartsin, Yehudit Aperstein

公開日 2026-06-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alexander Apartsin, Yehudit Aperstein

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に特殊な仕事（例：「混沌とした倉庫の整理」や「ガーデニングに関する面白いジョークを書くこと」）のために、最高の従業員を選ぼうとしている採用マネージャーだと想像してください。あなたには問題があります。過去の実績レビュー（ラベル付きデータ）がなく、他の誰もが使っている標準的なテスト（公開ベンチマーク）は、候補者が事前に答えを暗記してしまっているため役に立たないということです。

これこそが、CoEvalが解決するまさにその問題です。これは、人間の専門家に採点させる必要も、カンニングを心配する必要もない、あなたの特定のニーズに合わせてAIモデルをランク付けするための新しいオープンソースツールです。

その仕組みを、簡単な比喩を用いて分解して説明します。

1. 「新鮮なテスト」生成器（カンニング禁止）

通常、AIモデルは、何年も前から存在する古いテスト（SATやGREのようなもの）を受けます。これらのテストは非常に人気があるため、AIモデルはトレーニング中に質問を見て、答えを暗答してしまっている可能性が高いのです。これは、数学を学ぶ代わりに解答集を丸暗記している学生のようなものです。

CoEvalはゲームのルールを変えます。古い質問を使う代わりに、「教師AI」を使用して、あなたのタスクの説明に基づいた、全く新しい質問をその場で発明します。

比喩: 数学のテストを、生徒が教室にいる間に作成する教師を想像してください。質問はその瞬間に存在しなかったため、生徒は答えを暗記することはできません。
結果: この論文は、これらの新しい質問が100%新鮮であることを証明しています。主要な公開テストバンクと13語のフレーズすら共有していないため、AIが古いデータを呼び出してカンニングすることは不可能です。

2. 「陪審員」による判定（数よりも多様性）

AIモデルがこれらの新鮮な質問に回答した後、誰かがそれらを採点しなければなりません。超スマートなAIに一つだけ採点を頼むこともできますが、それはリスクがあります。その単一の判定者は、短い優れた回答よりも長い回答を好むといった、奇妙なバイアスを持っている可能性があります。

CoEvalは「陪審員」方式を採用しています。異なる企業（例：OpenAI、Anthropic、Googleからそれぞれ一人ずつ）から集まった小さな判定グループを集めます。

比喩: 法廷を考えてみてください。もし不機嫌で知られている一人の裁判官がいれば、判決は不公平になるかもしれません。しかし、異なる背景を持つ3人の陪審員がいれば、彼ら個人の癖は互いに打ち消し合います。ある判定者が長い回答を好み、別の判定者がそれを嫌う場合、平均スコアは公平になります。
大きな発見: 論文では、陪審員に「誰が」いるかは、「何人」いるかよりも重要であることが判明しました。同じ会社の判定員を増やしても、彼らが共有するバイアスが増幅されるだけです。実際、単一の判定者は時として「逆相関」（間違った答えを出す）を示すことがありますが、多様な陪層員による判定がそうなることはほとんどありません。

3. 「人間不在」の工場

通常、優れたテストを構築するには、人間が質問を作成し、回答を採点する必要があります。これは遅く、かつ高価です。

比喩: CoEvalは、完全に自動化された工場のようです。あなたに設計図（タスクの説明）を与えれば、自動的に以下を行います：
1. テストの質問を設計する。
2. AI候補者にテストを受けさせる。
3. 多様な陪審員を集めて回答を採点させる。
4. 最終的なランキングを吐き出す。
コスト: 著者らは、約8,000回の評価を含む大規模な研究を、コーヒー一杯の価格（5.89ドル）で実施しました。新しいAIモデルが登場するたびに新しいテストを実行できるほど安価です。

4. なぜこれが重要なのか

論文では、Co「正解」が存在しない3つの現実世界のシナリオにおいて、CoEvalをテストしました。

薬物相互作用: 二つの薬が衝突するかどうかを判断する。
臨床推論: 患者の症状を診断する。
法的分析: 法律を解釈する。

これらの分野には、標準的な「ゴールドスタンダード（黄金律）」となるテストが存在しません。CoEvalは、どのモデルがこれらの特定の仕事に最適であるかを示し、モデルをランク付けすることに成功しました。また、より小規模で安価なモデルが、実はより大規模なモデルよりも劣っていることさえも、単一のバイアスを持った判定者が見逃してしまう中で、正確に捉えました。

結論

CoEvalは次のように言っています。「古い、暗記されたテストを信じてはいけません。バイアスを持つ可能性のある単一の判定者に頼ってはいけません。代わりに、あなたの特定の仕事のために新鮮なテストを生成し、多様な小さなチームにそれを採点させてください。」

これは、AIのテストという複雑で高価なプロセスを、あらゆるチームが自分のニーズに合ったAIを見つけるために使える、安価で再現可能かつ公平なプロセスへと変えるものです。

技術概要: CoEval

問題提起

実務者は、特定のカスタムアプリケーション（例：臨床ノートの要約やサポートチケットのトリアージ）に対して言語モデルを選択する際、重大なボトルネックに直面しています。この課題は、以下の2つの収束する条件から生じています。

ラベル付きデータの不在: 代表的なタスク特化型ベンチマークを手動で構築することは、時間がかかり、コストが高く、新しい領域や独自のドメインにおいては不可能な場合も多い。
信頼できない公開ベンチマーク: 標準的な静的ベンチマークは、汚染（contamination）が進んでいる。テスト項目が事前学習コーパス内に漏洩していることがあり、高いスコアは汎化性能や特定のユースケースへの適合性ではなく、記憶（memorization）を反映したものになっている。

既存のソリューションである静的ベンチマークは、硬直性（拡張性の欠如）、汚染への脆弱性、および汎用性（入力分布の不一致）という問題を抱えています。一方で、「LLM-as-judge（判定器としてのLLM）」のアプローチは、コストと拡張性の問題に対処するものの、位置バイアス、冗長性バイアス、および自己嗜好バイアス（自身のモデルファミリーの出力を好む傾向）といった新たなバイアスを導入します。

メソドロジー: CoEval フレームワーク

CoEvalは、新鮮で汚染のない評価パイプラインを生成し、ラベルなしで候補モデルをランク付けするために設計された、オープンソースの宣言型フレームワークです。これは、単一の設定ファイルによって駆動される5段階のパイプラインを通じて動作し、Teacher（教師）、Student（生徒）、**Judge（判定器）**という3つの異なるモデルの役割を分離しています。

1. 役割の分離

Teacher (教師): 宣言されたターゲット属性に基づき、ドメイン特化型のベンチマーク項目（プロンプトと参照回答）を合成する。
Student (生徒): 評価対象となる候補モデルであり、生成されたプロンプトに対して回答を生成する。
Judge (判定器): 自動生成されたルーブリック（評価基準）に従って、生徒の回答を採点する。
設計原則: 判定器のセットは、テスト対象の生徒とは明確に異なるベンダーファミリーとして定義される。この構造的な分離により、モデルが自身のファミリーを採点することを防ぎ、設計レベルで自己嗜好の経路を排除する。

2. 属性層別生成

一様なサンプリングを行うのではなく、CoEvalはターゲット属性（例：難易度、トピック、推論タイプ）を定義し、それらのクロス積（直積）にわたって生成を層別化する。サンプラーは各層における最小項目数（ $n_s \ge \lfloor N/|S| \rfloor$ ）を保証し、エッジケースやデプロイメント分布のマイノリティ領域が確実にカバーされるようにする。項目は実行のたびに属性仕様から新鮮に合成されるため、構造的に汚染に対して耐性を持つ。つまり、生徒の事前学習データに現れることはあり得ない。

3. クロスファミリー判定器アンサンブルと集計

回答は、異なるモデルベンダー（例：OpenAI、Anthropic、Google、オープンウェイトモデル）から選ばれた判定器パネルによってスコア化される。

サイズよりも構成: 本フレームワークは、信頼性はパネルのサイズではなく、ベンダーの多様性（構成）によって決まると仮定している。同一ファミリーの判定器による大規模なパネルは共通のバイアスを増幅させるが、多様な小規模パネルはそれらを相殺する。
バイアスの相殺: 個々の判定器は、混合した符号を持つバイアス（例：ある判定器は冗長性を報酬とし、別の判定器はそれを罰する）を抱えていることが多い。ベンダーが多様なパネル全体でスコアを平均することで、これらのバイアスは相殺される。
集計: デフォルトの集計器は重みなし平均である。CoEvalはまた、ラベルなしでアウトライヤーの重みを下げる、パネルのコンセンサスに対する平均合意度によって判定器を重み付けする、非教師あり信頼性重み付き集計器も提供する。

主な貢献

自己生成型・汚染耐性のあるベンチマーク: CoEvalは、実行ごとに新鮮で属性制御されたベンチマークを生成するため、項目が生徒の事前学習中に目に触れることはない。
構成駆動型の信頼性: 本論文は、判定器パネルの構成（ベンダーの多様性）が、サイズではなく信頼性の決定要因であることを確立している。適切に選ばれたクロスファミリーの2つの判定器パネルは、ICC = 0.70に達する一方、合意度の低い判定器を無差別に加えると信頼性は0.40に低下する。
バイアス相殺型の集計: フレームワークは、自己嗜好（self-preference）を構造的に排除し、多様なパネルによる集計を通じて冗長性バイアスを経験的に相殺する。
再利用可能なラベルフリー・フレームワーク: どのようなドメインやモデルリリースに対しても、低コストで再生可能な、宣言的でモデルに依存しないパイプラインを提供する。これにより、静的なリーダーボードを、更新可能なアプリケーション固有の評価へと置き換える。

実証結果

本フレームワークは、4つのタスク（要約、QA、コード生成、推論）にわたる中規模の研究（7,978件の評価）を通じて検証された。

正解（Ground-Truth）との相関: 正解が存在する厳密一致QAタスク（SciQ, ARC-Challenge）において、CoEvalのラベルなしスコアは、スペアマンの順位相関係数 $\rho = 0.86$ で正解性と一致した。また、 $gpt\text{-}4o\text{-}mini > gpt\text{-}3.5\text{-}turbo > llama\text{-}3.2\text{-}3b$ といった真のモデルランキングを正確に再現した。
アンサンブルの信頼性: 信頼性（ICC(3,k)によって測定）はパネルサイズに対して非単調である。選定された2つのクロスファミリー判定器パネルは ICC = 0.70 に達したが、合意度の低い判定器を無差別に加えると信頼性は 0.40 に低下した。
判定器選択の後悔（Regret）: ラベルなしで単一の判定器を選択することはリスクが高い。候補となる判定器間の相関は、反相関（ $\rho = -0.04$ ）から正の相関（ $\rho = 0.31$ ）まで幅があり、後悔値は 0.35 であった。クロスファミリーのアンサンブルは、決して反相関にはならない。
バイアス相殺: 個々の判定器は、 $r = -0.177$ から $r = +0.234$ までの冗長性バイアスを示した。アンサンブルは平均絶対バイアスを93%削減し、長さとスコアの相関を $r = +0.010$ （信頼区間にゼロを含む）にまで減少させた。
汚染耐性: CoEvalが生成した項目は、主要な5つの公開ベンチマークとの間で、逐語的な13-gramの重複がゼロであった。制御実験では、静的ベンチマークは記憶能力の高い0.5Bモデルをフロンティアモデルより高くランク付けすることがあったが、新鮮なCoEvalの項目は正しくフロンティアモデルを高くランク付けした。
コスト効率: 7,978件の評価を含む研究全体のコストは 5.89米ドル（評価1件あたり約0.00074ドル）であり、モデルリリースごとに再実行することが可能である。
ドメイン・ケーススタディ: ラベル付きデータのない3つのカスタム垂直ドメイン（薬物相互作用、臨床、法務）に適用した結果、CoEvalは、判定器が満場一致で同意するか、あるいは単一の判定器では隠されてしまうような真の相違を表面化させる、防御可能なランキングを生成した。

意義と主張

本論文は、CoEvalが「データなし・信頼できないベンチマーク」という窮状を、再生可能で汚染がなく、バイアスに強い評価手段を提供することで解決すると主張している。その主な意義は、静的な人間によるキュレーション済みベンチマークから、動的で宣言的なパイプラインへとパラダイムをシフトさせることにある。

著者らは、LLMによる判定において、**「サイズよりも構成」**が基本的な設計原則であることを強調している。すなわち、多様なクロスファミリーのパネルこそが、人間のキャリブレーションを必要とせずに、自己嗜好を中和し、混合した符号のバイアスを相殺するための、後悔の少ないデフォルト設定なのである。項目生成からスコアリングまでのループを閉じることで、CoEvalは、評価項目と判定器の両方を、現在の評価慣行を悩ませている特定の失敗モード（記憶およびバイアス）に対して堅牢にしている。本フレームワークは、単発のベンチマークとしてではなく、チームが独自のアプリケーション特化型リーダーボードを再生するための再利用可能なツールとして提示されている。