技術概要：GrowLoop – 人間によるシードを起点とした自己進化型会話評価

1. 問題定義

オープンエンドな会話における大規模言語モデル（LLM）の評価は、検証可能な正解性（例：数学、コード）から、人間らしさ（自然さ、個性、共感）へと移行しつつある。しかし、これらの性質の評価は、暗黙知（人間が直感的に保有するが言語化が困難な知識）に根ざした 3 つの根本的な課題に直面している。

1. アノテータ間合意の低さ: 検証可能なタスクとは異なり、人間らしさに関する人間の判断は大きく変動する。一部のケースでは合意が得られるものの、他のケースでは文化的背景、コミュニケーションスタイル、個人の嗜好の違いに基づく正当な不一致が生じる。既存の手法は、単一の正解を強制するか、アノテーション分布を盲目的に一致させようとする傾向があり、評価誤りと正当な多様な意見の区別ができずにいる。
2. 基準の形式化不可能性: 暗黙知は明示的な定式化を拒絶する。専門家によって作成されたベンチマークは、安定した評価基準（ルーブリック）に定式化が困難な直感に依存しており、好みに基づいて訓練された報酬モデルはブラックボックスとして機能し、解釈性やデバッグ・修正の能力を欠いている。
3. 静的ベンチマーク対進化型ターゲット: AI の能力が向上し、人間の期待が変化するにつれ、静的ベンチマークは陳腐化する。それらは新しい失敗モードを網羅できず、変化する文化的・技術的文脈に適応できない。現在の「自己進化」アプローチは、通常、ケースの難易度のみをスケーリングするものであり、評価基準（ルーブリック）そのものを進化させるものではない。

2. 手法：GrowLoop フレームワーク

GrowLoop は、最小限の人間によるシード注釈とモデルの進歩によって駆動される自己進化型会話評価システムである。これはアノテータの合意度に基づいて 2 つの異なる領域で動作し、ルーブリックとケースの双ループ共進化メカニズムを利用する。

2.1 合意・不一致を考慮した評価

システムは評価ケースを 2 つの領域に分割する。

• 合意領域: 人間のアノテータが合意するケース。ここでは、システムは人間と AI の合意度に基づいて評価される。
• 不一致領域: アノテータが正当に不一致を示すケース。ここでは、システムは特定の正解に一致する必要はなく、合理的な人間の意見の範囲内で妥当な判断を生成しなければならない。これは、複数の妥当な判断が同時に存在し得ることを認めるものである。

2.2 ルーブリック生成（暗黙知の外部化）

システムは、最小限の人間によるシード注釈（50 ケース）を、LLM エージェントによって最適化される自由形式のテキスト変数としてルーブリックを扱うヒューリスティック学習を通じて、運用可能な評価ツールに変換する。このプロセスは 3 つのフェーズを含む。

1. コールドスタート初期化: エージェントは既存のベンチマークからの構造的な事前知識（例：安全性と品質の分離、階層的な次元）に導かれながら、シード注釈をボトムアップで分析する。候補となる次元と「致命的な問題」（例：安全性違反）を抽出し、2 つの補完的なルーブリックをブートストラップする。Rubric_safety（二値の致命的問題検出）と Rubric_quality（多次元スコアリング）である。
2. ヒューリスティック学習: 反復的な最適化ループがルーブリックを洗練させる。
   • 領域を考慮した比較: 最適化シグナルは、曖昧なケースにおけるノイズを追うことを避けるため、合意領域からのみ導出される。
   • 自然言語勾配: システムはメタリフレクションを行い、スコアリングの誤りをルーブリック定義の構造的な原因（例：曖昧なアンカー）に遡って追跡し、過学習に対する正則化として機能する。
   • 優先順位付き更新: 改訂は、定義 > アンカー > 境界ケースのパッチという厳格な階層に従い、無制限な成長を防ぐための圧縮ルールが適用される。
3. カスケード統合: 最終的な評価関数は、致命的な問題を含む応答をゼロにする Rubric_safety を最初に適用し、その後に Rubric_quality を適用する。

2.3 ケース生成

システムは、**会話状況パッケージ（CSP）**を用いて、多様で識別可能かつ較正されたケースセットを生成する。CSP は、文脈、ユーザーペルソナ、曖昧性のパターン、認知の罠などの変数を制御する 15 項目の構造化テンプレートである。

• マルチエージェント生成: 4 つのエージェント（リファレンスアナライザー、多様性エージェント、ケースジェネレーター、クリティック）が CSP を多ターン対話に変換し、すべてのルーブリック次元の網羅性と、本物らしい相互作用のリズムを確保する。
• 検証とターゲットを絞った再生成: 生成されたセットは、5 つのハードゲート（多様性、ランキングの一貫性、識別性、隣接ティア間のギャップ、難易度の較正）に対して評価される。ゲートに失敗した場合、ターゲットを絞った再生成ループがケースの難易度または構造を調整し、すべての基準が満たされるまで繰り返す。

2.4 ルーブリック・ケース共進化

GrowLoop は、双ループメカニズムを通じて静的なルーブリックと進化型モデルの間のギャップを埋める。

• ルーブリック → ケース: ルーブリックがケース生成を駆動する。特定の次元が過小評価されている場合、またはトップティアのモデルによって飽和している場合、システムはこれらのギャップを探るためのターゲットケースを生成する。
• ケース → ルーブリック: 評価結果がルーブリックの欠陥を露呈する。
  • アンカーレベルのシグナル（低い一貫性）は、ヒューリスティック学習を介した既存次元の洗練をトリガーする。
  • 構造的シグナル（帰属できない失敗パターン）は、新しいシードの人間ループ内注入をトリガーし、ルーブリックの範囲を新しい失敗モードを網羅するように拡張する。

3. 主要な貢献

1. 統合評価パラダイム: GrowLoop は、合意・不一致の考慮、暗黙知の外部化、継続的な自己進化を同時に解決する最初のシステムである。
2. ヒューリスティック学習: 人間によるシードから暗黙知を明示的かつ編集可能なルーブリックとケースへ外部化するための新規手法であり、LLM エージェントを活用して完全な再訓練なしで基準を反復的に洗練させる。
3. 双ループ共進化: ルーブリックとケースが互いの改善を反復的に駆動するメカニズムであり、評価対象が変化した際に、ベンチマークが盲点を自律的に検出し、範囲を拡張することを可能にする。
4. ライブインフラストラクチャ: システムは、手動更新や難易度のスケーリングから、包括的で継続的な自己進化プロセスへとベンチマーキングのパラダイムをシフトさせる。

4. 実験結果

このフレームワークは、500 ケースのベンチマークと 4 つのティアのモデルプールを用いた、オープンエンドな会話における人間らしさ評価で検証された。

• ルーブリックの品質:
  • 合意領域: 最適化されたルーブリックは、合意領域における人間の判断と86.0% の合意を達成し、ベースラインを大幅に上回った。
  • 不一致領域: システムは、人間の合意がない状況でも妥当な判断を生成する能力を示し、さらに重要なのは、人間のアノテータが見落とした役割境界違反（例：医療アドバイス）を特定できたことである。
  • モデル間の一貫性: ルーブリックは異なるジャッジ LLM（Gemini と Claude）間で確実に転送され、その安定性が確認された。
• ベースラインとの比較:
  • GrowLoop は、ゼロショットジャッジ、手動プロンプト、トレーニングフリー手法、報酬モデルを含む 9 つのベースラインを、タイを考慮した精度（0.78）、ペア精度（0.87）、スピアマンの $\rho$（+0.78）において上回った。
  • 報酬モデルとは異なり、GrowLoop は解釈可能かつ編集可能な基準を提供した。
  • 静的ベンチマークとは異なり、暗黙の事前知識（例：冗長さを品質と同等視すること）に起因してベースラインが失敗したケースを正常に特定した。
• ケースの品質:
  • 生成された 500 ケースのセットは、5 つのハードゲートをすべて通過し、高い多様性（エントロピー > 0.97）、安定したランキングの一貫性（Kendall $\bar{\tau} \ge 0.7$）、モデルティア間の明確な識別性（Cliff's $\delta \ge 0.32$）を示した。
  • ケースは、人間が作成したセットの限定的な網羅性に対し、罠の設計において深さと多様性を拡張し、罠の分類の 100% を網羅した。
• 進化性:
  • ルーブリックの進化: システムは、追加の人間注釈なしに、10 回および 6 回の反復でそれぞれルーブリックの品質（86.6%）と安全性（91.5%）に収束した。更新は、同様の構造的パターンを持つ未見のケースにも一般化した。
  • ケースの進化: ターゲットを絞った再生成ループは自律的に収束し、指標が 5 ラウンドにわたって単調に改善した。

5. 意義と主張

本論文は、GrowLoop を単なるベンチマークではなく、ライブ評価インフラストラクチャとして位置づけている。その意義は以下の点にある。

• 暗黙知のギャップへの対応: 人間の直感を明示的かつデバッグ可能な基準へ外部化するメカニズムを提供し、主観的評価における「知っているが語れない」という問題を解決する。
• 正当な不一致の処理: 合意と不一致を区別することで、主観的タスクに単一の正解を強制する恣意性を避けつつ、厳格な基準を維持する。
• 継続的適応: 評価基準とテストケースがモデルの能力や変化する人間の期待と共進化することを可能にすることで、静的ベンチマークの陳腐化問題を解決する。
• 検証不可能な RL の基盤: 著者らは、GrowLoop が、評価基準そのものが解釈可能かつ安定である必要がある会話のような検証不可能なタスクへの、検証可能報酬を用いた強化学習（RLVR）の適用に必要な基盤を築いていると示唆している。

著者らは、現在の実装はテキストベースであるが、このフレームワークはモダリティに依存せず、マルチモーダル基盤モデルが成熟するにつれて、音声、視覚、身体性を伴う相互作用の評価への道を開くと結論づけている。また、マルチエージェント評価者をコンパクトで編集可能な報酬モデルへ蒸留することは、スケーラブルな展開に向けた重要な次のステップであると特定している。