Multi model deliberation improves the stability of automated scoring by large language models across genres and assessment contexts

技術要約：自動採点の安定化に向けたマルチモデル・デリバレーション（討議）

問題提起
大規模言語モデル（LLM）は自動エッセイ採点において有望な兆しを見せているが、その実用的な教育評価への導入は、採点の不安定性とクロスコンテキストでの検証不足によって阻まれている。既存の研究は予測精度（人間による採点との一致）を優先する傾向があるが、信頼性、特に同一の回答を繰り返し評価する際のモデルの一貫性を軽視している。確率的生成器であるLLMは、人間の採点者の疲労に似た確率的な変動をもたらし、これが教育的な公平性と妥当性を脅かす。古典的な測定理論によれば、信頼性は妥当性の前提条件である。同一の回答に対して異なるスコアを算出する計器は、有効な推論を支えることができない。さらに、従来のアンサンブル手法（単純な平均化など）は、情報の交換や推論の統合を伴わない孤立した判断を集計するに過ぎないため、「認知的キャリブレーション（認知的な調整）」を促進することができない。

手法
本研究は、集合知理論に基づいたマルチモデル・デリバレーション・フレームワークを提案する。このフレームワークは、自動採点を、3つの異種構成のオープンソース中国語LLM（Baichuan2-13B、Qwen2.5-14B、ChatGLM4-9B）による討議プロセスとして再定義する。プロセスは以下の3つの逐次的なラウンドで構成される：

1. 独立採点 (R1): 各モデルが独立して回答を採点し、初期スコアと根拠（ラショナル）を生成する。
2. 情報交換 (R2): モデルに対し、他の2つのモデルのスコアと根拠を提示する。モデルは、新たな証拠に基づき、スコアを修正するか、あるいは元の判断を維持するかを選択しながら、回答を再評価するように促される。
3. 最終確認 (R3): モデルはR2における一連の修正と根拠を受け取り、決定的な最終スコアを提出する。

本フレームワークの汎用性と安定性を検証するため、2つの補完的なデータセットを用いて評価を行った：

• ASAP-AES コーパス: 8つのライティング・プロンプトに分布する約13,000件のK-12学生のエッセイを含む公開ベンチマーク。本研究では、各プロンプトから高・中・低のスコアセグメントをカバーするように5つのエッセイを意図的にサンプリングし、40のエッセイからなるテストセットを作成した。これに対し、1エッセイにつき30回の試行を行い（計7,350の特性レベルの観察値）、評価を行った。
• ジャーナリズム・コーパス: 中国の大学のジャーナリズム課程における真正な回答（10のエッセイ、各100試行、計9,000の採点レコード）であり、専門家による人間による採点が行われている。

本研究では、提案されたデリバレーション・アンサンブルを、単一モデルのベースライン、単純な平均/中央値アンサンブル、および事後デリバレーション単一モデル採点と比較した。指標には、収束を示すための相互モデル平均絶対誤差（MAE）、安定性を示すための変動係数（CV）、および人間によるスコアとの順位相関を用いた。

主な結果

• 不一致の大幅な減少: ASAP-AESコーパスにおいて、全プロンプトにわたり、R1からR3にかけて相互モデル間の不一致（MAE）が有意に減少した（Holm補正済み p < 0.001）。統合された効果量は大きく（Cohen's dz = 1.08）、順位バイセリアル相関は0.92であり、ジャンルやルーブリックの尺度に関わらず、デリバレーションが継続的に収束を促したことを示している。
• 安定性の向上: ジャーナリズム・コーパスにおいて、デリバレーション・アンサンブルの変動係数（CV）は、ベースラインの7.29%から2.78%へと低下し、61.9%の相対的改善を示した（t(9) = 7.98, p < 0.001）。この改善は、単純なアンサンブル戦略（CVを40.8%減少）や事後デリバレーション単一モデル採点（34.2%の改善）を大幅に上回っており、デリバレーションと集計の間の相乗効果を実証している。
• ラウンド分解: 収束効果は2つのセグメントに分割された。情報交換ラウンド（R1からR2）が全収束の約3分の2（66–69%）を占め、最終確認ラウンド（R2からR3）が残りの3分の1（31–34%）を占めた。両段階とも統計的に有意であり、非冗長であることが判明した。
• モデルの異質性と挙動: 3つのモデルは、データセットを通じて明確かつ一貫した役割を示した。Baichuan2はスコアの変化が最小限である保守的な「アンカー」として機能し、Qwenは頻繁にスコアを上方修正する「能動的な調整者」として機能し、ChatGLMは調整と集団思考（グループシンク）への抵抗のバランスを取る「堅牢な審判」として機能した。この異質性が、早期の収束を防いでいる。
• 人間によるスコアとの整合性: デリバレーションは精度（安定性）を向上させたが、人間による採点と比較して絶対スコアの系統的な上昇（例：100点満点のジャーナリズム・スケールにおいて+13.46ポイント）を誘発した。しかし、人間によるスコアとの順位相関は概ね維持された（ジャーナリズム・コーパスにおいて Spearman ρ = 0.75）。この系統的なバイアスは、人間のアンカーに対する標準的な線形キャリブレーションを通じて修正可能であり、平均絶対誤差（MAE）を50.3%削減できることが示された。

主な貢献

1. 採点信頼性の再定義: 本研究は、純粋な予測精度から測定の信頼性へと焦点を移し、数値的な誤差相殺ではなく、能動的な認知的キャリブレーションを通じて安定性を達成するデリバレーション・フレームワークを提案した。
2. 実証的検証: 多様な言語（中国語/英語）、ジャンル（論説/物語）、および評価尺度にわたるフレームワークの有効性を示す強固な証拠を提供し、マルチモデル・デリバレーションの汎用性を検証した。
3. メカニズムの特性化: 異種モデルの具体的な収束パターンと調整行動を特性化し、情報交換が収束の大部分を駆動し、最終確認ラウンドが必要な安定化を提供するものであることを明らかにした。

意義と主張
本論文は、マルチモデル・デリバレーションが自動採点の安定性を大幅に向上させ、一貫性が極めて重要となる教育評価においてLLMの実用性を高めるものであると主張している。著者らは、デリバレーションはスコアの「精度（信頼性）」を向上させるものの、直ちに「妥当性（人間による基準との絶対的一致）」を保証するものではないと論じている。したがって、本フレームワークは、ハイステークス（高利害）な用途において、人間のアンカーを用いたキャリブレーションと併用されるべき「精度向上レイヤー」として提示されている。研究は、人間の専門的な判断が評価プロセスの中心にあり、系統的なバイアスがキャリブレーションを通じて管理される限り、このようなシステムが形成的評価を支援し、採点作業の負荷を軽減できると結論付けている。これらの知見は、異種モデルの「集団的知恵」がデリバレーションを通じて構造化されたとき、単純な集計や単一モデルのアプローチよりも信頼性の高い自動採りへの道を開くことを示唆している。