Validity of LLMs as data annotators: AMALIA on authority

技術的要約：データアノテーターとしてのLLMの妥当性

問題提起
本論文は、社会科学研究におけるデータアノテーターとしての大規模言語モデル（LLM）の評価における決定的な欠落に対処している。ポルトガルのAMALIAのような国家的な「ソブリン（主権）」LLMが、ローカルなテキストを分析するためにますます導入されている一方で、その評価は歴史的に、理論的な構成概念の定義への忠実性である「構成概念妥当性（construct validity）」ではなく、「信頼性（reliability）」（人間のコーダーとの一致度）に依存してきた。

核心となる問題は、LLMと人間によるアノテーション間の高い一致度は、モデルが意図された理論的構成概念を測定していることを保証しないという点である。むしろ、モデルは「表面的な相関関係」やショートカット（例：階層に対する特定のスタンスではなく、権威者の近くにある道徳的な憤りなどを検出すること）を通じて一致を実現している可能性がある。LLMはブラックボックスであるため、標準的な一致指標では、真の推論と偽の相関を区別することができない。これは、ローカルなデータや言語を用いて訓練されたモデルは、そのコミュニティにとって優れた測定器として自然に機能するという仮定が置かれているソブリンモデルにとって、特に緊急の課題である。

方法論
本研究は、LLMの推論経路を調査するために「粒度キャリブレーション（grain calibration）」手法を採用しており、全体的な一致度を超えて、測定器具としての妥当性をテストする。

1. 構成概念とコーパス： 本研究は、道徳基盤理論（Moral Foundations Theory）における「権威／反逆（authority/subversion）」の道徳的基盤に焦点を当てている。データセットは、厳格な「トランス・クリエーション（意味の再創造）」パイプラインを通じて欧州ポルトガル語（pt-PT）に変換された、Moral Foundations Reddit Corpus（MFRC）からの748のテキストで構成されている。このパイプラインは、イディオムやレジスターを適応させつつ、意味、スタンス、および参照対象を保持することを保証し、コードのリークを防ぐためにブラインド生成と人間による判定を行っている。
2. モデル： 主要な対象は、欧州ポルトガル語用の90億パラメータモデルであるAMALIA-9Bである。これは、より大規模なオープンウェイトの多言語モデルであるLlama-3.3-70BおよびGPT-OSS-120Bと比較される。
3. リカバリー・ギャップ（$\Delta$）： 中心となる指標は、「リカバリー・ギャップ」であり、$\Delta = F^u_1 - F^d_1$ と定義される。
   • $F^u_1$：**未分解（undecomposed）**プロンプト（全体的な指示）のパフォーマンス（F1スコア）。
   • $F^d_1$：構成概念が原子的な節（検出、区別、評価）に分解され、理論から導出された厳格なブール論理統合ルールによって再結合された**分解（decomposed）**プロンプトのパフォーマンス。
   • $\Delta \approx 0$ は、モデルが理論によって定義された通りに構成概念を測定していることを示す。大きな $\Delta$ は、モデルが理論で指定されていないショートカットに依存していることを示す。
4. 実験設計： 本研究は、ポルトガル語のコーパスに対して、英語およびポルトガル語の指示の両方を用いてAMALIAをテストする。また、同じコーパスに対する参照モデルの結果と、参照モデルのオリジナルの英語コーパスにおける結果を比較する。本研究は事前登録されており、保持セットである448のテキストに対する確認テストの前に仮説を固定している。

主な結果

1. AMALIAの高い信頼性と低い妥当性： AMALIAは、人間によるアノテーターと同等の高い一致度（全体的 $F_1 \approx 0.71$）を達成しており、これはサイズの8〜13倍のモデルにも匹敵する。しかし、大きなリカバリー・ギャップ（ポルトガル語の指示下では $\Delta \approx 0.36$、英語の指示下では $\Delta \approx 0.44$）を示す。これは、分解によってAMALIAの全体的なパフォーマンスの約半分しか回収できないことを示している。
2. 表面的な相関関係 vs 理論： 誤分類分析により、AMALIAの偽陽性は、階層に対する要求される評価的スタンスではなく、「一般的な道徳的憤り」や単なる権威者の存在といった表面的な相関関係によって主に引き起こされていることが明らかになった。偽陽性の78%において、モデルは構成概念の理論的定義ではなく、表面的な基盤に依存していた。
3. モデル固有の失敗： この失敗は、コーパスや言語ではなく、AMALAに特有のものである。
   • GPT-OSS-120Bは、ポルトガル語のコーパスにおいてギャップを縮小し（$\Delta \approx 0.03$）、英語の結果と同様のパフォーマンスを示す。
   • Llama-3.3-70Bは、中程度のギャップ（$\Delta \approx 0.12$）を示しており、これは英語でのパフォーマンスよりも大きいが、AMALIAよりは大幅に小さい。
   • これは、問題が「構成概念ーモデル器具」（具体的には9Bモデルの理論的な粒度を実行する能力）にあることを示唆している。
4. 指示言語： ポルトガル語の指示がギャップを狭めるという仮説は、統計的に支持されなかった（$\Delta_{pt} = 0.358$ vs $\Delta_{en} = 0.436$。差の信頼区間にゼロが含まれた）。方向性は仮説と一致していたものの、効果は有意ではなかった。

主な貢献

• 構成概念妥当性の操作化： 本論文は、LLMにおける信頼できる一致と有効な測定を区別するための診断ツールとして「リカバリー・ギャップ」を導入し、適用している。これは、一致度だけではLLMを科学的器具として検証するには不十分であることを示している。
• ソブリンモデルの評価： 本研究は、国家的なLLM（AMALIA）のネイティブ言語における初の妥当性研究を提供し、「母国語」モデルが自動的に優れた測定妥当性を備えているという仮定に異議を唱えている。
• トランス・クリエーション・パイプライン： 構成概念の転移が、単なる想定ではなく検証によって正当化されることを保証する、クロスリンガル・コーパス作成のための厳格な事前登録済みパイプラインを詳述している。
• 粒度の高いエラー分析： プロンプトを原子的な節に分解することで、全体的な指標では隠されてしまう具体的な失敗モード（例：権威に対するプロキシとしての道徳的憤りへの依存）を特定している。

意義と主張
本論文は、AMALIAは信頼できるアノテーター（人間のコンセンサスと一致するコードを生成する）ではあるが、権威という理論的構成概念を測定するための妥当な器具にはまだなっていないと結論づけている。それは、構成概念の定義に求められる理論的な推論ではなく、表面的なパターンに依存して「正しい理由で正しい」コードを生成している。

著者らは、ソブリンLLMプログラムが測定タスクを担うためには、一致指標を超えなければならないと主張している。重要な問いは、モデルが人間と一致するかどうかではなく、理論によって定義された特定の推論ステップを実行することで、「作業過程を示す（show its work）」ことができるかどうかである。本研究は、小型の国家モデルは、再キャリブレーションなしでは複雑な理論的分解を実行するための「実行可能な粒度（executable grain）」を欠いている可能性を示唆しており、妥当性のエビデンスは一般的な言語ベンチマークとしてではなく、特定の測定用途に対して生成される必要があるとしている。論文は、AMALIAはトリアージやプレコーディングには適しているが、理論的構成概念のスタンドアロンな測定には適さないと明言している。