技術要約: LINGUA-AUDIT

問題提起

大規模言語モデル（LLM）が多言語社会における公共サービスや福祉制度の対話型インターフェースとして導入されることが増加する中で、「AIを介した情報の不平等（AI-mediated information inequality）」という重大な課題が生じています。この現象は、同一の情報ニーズを持つ市民に対し、異なる言語条件下で提供される実質的、事実的、かつ実行可能な情報の体系的な乖離として定義されます。

高リスクな市民活動の文脈（例：医療の受給資格、法定文書、福祉制度）において、パフォーマンスの格差は単なるスタイルや流暢さの問題にとどまりません。それらは、非英語またはコードスイッチング（例：ヒングリッシュ）によるクエリが、英語によるクエリと比較して、不完全、時代遅れ、あるいは事実に基づかないガイダンスをもたらすという、実質的な危害として現れます。既存の多言語評価は、主に表面的な能力（パープレキシティ、翻訳スコア、または多肢選択式試験）に焦点を当てており、同一の市民的情報ニーズが言語間で公平に満たされているかどうかを評価できていません。

メソドロジー

本論文は、実質的な情報の不平等を体系的に評価するために設計された、再現可能なフレームワークである LINGUA-AUDIT を提示します。これはベンチマーク設計および測定プロトコルであり、ライブモデルの経験的な比較を行うものではありません。

1. ベンチマーク設計とタスク構築

• 範囲: 本フレームワークは、インドの5つの不可欠な市民ドメイン（ヘルスケア、教育、公共サービス、金融、一般知識）にわたる150の実世界の行政タスクに基づいています。
• グラウンドトゥルース（正解）: 各タスクは、マスタータスクレジストリ（公式ガイドライン、官報、省庁の通達、および部門ドメインから取得）に記録された公的な法定当局に基づいています。ただし、グラウンドトゥルースは、独立して認証された法的ゴールドスタンダードではなく、プロジェクト著者による内部キュレーションを表しています。レジストリにはスキーム名とカットオフ日（期限）は記録されていますが、直接のURL、逐語的な法定抜粋、および条項と事実のマッピングは含まれていません。タスクは、コミュニケーションの意図と事実的範囲の言語に依存しない概念的な仕様である「潜在的情報ニーズ（UIN）」によってインデックス化されており、英語規範的なバイアスを排除しています。
• 事実構造: すべてのタスクには以下が含まれます：
  • 重要事実 (Critical Facts: CF): タスクごとに3つの必須の法定基準（例：所得制限、期限）。
  • 重要事項 (Important Facts: IF): タスクごとに2つの不可欠な手続き的コンテキスト。
  • 安全性制約 (Safety Constraints): 金融的搾取を防ぐための、タスクごとの1つの明示的な境界。
• UIN: 言語に依存しない概念的な仕様。

2. 実験構成

本フレームワークは、データ収集とスコアリングのための完全な要因行列を定義します：

• 150のタスク × 3つの言語条件（フォーマルな英語、デバナガリ文字によるヒンディー語、ローマ字表記のヒングリッシュ） × 4つのターゲットモデルスロット（Google, OpenAI, Anthropic, Meta） × 3回の反復。
• 総セル数: 5,400個の要因セル。
• 現在のステータス: 本論文は、パイプラインの整合性を検証するためにメモリ内で生成された「決定論的ソフトウェア・フィクスチャ（合成ベースライン）」について報告しています。ライブモデルのAPIクエリはまだ実行されておらず、5,400のレコードはプログラムによるフィクスチャであり、実際のモデル出力ではありません。

3. 測定指標

本フレームワークは、5つの次元にわたる13のレスポンス品質指標を定式化しています：

• 事実の精密性: クレームレベルの精度 (M1) および矛盾のみの精度 (M1b)。
• 網羅性と欠落: 重要事実のカバー率 (M2a)、加重網羅率 (M2c)、および重要事実の欠落率 (M3)。
• 事実誤認: 重複を除いたエラー数 (M4a)、バイナリのエラー指標 (M4b)、および正規化されたエラー率 (M4c)。
• 真正性と安全性: 引用の品質グレード (M5)、ドメイン安全性レベル (M6)、およびUINに対する意味的保存性 (M7)。
• 確率的一貫性: 網羅性の分散 (M8a) および反復間における重要事実のジャカード一致度 (M8b)。

4. 統計分析計画

規定された統計計画は以下を活用します：

• 比率結果のための一般化線形混合モデル (GLMMs)（M1, M2a, M3については二項分布、M4aについては負の二項分布）。
• 順序付けられた評価のための累積リンク混合モデル (CLMMs)（M5, M6, M7）。
• 分散および一致度指標のための2部構成ハードルモデル (Two-Part Hurdle models)。
• 多重性制御: 9つの仮説（3つのエンドポイント × 3つの言語コントラスト）からなる主要な確認的ファミリーに対する、Holm–Bonferroni ステップダウン補正による家族全体のエラー率（FWER）の制御。

主な貢献

1. 市民情報ベンチマーク設計: 翻訳されたコーパスを超え、真のローカライズされた問題解決をテストするために、言語に依存しないUINによってインデックス化された150の行政タスクをキュレートしました。
2. 多次元的な運用指標: 表層的な流暢さではなく、実質的な情報の不平等（欠落、ハルシネーション、安全性のリスク）を明確にターゲットとした13の指標の数学的仕様。
3. メソドロジカル・ガバナンス: 無効な既往の合成評価器バリデーション・アーティファクト（自動評価器が「人間」のグラウンドトゥルースとして機能するように複製されていたもの）を明示的に隔離し、ソフトウェアの正当性と経験的な構成妥当性を明確に分離しました。
4. 再現可能なソフトウェアパイプライン: 5,400セルの要因行列に対して115個のパスするユニットテストおよび回帰テストによって検証された、オープンソースのPythonスコアリング・アーキテクチャ。
5. コードスイッチングの統合: ヒンディー語と英語のコードスイッチング（ヒングリッチ）を、フォーマルな英語やヒンディー語と同様の、第一級の評価条件として扱っています。

結果および検証ステータス

本論文は、特定のモデルの比較や言語間の格差ランキングは報告されていないことを明記しています。提示されている結果は、厳密にはフレームワーク自体の技術的検証です：

• パイプラインの整合性: ソフトウェアは、要因行列全体にわたる100%のカバー率で5,400の合成レコードを正常に生成および検証しました。
• 暗号学的検証: データセットのフィクスチャファイルは、検証済みのSHA-256ハッシュを用いて暗号学的に監査されました。
• ベースライン診断: 合成フィクスチャは、反復間でのレイテンシおよび分散がゼロであり、データを正しくパースおよびシリアライズするパイプラインの能力を確認しました。
• 検証の限界: すべての13の品質指標は、真のバイリンガル人間によるアノテーションを待つ間、経験的に未検証のままです。以前の自動評価器による検証は、合成参照を複製したものに依存していたことが判明し、隔離されました。

意義と主張

本論文は、LINGUA-AUDITを多言語社会におけるアルゴリズム・ガバナンスのための必要なインフラとして位置付けています。その意義は以下にあります：

• 評価パラダイムの転換: 「表層的な流暢さ」から「実質的な情報の公平性」へと移行すること。市民活動の文脈において、必須書類の欠落や期限切れが具体的な行政的危害を構成することを認識すること。
• 循環的検証の防止: 「循環的な自己検証」のエラー（合成出力を人間のグラウンドトゥルースと誤認したもの）を露呈させ、隔離することで、AI監査における方法論的透明性のための厳格な基準を確立しました。
• 将来を見据えたインフラ: ライブデータの収集と人間の評価者によるキャリブレーションが完了した後に、フロンティアモデルを監査するために必要な、規定済みの測定器具と統計的アーキテクチャを提供します。

著者は、LINGUA-AUDITは、特定のモデルが不平等を示すかどうかをまだ回答するものではないと結論付けています。むしろ、必要な経験的データ（ライブモデルの応答と人間のアノテーション）が集められた際に、そのような不平等を検出し、定量化するために必要な、オープンで再現可能かつ統計的に厳格なフレームワークを提供するものです。