技術要約：CitizenQueryベンチマーク

問題提起

「市民のクエリ（Citizen queries）」、すなわち政府の政策、サービス、およびガイダンス（給付金、税金、移民など）に関する一般市民からの質問は、大規模言語モデル（LLM）にとって極めて重要かつリスクの高いユースケースである。LLMは、文脈に応じたアクセシブルで迅速な情報サービスを提供する可能性を秘めているが、その公共部門への導入は、ハルシネーション（幻覚）や誤情報の生成のリスクによって阻害されている。市民のクエリに対して不正確な回答を行うことは、助言に依存している個人に対して、深刻かつ目に見えにくい負の影響をもたらす可能性がある。現在、市民のクエリという文脈においてLLMの性能を測定するために特別に設計された標準化されたベンチマークデータセットや評価スイートは存在せず、政府やステークホルダーが公共サービスにおけるAI統合の信頼性を評価することを困難にしている。

メソドロジー

データセットのキュレーション：CitizenQuery-UK

著者らは、22,066件の合成された市民クエリと回答のペアからなる新しいベンチマークデータセット、CitizenQuery-UKを導入する。

• ソース資料: このデータセットは、ベンチマークの唯一の権威ある真実の源として機能する、英国政府の公式ウェブサイトである gov.uk のテキスト情報のみから派生している。
• 生成プロセス:
  • コーパスの構築: 2,781件のgov.ukのページをスクレイピングし、3層のタクソノミー（ホームページ $\rightarrow$ ドメイン $\rightarrow$ サブドメイン）に従って整理した。
  • クエリの合成: 自然な言い回しを確保するため、クエリ生成はオンラインの公開フォーラム（主にReddit）の実世界のデータに基づき、合成生成に典型的な無機質な言い回しを避け、口語的で文脈豊かなユーザー入力を模倣するように行われた。
  • モデル: クエリと回答のペアの生成には、特定のペルソナ（年齢、教育、デジタルリテラシー、職業、所得、地域によるバリエーション）およびメタデータに基づいた条件付けを行い、Qwen 2.5 72B-Instruct モデルを使用した。
  • 品質保証: 3人のアノテーターによる厳格な人間による注釈プロトコルを用い、層化抽出されたサンプルをレビューして生成プロンプトを洗練させ、回答が事実に基づき、かつアクセシブルであることを確認した。毒性とバイアスのスコアはCleanlab Studioを通じて生成されたが、コアとなる目的にはほとんど無関係であると判断され、毒性は低いレベルに留まった。
• データセットの構造: データセットは16の主要ドメインにわたる139のサブドメインを含んでいる。プロンプトは、手続き型（procedural）、指示型（instructional）、情報提供型（informational）、または比較型（comparative）に分類される。各エントリには、クエリ、期待される回答（グラウンドトゥルース）、および広範なメタデータが含まれている。

評価パイプライン

著者らは、FActScoreおよびSAFEアーキテクチャから適応させた評価手法を提案しており、以下の3つの主要コンポーネントで構成される。

1. 棄権検知 (Abstention Detection: AB):

   • ファインチューニングされた分類器（LibrAI/longformer-action-ro）を使用して、モデルがクエリへの回答を拒否するか、あるいは回答不能であるかを識別する。
   • 著者らは、政府のアドバイスにおいては免責事項（ラベル3）が標準的であり推奨されるものであることを認め、標準的なアノテーションスキームを適応させ、「免責事項」を棄権ではなく「パス（合格）」として扱う。
   • 偽陽性を最小限に抑えるため、信頼度閾値（$AB_{th} = 0.925$）を適用する。

2. 原子化された事実生成 (Atomised Fact Generation: AFG):

   • 期待される回答（$a_i$）とモデルが生成した回答（$\hat{a}_i$）の両方を、原子的な事実（atomic facts）または主張へと分解する。
   • 文を粒度の細かい検証可能な構成要素へと分解するために、指示チューニングされたLLM（$M_{AFG}$）を用いたリトリーバルベースのフューショット・プロンプティング戦略を使用する。
   • グラウンドトゥルースの原子的な事実は、固定された参照点を確保するために事前計算される。

3. 原子化された事実検証 (Atomised Fact Verification: AFV):

   • LLM-as-a-judge（$M_{AFV}$）を用いて、モデルの主張がグラウンドトゥルースの事実によって支持されているかどうかを検証する。
   • 指標:
     • F1@K: グラウンドトゥルースの事実（$K$）に対する適合率（precision）と再現率（recall）の調和平均を算出する。これは、モデルの冗長性（事実の繰り返し）や過度な冗長さを罰し、情報の密度を評価する。
     • 冗長性 ($\Delta K$): モデルが生成した主張の数（$\hat{K}$）とグラウンドトゥルースの数（$K$）の差を測定する。正の値は過剰生成を、負の値は欠落を示す。

主な結果

ベンチマークでは、11のLLM（Llama、Claude、Gemini、Qwen、OpenAIファミリーを含む）を、Zero-ShotおよびFew-Shotの両方の条件下で評価した。

• パフォーマンス・プロファイル:

  • 事実性 (Factuality): 中央値のF1@Kスコアは概して高く（しばしば0.90超）、モデルが正しく回答していることが多いことを示している。しかし、平均スコアは中央値よりも低くなっており、パフォーマンスの低い「ロングテール」と高い分散（標準偏差は0.18から0.36の範囲）が存在することを明らかにしている。
  • モデルファミリー: Claude-4.5-Haikuのようなクローズドソースモデルは高い正確性を示したが、同時に高い冗長性も示した。オープンウェイトモデル（例：Qwen3-32B、Llama-3.3-70B）は、クローズドモデルに対して競争力のある性能を示した。Kimi-K2-Instructは、事実性が低く、棄権率が高い傾向にあった。
  • Few-Shotの影響: 予想に反して、フューショットの例を提供すると、平均F1@Kスコアが一般的に低下し、分散が増大した一方で、冗長性はわずかに減少した。いくつかのケースでは、モデルはより少ない情報を生成したが、その情報は事実的な裏付けが乏しかった。

• 主な行動的知見:

  • 低い棄権率: モデルは、不確実な場合であっても、回答を棄権することは稀であった（発生率 <1.5%）。
  • 高い冗長性: モデルは一貫して情報を過剰生成していた（$\Delta K$ は正であり、Zero-ShotでのClaude-4.5-Haikuは+16.63であった）。
  • 分散: 高い標準偏差は、モデルが正解することは多いものの、その失敗モードが予測不可能であることを示唆しており、信頼性のリスクを生じさせている。

意義および主張

本論文は、CitizenQuery-UKが、市民のクエリ・タスクにおけるLLMの信頼性を評価するための最初のエビデンスに基づくフレームワークを提供すると主張している。その意義は以下の点にある：

1. 公共部門への採用に向けたエビデンス: 理論的な仮定を超えて、AIの正確性を統合前に評価するためのメカニズムを提供する。
2. 「冗長性 vs 信頼性」のトレードオフの提示: 結果は、現在のLLMが不確実性を認めることよりも情報を生成することを優先していることを示唆している。高リスクな市民のクエリにおいて、この「話したがる性質（eagerness to talk）」と高い分散が組み合わさることで、ユーザーが不正確または古い情報を過度に信頼してしまうリスクが生じる。
3. 「限界の承認（Fallibility）」の呼びかけ: 公共部門における信頼できるAIには、情報を過剰生成するのではなく、自らの限界（fallibility）を認められるモデルが必要であると著者らは主張している。
4. 将来のガバナンスの基盤: すべてがオープンデータに基づいて構築されたこのベンチマークは、公共部門におけるAIの政策や調達決定を導くための、中央集約的な評価スイートの基礎を築くものである。

著者らは、LLLLMは有望ではあるものの、現在の高い分散と過剰生成の傾向により、信頼性や不確実性を認めるメカニズムの著しい改善なしには、直接的な展開には適していないと結論付けている。