💬 NLP

Detecting undisclosed LLM-generated content in parliamentary texts

本論文は、議会文書における未開示のLLM生成コンテンツを検出するために学習された解釈可能な分類器を提示し、2022年以降の英国およびスウェーデンにおけるそのような使用の着実な増加を明らかにしている。

原著者： Minerva Suvanto, Andrea McGlinchey, Peter J. Barclay, Mattias Wahde

公開日 2026-06-15

📖 1 分で読めます☕ さくっと読める

原著者： Minerva Suvanto, Andrea McGlinchey, Peter J. Barclay, Mattias Wahde

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

活気ある図書館を想像してみてください。そこではイギリスとスウェーデンの政治家たちが、演説や動議、公式声明を書いています。長年、これらの文書はすべて人間の手（あるいは少なくとも、キーボードでタイピングする人間の思考）によって書かれてきました。しかし最近、この図書館に、ある「目に見えない幽霊」が忍び寄り始めました。それは、ChatGPTのようなチャットボットを動かしているのと同じ種類のAI、「大規模言語モデル（LLM）」です。

この論文は、政治家たちが誰にも言わずに、密かにこのAIという幽霊に演説を書かせているのではないかと突き止めるために、特別な「嘘発見器」を作り上げた探偵チームの物語です。

この調査の物語を、分かりやすく簡潔に説明します：

1. ミステリー：静かなる幽霊

ジャーナリズムや学校のエッセイなどの多くの仕事では、もしAIを使ったのであれば、「ロボットの助けを借りました」と手を挙げて表明することになっています。しかし、議会の世界では、ルールは曖昧です。「おい、AIにこれを下書きさせた」と明言することを強制する厳格な法律はありません。

研究者たちは、もし政治家がAIを使って演説を書きながら、それを認めていないとしたら、公衆の信頼を損なう可能性があるのではないかと危惧しました。それはまるで、シェフが料理を出したのに、実はロボットが作ったことを告げず、そのロボットがデザートに誤って塩を入れてしまった、というようなものです。

2. 探偵の道具：「ガラスボックス」

この幽霊を捕まえるために、研究者たちは答えを出しても中身が理解できない謎めいた「ブラックボックス」型の機械は使いませんでした。代わりに、彼らは**「ガラスボックス」**分類器を構築しました。

これは、単に「有罪」か「無罪」かを判定するだけでなく、どの言葉や文章構造が怪しいのかを、まさに「拡大鏡」のように示すものです。

学習方法： 彼らは、AIが普及する前（2022年以前）の古い演説を取り上げました。これらは100%人間によるものだと分かっています。次に、それらの同じ演説をAIに読み込ませ、AIに書き換えさせました。これで、「人間」の山と「AI」の山ができました。
トレーニング： 彼らは、この「ガラスボックス」に、人間とAIの間の微細な違いを見分けるよう教え込みました。AIは、例えば「UK」ではなく「United Kingdom」と書いたり、文章の独特なリズムを持っていたりと、わずかに異なるパターンで書く傾向があることを見出したのです。

3. 調査：最近のファイルをチェックする

探偵ツールが準備できたら、彼らはそれを2021年から2026年までの「新しい」演説へと解き放ちました。彼らはこれらの演説を2つの方法で調べました。

演説全体： 文書全体がAIの匂いがするか？
段落ごと： 演説の中の「たった一つの段落」だけがAIの匂いがしないか？（政治家が導入部分は自分で書き、中盤の部分だけをAIに書かせたのではないか、という可能性です）。

4. 調査結果：幽霊は至る所にいて、（増え続けている）

結果は明白かつ着実でした：

傾向： イギリスとスウェーデンの両方において、これらのテキストにおけるAIの使用は、2022年以降、着実に上昇しています。
数値： 2026年までに、検出器は、イギリスの演説の約2%、スウェーデンの演説の**6.5%**が、おそらく完全にAIによって書かれたものであると判断しました。
「隠された」部分： 個々の段落に注目すると、数字はさらに高くなりました。イギリスでは、最近の動議の15%以上に、少なくとも一つのAIが書いたと思われる段落が含まれていました。スウェーデンでは**9%**を超えていました。
沈黙： 最も衝撃的な部分は、これらすべてのテキストが、AIの使用を認めていなかったことです。AIを使ったと明記したものは、一つもありませんでした。

5. なぜそれが重要なのか（論文による主張）

論文は、この正直さの欠如が問題であると論じています。

信頼： もし有権者が、自分の政治家がAIを使って言葉を紡いでいることを、それを告げずに使っていると知ったら、裏切られたと感じるかもしれません。
間違い： AIは時として、事実ではないことを作り出したり（ハルシネーション）、偏りを持ったりすることがあります。もし政治家が注意深くチェックせずにAIを使用すれば、誤った情報や攻撃的な考えを意図せず広めてしまう可能性があります。
「認知的なトロイの木馬」： 論文は、AIへの依存が、政治家自身の批判的な思考を停止させ、自分が気づかないうちにAIに思考の重労働をさせてしまう可能性について言及しています。

6. 結論

研究者たちは、AIを使うこと自体は必ずしも「悪い」ことではないが、それを隠すことは問題であると結論付けています。政治家は公式テキストを書くためにAIをますます利用している一方で、透明性を求める（しばしば曖昧な）ガイドラインに従っていないことが判明しました。

彼らは、議会は曖昧な状態を終わらせ、明確で厳格なルールを作るべきだと提案しています。「もしAIを使用したなら、それを明示しなければならない」というルールです。そうでなければ、図書館の中の「幽霊」は、暗闇の中で演説を書き続けることになるでしょう。

技術要約：議会文書における未開示のLLM生成コンテンツの検出

問題提起
大規模言語モデル（LLM）の人間とコンピュータの相互作用への急速な統合は、政治的言説における透明性に関する重大な懸念を引き起こしている。国際連合議会連合（IPU）や英国政府などの機関によるガイドラインは、公衆の信頼を維持し、誤情報やバイアスの拡散を防ぐために、議会文書におけるAI使用の開示を推奨しているが、そのような開示は公式記録においてほとんど見られない。この透明性の欠如は、政治家やその補佐官が動議や声明の起草にどの程度AIを利用しているかを評価することを困難にしている。さらに、既存の検出手法の多くは「ブラックボックス」型のニューラルネットワークに依存しており、誤った告発が評判を傷つける可能性のある高リスクな決定において必要とされる解釈可能性を欠いている。

手法
著者らは、英国（ウェストミンスター）およびスウェーデン（リクスダーゲン）の議会テキストにおける、未開示のLLM生成コンテンツを検出するためのフレームワークを提案する。このアプローチは、Interpretable CONfidence-enhanced Perceptron（ICON）として知られる、完全に解釈可能な線形「グラスボックス（透明な箱）」分類器に基づいている。

データ収集および生成:
- 人間による記述（クラス0）: 人間の執筆をグラウンドトゥルース（正解）とするため、現代のLLM以前の時代である2014年から2020年の間に公開された議会記録からテキストを抽出した。
- LLM生成（クラス1）: 現実的な利用状況をシミュレートするため、著者らは2段階のプロンプティング手順を採用した。まず、人間による記述をLLM（Gemini 3.1 Flash-Lite）によって要約した。次に、これらの要約をプロンプトとして使用し、LLM（GeminiおよびGPT-5 mini）を用いて全文を生成した。これにより、各言語（英国およびスウェーデン）につき、人間によるテキスト1,400件とLLM生成テキスト1,400件からなるバランスの取れたベースデータセットが作成された。
- フォワード・テストセット: 実世界のLLM利用を評価するため、2021年以降に公開されたラベルなしのテキストを収集した。また、広範な公的LLM採用前の偽陽性率（FP）を測定するためのホールドアウトセットとして、2021年初期および2022年のテキストを使用した。
分類モデル（ICON）:
- 分類器は、トークン化されたテキストから抽出されたn-gram特徴量（ユニグラムおよびバイグラム）を利用する。
- 線形決定関数 $s = \alpha + \sum w_i f_i$ を採用し、合計 $s \geq 0$ である場合、そのテキストをLLM生成（クラス1）と分類する。
- 重み（ $w_i$ ）およびバイアス項（ $\alpha$ ）は、トレーニングクラスにおける特徴量の頻度に基づいて初期化され、サンプルごとではなくデータセット全体に対して誤差を計算する修正パーセプトロン学習法を通じて最適化される。
- 解釈可能性: モデルは分類の合計値（ $|s|$ ）に基づく信頼スコアを提供し、決定を左右する特定の機能（例：特定の単語やバイグラム）の寄与を可視化することを可能にする。これにより、ディープニューラルネットワークの不透明性を回避している。
評価戦略:
- 本研究は、(1) 動議全体を単一の単位として分類すること、および (2) 動議内の個々の段落を分類すること、の2つのレベルで検出を評価する。
- 特に段落レベルの分析において、偽陽性を最小限に抑えるために、分類合計に対する信頼閾値（ $T$ ）を適用する。

主な結果

分類器の性能: 学習された分類器は、保持されたテストセットに対して高い性能を示し、F1スコアは英国で0.940、スウェーデンで0.969に達した。極めて重要な点として、LLM以前の時代のテキストにおける偽陽性率は非常に低く（英国で0.062、スウェーデンで0.043）、人間の執筆を誤って分類することに対する堅牢性を示した。
未開示利用の検出: フォワード・テストセット（2021年–2026年）に分類器を適用したところ、両議会において検出されたLLM利用の着実な増加が明らかになった。
- 全文検出: 動議全体を分類した場合、検出率は2021年のほぼゼロから、英国（2026年）では約2.1%、スウェーデン（2025年–2026年）では6.5%へと上昇した。
- 段落レベルの検出: 個々の段落を分析した場合、検出率はより高くなり、これはLLMが文書全体ではなく、テキストの特定のセクションを生成するために使用されていることが多いことを示している。2026年までに、英国の動議の約15.5%、スウェーデンの動議の9.4%において、少なくとも1つの段落がLLM生成であるとフラグが立てられた。
傾向: データは、高度なLLMの公的リリースと相関する、2022年後半から2023年にかけての検出された利用の急増を示している。
開示: 検出されたテキストに対してAIに関連するキーワード（例：「ChatGPT」、「LLM」、「AI」）を用いた手動検索を行った結果、対象となったテキストの中にAI使用に関する開示は一切含まれていないことが確認された。

意義および主張
本論文は、英国およびスウェーデンの議会テキストにおける、未開示のLLM利用の増大する傾向を示す最初の体系的な証拠を提供すると主張している。解釈可能な「グラスボックス」分類器を用いることで、著者らは、特定の分類理由を検査・可視化できるため、自分たちの知見はブラックボックス型のモデルから得られるものよりも、高リスクな政治的文脈においてより説得力があると主張している。

著者らは、結果が透明性に関する既存の（多くの場合、義務ではない）ガイドラインへの違反を示唆していることを強調している。LLMは有用なツールとなり得る一方で、その未開示の利用は、公衆の信頼を損ない、微妙なバイアスを導入し、人間による監視が減少する「認知的オフローディング」を広めるリスクがある。本研究は、現在の開示の欠如は透明性の原則に対する「重大な違反」であると結論付け、議会プロセスにおけるより明確で実行可能なガイドラインと、それへの遵守を求めている。論文は、言語の違いが言語間の比較可能性に影響を与える可能性や、AIの出力を人間が編集することで境界が曖昧になる「グレーゾーン」のテキストが存在する可能性といった限界についても謙虚に述べているが、検出された傾向は堅牢であり、統計的に有意であると主張している。