Convergent assessment cannot be policed: a residual-entropy bound on authorship attribution and its consequences for integrity in quantitative disciplines

あなたは、ミステリーを解決しようとしている探偵だと想像してください。謎は「これは誰が書いたのか？」です。学校や大学の世界において、これは学術的誠実さ（アカデミック・インテグリティ）に関する究果的な問いです。長年、探偵たちが使ってきた主要な道具は、エッセイのような長く流れるような物語のために設計された、一種の特別な「指紋スキャナー」でした。これらのスキャナーは、カンマの使い方や文章の構造など、その人が書く際に持つ、小さく独特な癖を探し出します。しかし、ここにひねりがあります。AIチャットボットがこうした物語を書くのが非常に上手くなったため、スキャナーは苦戦しているのです。学校は、この「エッセイ・スキャナー」の論理を、学生が行う数学の問題、選択式クイズ、コーディング作業といった他のあらゆる活動に適用することで、これを解決しようとしています。

なぜこれがデッドエンド（行き止まり）である可能性があるのかを理解するために、2つの単純な概念を見てみる必要があります。第一に、「情報」とはメッセージに含まれるユニークな詳細の量だと考えてください。長いエッセイは、乱雑でユニークな指紋のようなものです。そこには、誰がそれを作ったかを特定できる無数の小さな詳細が含まれています。しかし、数学の答え（例えば「42」という数字）は、完璧に滑らかな大理石のようなものです。もし2人の人間が同じ問題を正しく解いたなら、両者は全く同じ「42」を生み出します。そこには乱雑さも、ユニークな指紋も、検査すべき余分な詳細も存在しません。第二に、「著者属性の特定（authorship attribution）」とは、それらのユニークな詳細を用いて、誰がその作業を行ったかを証明する行為だと考えてください。そもそもユニークな詳細が存在しないのであれば、どんなに高度なテクノロジーを用いても、魔法のようにそれを作り出すことはできません。この論文は、大胆な問いを投げかけています。「指紋スキャナーを、滑らかな大理石に対して使おうとしたらどうなるか？」と。

論文の大きな発見：「滑らかな大理石」問題

『Convergent assessment cannot be policed（収束的評価は取り締まることができない）』と題されたこの研究論文は、学校が根本的な間違いを犯していると主張しています。彼らはエッセイに基づいたルールを数学、科学、選択式テストの取り締まりに適用しようとしていますが、著者はこれは不可能であると言っています。それはAI検出器が劣っているからでも、ツールを改善する必要があるからでもありません。その作業の「種類」自体に、著者を特定するための情報が十分に備わっていないからです。

著者は**「残留エントロピー（residual entropy）」という概念を紹介しています。あなたがクッキーを焼いているところを想像してください。もし学生に「クッキーについての物語を書いて」と頼んだら、彼らは詩を書くかもしれないし、ホラー小説やレシピを書くかもしれません。やり方は何百万通りもあり、それぞれのバージョンには書き手のスタイルのユニークな「指紋」があります。これは高いエントロピーです。しかし、もし学生に「Xを求めよ」と頼み、その答えが「5」であるとしたら、その答えを書く正しい方法はただ一つしかありません。天才であれ、苦労している学生であれ、超知能を持つロボットであれ、結果は全く同じ「5」です。著者はこれを「ゼロ残留エントロピー」**と呼んでいます。答えが確定した時点で、分析すべきバリエーションはゼロになります。

この論文は、実際に存在する情報以上の情報を抽出することは数学的に不可能であることを証明しています。もし答えが単一の文字や数字であるなら、探すべき「信号（シグナル）」は存在しません。このような形式に対してAI検出器を使うことは、完全に滑らかで空白のガラス板の上に指紋を探そうとするようなものです。どれほど強力な顕微鏡を使おうとも、ガラスには指紋がないため、見つけることはできません。

3つのリスクゾーン

著者は、13の科目にわたる19の異なる研究データを用いて、さまざまな学校の課題がどこに位置するかをマッピングしました。そして、3つの明確な「ゾーン」またはレジーム（体制）を発見しました。

1. 露出ゾーン（危険地帯）： これには、選択式問題、短い数値回答、標準的な問題セットが含まれます。このゾーンでは、AIは極めて優秀であり（多くの場合、選択式問題で96%以上のスコアを記録）、回答には著者属性のシグナルがゼロです。論文は、このゾーンにおいては、人間がやったのかロボットがやったのかを判別することは不可能であると主張しています。それは「判別が難しい」のではなく、「誰がこれをやったのか？」という問い自体に答えが存在しないのです。
2. 潜在ゾーン（待合室）： これには、AIが現在まだ簡単にパスできるほど賢くない、短い数値問題などが含まれます。これらが「安全」なのは、AIがまだ十分に賢くないからです。しかし、著者はこれが「時限爆弾」であると警告しています。AIがより賢くなった瞬間、この「安全性」は即座に消滅します。なぜなら、頼りにできる著者属性のシグナルが依然として存在しないからです。
3. 検出可能ゾーン（安全地帯）： これには、長いエッセイ、内省的な文章、複雑なコーディングプロジェクトが含まれます。ここでは、回答が非常に多様でユニークであるため、AI検出器が機能します。論文によれば、コードにおけるAI検出の研究は成功しています。なぜなら、単純な数学の答えとは異なり、コードには十分な「指紋」の詳細が存在するからです。

衝撃的な数字

著者が典型的な科学・工学系の大学プログラムにこの論理を適用したところ、驚くべき結果が出ました。これらのプログラムの最終成績の**38%が、「露出ゾーン」（選択式問題や問題セットなど）の課題から来ていることが判明しました。対照的に、人文科学プログラムでこの罠に陥っている割合はわずか5%**です。

もし、立証責任の基準を刑事裁判に求められるレベル（非常に高いハードル）まで引き上げた場合、科学・工学系の露出された課題の割合は**52%**に跳ね上がります。これは、科学系の学生の最終成績の半分以上において、学校側は誰が実際にその作業を行ったかを証明する方法を持っておらず、それを可能にするツールさえ存在しないことを意味しています。

これが学校にとって何を意味するか

この論文は、問題を解決するために単に「より優れたソフトウェアを購入すればよい」という考えを明確に否定しています。著者は、選択式問題や数学の問題に対して検出技術を改善しても、この問題は解決できないと明確に述べています。なぜなら、情報がそもそも存在しないからです。数学のクイズにおけるAIの使用に基づいて、AI検出器を用いて学生を告発しようとすることは、単に非効率であるだけでなく、著者の主張によれば、数学的に証明することが不可能なことなのです。

代わりに、この論文は学校が戦略を完全に変える必要があることを示唆しています：

• 取り締まり不可能なものを取り締まろうとしないこと： 選択式問題や短い回答の数学に対して、著者属性の検出器を使用しないでください。それは時間の無駄であり、不当な告発につながります。
• ゲームを変えること： 誰がその作業を行ったかを知りたいのであれば、課題自体を変える必要があります。監督下の試験を実施したり、学生に自分の考えを直接説明させたり、あるいはAIが単に答えを検索できないよう、その教室固有の質問を設計したりしてください。
• 限界を受け入れること： 「露出ゾーン」における唯一の真のセキュリティは、事後的に捕まえることではなく、AIの使用自体を未然に防ぐこと（ロックされた部屋で行うなど）です。

要約すると、この論文は現在の「ワンサイズ・フィッツ・オール（一律）」のアプローチによる学術的誠実さの維持は壊れていると結論づけています。エッセイのための道具を数学の問題の取り締まりに使うことはできません。科学や工学教育の大部分において、現在の問題は「どのようにしてズルをする者を捕まえるか？」ではなく、「どのようにして、不正なAI使用という問い自体が成立しないようなテストを設計するか？」なのです。