🤖 AI

Homoglyph-based Adversarial Perturbation of Introductory Computer Science Theory Problems

本論文は、学生が宿題を AI ツールに依存して解くことを防ぐことを目的として、意味を変えずにコンピュータサイエンス理論の入門問題を変更するために、ホモグリフに基づく敵対的摂動を用いる手法を提案し評価する。

原著者： Aidan Alexander, Chitrangada Juneja, Napaluck Tontrasathien, Miro Vanek, Reyan Ahmed, Saumya Debray, Sazzadur Rahaman

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aidan Alexander, Chitrangada Juneja, Napaluck Tontrasathien, Miro Vanek, Reyan Ahmed, Saumya Debray, Sazzadur Rahaman

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが教師で、生徒に数学の宿題を出そうとしている場面を想像してください。生徒にはよく考えさせ、自分で問題を解いてほしいのです。しかし最近、生徒たちは（ChatGPT や Gemini のような）超賢い AI アシスタントを使って、代わりに作業を済ませています。これらの AI ツールはあまりにも優れており、たとえ質問が少しひねられていても、瞬時に答えを出せてしまいます。

この論文の著者たちは、この「怠け者生徒」の行動を食い止めるための巧妙なトリックを考え出しました。彼らはこれを**「ホモグリフに基づく敵対的摂動」と呼んでいます。これはつまり、「人間にはまだ読めるようにしつつ、AI を混乱させて誤った答えを出させるために、質問の文字を数文字だけ変更する」**という、少し大げさな言い方です。

彼らの手法がどのように機能するか、簡単なステップに分解して示します。

1. 問題：AI は「推測」が得意すぎる

研究者たちは、これらの AI ツールが教科書全体を丸暗記した生徒のようであることに気づきました。もし古典的な数学の問題（例えば「有理数と無理数の積は無理数であることを証明せよ」）を尋ねれば、訓練データでその正確な質問を百万回も目にした経験から、瞬時に答えを出します。

仮に質問を少し崩そうとしても——例えば単語を削除したり数字を変えたりしても——AI はあまりにも賢いため、記憶に基づいて「空欄を埋める」だけです。まるで、レシピを丸暗記した友人に、「小麦粉、砂糖、そして……[空白]……を使ってケーキを作るにはどうすればいい？」と尋ねたようなものです。友人はあなたが言わなくても「卵」と答えるでしょう。なぜなら、彼らはレシピを丸暗記しているからです。

2. 解決策：「トロイの木馬」のトリック

著者たちは、単にテキストを混ぜてしまえば AI が修正してしまうことに気づきました。代わりに、彼らは二段階の戦略を用いました。

ステップ A：レシピを（少し）変更する。 まず、標準的な質問を取り、AI の記憶バンクに存在しないように、わずかに調整します。
- 例: 「有理数について」尋ねる代わりに、「数を7xと呼ぶことにしましょう」と言うかもしれません。
- なぜ？ これにより質問が独自になります。AI はこの特定の文脈で「7x」を見たことがないため、記憶から答えを引き出せなくなります。
ステップ B：視覚的な錯覚（ホモグリフ）。 次に、ホモグリフを使用します。これらは、通常の文字や数字とほとんど全く同じに見えるが、実際には他の言語やフォントからの異なる記号です。
- 比喩: 数字の7を想像してください。次に、あなたの目には 7 と全く同じに見えるが、コンピュータにとっては全く異なる文字（例えば、異なるアルファベットからの奇妙な記号）である記号を想像してください。
- 彼らは、通常の数字（例えば 7）を、この「偽の 7」と入れ替えます。

3. 結果：AI がだまされる

AI がこの「偽の 7」を見ると、混乱します。記号を認識できないため、パニックを起こし、それが何であるべきかを推測しようとします。AI は丸暗記した元の教科書的な質問にバイアスがかかっているため、「偽の 7」を無視し、元の「7」を意味したと仮定するか（あるいは単に削除する）、誤った推測をします。

人間の経験: 生徒は紙を見て「7x」と見ます。正しく読み取り、数学の問題を解きます。
AI の経験: AI は理解できない奇妙な記号を見ます。誤って推測し、数学を無視して、完全に誤った答えを出します。

4. 必要な変更の数

最も素晴らしい点は、質問全体を書き直す必要がないことです。研究者たちは、1 文字または 2 文字を変更するだけで、通常は AI を破綻させることができることを発見しました。

変更しすぎると、AI はパターンを見破る可能性があります。
しかし、たった 1 つの小さな変更（例えば、6 をそれに似た「6」に置き換える）であれば、AI はつまずきますが、人間の生徒はすんなりと通り抜けます。

5. 教師のためのツール

著者たちは論文を書くだけでなく、シンプルなインタラクティブなツールを構築しました。

教師は宿題の質問をアップロードできます。
変更したい数字や文字をクリックできます。
ツールは「そっくりさん」の文字（ホモグリフ）のリストを表示します。
1 つ選べば、ツールがそれを置き換えます。
これで、宿題は AI による不正から守られつつ、生徒が読むのは依然として簡単です。

まとめ

この方法を、宿題に施す視覚的なカムフラージュだと考えてください。人間の目には、宿題は通常通り見えます。しかし、特定のパターンを認識することに依存する AI にとっては、その宿題はもはや解けないパズルになります。これにより、ロボットに代わりにやらせるのではなく、生徒が実際に作業を行うことを強制します。

技術的概要：入門レベルの計算機科学理論問題に対するホモグリフに基づく敵対的摂動

問題定義
ChatGPT、Gemini、Claude などの大規模言語モデル（LLM）の広範な採用は、特に計算機科学および離散数学の入門課程において、学術的誠実性に対して重大な課題を提起している。学生はこれらのツールを利用して課題を完了し、教材への関与を欠くことで、コースの学習目標を達成できなくなる可能性がある。AI 生成コンテンツを検出するといった現在の執行戦略は信頼性が低く、誤った告発を起こしやすい。さらに、標準的な敵対的アプローチは、現代の LLM に対してしばしば失敗する。なぜなら、これらのモデルは単純な文字摂動に対して頑健であり、トレーニングデータ（広範に使用される教科書の問題を含むことが多い）からの記憶パターンに依存して修正されたプロンプトを「修復」することが頻繁にあるからである。

手法
著者は、LLM に対して課題のプロンプトを無効化しつつ、人間には視覚的に同一に見える敵対的摂動を作成するための 4 段階の手法を提案する。このアプローチは、学生がプロンプトを直接 LLM インターフェースにコピー＆ペーストすると仮定する「怠惰な学生モデル」の下で機能する。

バイアスの特定: この手法は、LLM が元のトレーニングデータに対して強いバイアスを示す問題の一部を特定することから始まる。重要な形容詞や数値が削除されていても、モデルはソース資料への親しみに基づいて欠落情報を幻覚させることが多い（例：元の教科書の問題に「有理数」が含まれていたため、「非ゼロ数」に関するプロンプトに「有理数」を挿入するなど）。
意味的改変: 元の問題に特定の数字や数式が含まれていない場合、この手法は意味や人間にとっての難易度を変えずに、それらを導入するようにプロンプトを改変する。例えば、無理数に関する一般的な記述を、特定の変数（例： $x$ や $y$ ）や係数（例： $7x$ ）を含むように言い換える。これにより、モデルのトレーニングデータセットにそのまま存在する可能性が低い問題の変種が作成される。
ホモグリフの選択: 著者は、人間には読みやすいが LLM には認識されない、標準的な英数字と似ているが異なる Unicode コードポイントを持つ特定のホモグリフを選択する。選択プロセスには、LLM が意図された文字としてホモグリフを特定できないかどうかをテストすることが含まれる。
摂動の適用: 選択されたホモグリフは、改変されたプロンプト内の重要な文字（通常は数値係数や算術に関与する記号）を置換するために使用される。これにより LLM のトークン化プロセスが撹乱される。モデルはホモグリフを認識できないため、それを正しいトークンにマッピングできない。その結果、モデルは摂動された文字を無視するか、バイアスがかかっているトークン（トレーニングデータからの元の文字であることが多い）に置換し、誤った解答に至る。

主要な貢献

敵対的摂動戦略: 現代の LLM が単純なテキスト変更に対して持つ頑健性を回避するために、意味的改変とホモグリフに基づく攻撃を組み合わせる新規アプローチ。
モデルバイアスの悪用: LLM が記憶されたトレーニングデータに基づいてプロンプトを「修復」する傾向を利用し、モデルが誤って「修正」しようとするように改変された問題構造を導入することで、この特徴をモデルに対して逆手に取る。
インタラクティブツール: 教育者がホモグリフファイルをアップロードし、文字を選択して摂動された問題を効率的に生成できる、ユーザーフレンドリーなツールの開発。
実証的検証: Rosen の『離散数学とその応用』に由来する標準的な離散数学カリキュラムからの 69 のテキストベースの質問を用いた体系的な評価。

実験結果
本研究では、ChatGPT と Gemini を使用して、69 の純粋なテキストベースの宿題質問に対して手法をテストした。

有効性: この手法は、テストされたすべての質問において、両方のモデルを成功裏に欺いた。
効率性: 必要な摂動は最小限であった。ChatGPT では平均 1.54 回、Gemini では 1.67 回の試行で、成功する摂動が見つかった。
文字数: 質問あたりの摂動された文字の平均数は、ChatGPT で約 3.09 文字、Gemini で約 3.01 文字であった。多くの場合、単一の文字を摂動する（例：数値係数「8」を「6」のホモグリフに変更するなど）だけで、モデルの失敗を引き起こすのに十分であった。
摂動密度に関する観察: 著者は、過剰な摂動（複数の文字を変更すること）は、モデルがホモグリフを認識できないのではなく、新しい共通因子として解釈する可能性があるため、有効性が低下することがあると指摘した。逆に、最小限の摂動はより良い結果をもたらすことが多かった。
限界: この手法は、算術に関与する数値文字に対して最も効果的である。形式言語の定義（例： $\{0^n1^{2n}\}$ ）における純粋に記号的なプレースホルダーとして機能する文字（例：「0」や「1」）を摂動することは、効果的ではないことが判明した。

意義と主張
本論文は、この手法が理論的計算機科学コースにおける AI 支援による不正行為に対する、実用的で懲罰的ではない抑止手段を提供すると主張している。人間には視覚的に区別できないが LLM には意味的に混乱させるようにプロンプトを改変することで、教育者は学生が問題を解決するために教材に関与することを確実にできる。著者は、このアプローチが「AI 生成コンテンツを禁止する」戦略の選択肢を広げ、信頼性の低い検出アルゴリズムに依存しない予防的な防御を提供することを強調している。この研究は範囲が限定されており、特に入門レベルの理論問題に焦点を当て、慎重に選択された最小限の摂動によって、非常に頑健な LLM であっても侵害され得ることを実証している。