Detection and Interpretability Analysis of Quotation Errors by Large Language Models

あなたは、膨大な科学的知識が詰まった、活気あふれる巨大な図書館の司書であると想像してください。毎日、学者たちは新しい本（研究論文）を書き、自らの主張を裏付けるために古い本（引用）を指し示します。通常、彼らは「著者Xがその著書の中で述べたように、空は青い」といった具合に言います。

しかし時として、学者が間違ったことをしてしまうことがあります。例えば、著者Xが一度も言っていないのに、「著者Xは空は緑であると述べた」と言ったり、あるいは、著者Xが実際には正反対のことを述べているのに、「著者Xは～であることを証明した」と言ったりすることがあります。これが、この論文で**「引用エラー（quotation error）」**と呼ばれているものです。これは、メッセージが歪んで伝わり、学術界における混乱や不当な判断を招いてしまう「伝言ゲーム」のようなものです。

問題は、人間がすべての引用を手作業でチェックするには、本も学者も多すぎるということです。そんなことをしていたら、永遠に時間がかかってしまいます！そこで、論文の著者たちはこう問いかけました：「大規模言語モデル（LLM）という超スマートなコンピュータに、これらの嘘や間違いを自動的に見つけ出す方法を教え込めるだろうか？」

彼らがどのようにコンピュータを教えようとしたのか、簡単な比喩を用いて説明します。

1. 「学校教育」 vs 「マニュアルを読む」アプローチ

研究者たちは、コンピュータへの教え方を2つの方法でテストしました。

• 「マニュアルを読む」アプローチ（プロンプティング）： コンピュータに、「これは引用文であり、これが元の書籍です。この引用が正しいかどうかを判定してください」という具体的な指示（プロンプト）を与えます。彼らは、単に指示を読み取ることだけで問題を解決させようと、さまざまなバージョンのコンピュータに対して試行錯誤を行いました。
• 「学校教育」アプローチ（ファインチューニング）： 単に指示を与えるのではなく、学習済みのコンピュータに特別な「ブートキャンプ（集中訓練）」を受けさせました（ファインチューニング）。正解の引用と不正解の引用の数千もの例をコンピュータに読み込ませ、パターンを深く学習させ、その内部的な「脳」をこの特定のタスクのエキスパートへと調整させたのです。

結果： 「学校教育」アプローチの方がはるかに優れた結果を出しました。それは、読み書きができる生徒に、単に指示を読ませるのではなく、専門的な試験対策コースを受けさせたようなものです。その結果、生徒は特定の誤りを見抜く能力が劇的に向上しました。

2. 「要旨（アブストラクト）」 vs 「全文」のジレンマ

引用をチェックする際、本全体を読む必要があるのでしょうか、それとも要旨（アブストラクト）だけで十分なのでしょうか？

• 要旨（アブストラクト）： これは本の裏表紙を読むようなものです。主要なアイデアを教えてくれます。
• 全文（フルテキスト）： これはすべての章を隅々まで読むことです。

研究者たちは、コンピュータに「全文」を読み込ませる方法として、以下の3つを試しました。

1. 「関連スニペット」法： 本全体をスキャンし、引用に最も似ていると思われる10個の文章だけを選び出します。
2. 「ソース要旨」法： 本全体をスキャンし、本の「要旨（アブストラクト）」に最も似ていると思われる10個の文章を選び出します。
3. 「丸投げ」法： 本の内容をそのままコンピュータのメモリに放り込みます。

結果： 驚くべきことに、「ソース要旨」法が最も優れた結果を示しました。これは、本の中心的なテーマに合致する関連性の高い文章を見つけ出す、完璧な「カンニングペーパー」を見つけるようなものでした。本を丸ごと放り込む（情報が多すぎる）ことも、ランダムに断片を拾い上げることも、ソース要旨法ほどの結果は出せませんでした。

3. 答えの背後にある「理由」（解釈可能性）

コンピュータが「この引用は間違いです」と言ったとき、私たちは「なぜ」なのかを知る必要があります。コンピュータは勘で答えたのでしょうか？ それとも特定の単語を見たのでしょうか？
研究者たちは、TokenSHAPと呼ばれるツールを使用しました。これは、コンピュータの脳に対する**「ハイライトペン」**のようなものです。

• 引用文と原文のすべての単語（トークン）を調べます。
• 引用が間違いであると判断する助けとなった単語を赤色でハイライトします。
• 引用が正しい（あるいは混乱させた）と判断する助けとなった単語を青色でハイライトします。

結果： これにより、「学校教育（ファインチューニング）」を受けたコンピュータが、実際に「正しいもの」を見ていることが分かりました。未学習のコンピュータが見逃してしまうような、微妙な矛盾（例えば「増加」対「減少」など）を、学習済みのコンピュータは捉えていました。未学習のコンピュータは、単に似たような単語（「空」や「青」など）を見て「正しい」と推測してしまいがちですが、学習済みのコンピュータは論理が壊れていることを見抜いていたのです。

4. コンピュータがいまだに躓くポイント

「学校教育」を受けたとしても、コンピュータは完璧ではありません。研究者たちは、コンピュータが間違いを犯す主な4つの理由を発見しました。

• 背景知識の欠如： 引用が、誰もが知っている事実（例：「イギリスの人口は～である」）に基づいている場合、その事実が本の中に明記されていないと、コンピュータは混乱します。
• 数学の問題： 単位が変わっている場合（例：「75 nmol」対「75 micromol」）、コンピュータは時としてその違いを見落とします。
• 大きい数字 vs 小さい数字： 「最大の『増加量』」と「最大の『総数』」を混同することがあります。
• 条件の欠落： 文全体の意味を変えてしまうような、小さな「もし～ならば（if）」や「～のみ（only）」といった言葉を見落とすことがあります。

まとめ

この論文は、本質的に、科学のためのより優れた「引用警察（Quote Police）」を構築するためのガイドです。彼らは以下のことを明らかにしました。

1. このタスクに対してAIを特別に訓練することは、単に丁寧に依頼するよりも効果的である。
2. 全文の中から適切な部分（特に本のメインテーマに一致する文章）を読み込ませることは、要旨を読むよりも、あるいは本全体を読むよりも、真実を見抜く助けになる。
3. AIがなぜその決定を下したのかを知ることができるため、その判断をより信頼でき、間違いを修正することができる。

目標は、人間の学者に取って代わることではなく、学術界に間違いが広まる前に、それらを捕まえるための強力なツールを学者たちに提供することなのです。