Auditing LLM-mediated interpretation through source-to-claim documentation

人文科学や社会科学において、研究者は長らくシンプルながらも強力な概念に依拠してきました。それは、「ある結論がどのように導き出されたかを理解したいのであれば、元の証拠から最終的な主張に至るまでの経路を辿ることができなければならない」という考え方です。この経路はしばしば「監査証跡（オーディット・トレイル）」と呼ばれます。それは、下された決定、取られたメモ、そして踏まれた手順の記録であり、他の学者が同じ資料を見たときに、どのように解釈が構築されたのかを確認できるようにするためのものです。数十年にわたり、このプロセスは人間対人間のものでした。研究者がテキストを読み、文章にハイライトを引き、分析を書き記すというプロセスです。しかし、新しいツールがその場に現れました。生成AIです。これらのシステムは、テキストを読み取り、要約や解釈を行う流暢なパラグラフを瞬時に書き上げることができます。問題は、このスピードには隠れた代償が伴うことです。AIは滑らかで洗練された文章を生み出しますが、それは機械の内部で行われた「変容」という泥臭い作業を隠してしまいます。読者は最終的な主張を目にすることはできますが、機械がいかにして元の言葉をその特定の結論へと変えたのかを見ることはできません。さらに悪いことに、これらのAIシステムは企業が所有するサーバー上でホストされているため、研究者は後で全く同じ計算を「再実行」することが単純にはできません。ソフトウェアが変わったり、同じ問いに対して次回は少し異なる答えが返ってきたりする可能性があるからです。これは監査証跡に空白を生み出し、証拠と主張の間のつながりを脆弱で検証困難なものにしてしまいます。

この問題を解決するために、ミネソタ大学とジョージア工科大学の研究チームは、「ソース・トゥ・クレーム（根拠から主張へ）のドキュメンテーション」と呼ばれる新しい作業方法を提案しました。単に「AIを使用した」と言うのではなく、一つの証拠がいかにして一つの分析的主張へと変化したのかを示す、完全にリンクされた一連の記録を保持することを提案しています。このフレームワークは、使用したツールを列挙するだけではありません。生成されたあらゆるテキストの具体的な旅路を保存するものです。研究者たちは、このアイデアを検証するために、12個の単純な文章をソース資料として作成するという制御された実験を行いました。彼らは、2つの異なるバージョンのAIモデルに対し、それらの文章を書き換えること、およびそれらに関する短い解釈的注釈を書くことを求めました。目的は、どちらのAIがより賢いかを見ることではなく、彼らの新しいドキュメンテーション手法が、そうでなければ見過ごされてしまうであろうエラーを捉えられるかどうかを確認することでした。その結果、AIは表面上は無害に見えるものの、実質的には重要な変更をしばしば加えていることが判明しました。例えば、ソースとなる文章が女性が友人にノートを「貸した（lent）」と述べていたとき、AIは繰り返しそれを「与えた（gave）」と書き換えていました。現実の世界では、「貸す」は返却されることを意味しますが、「与える」は永久的な所有を意味します。AIはこの入れ替えを毎回行い、正しく聞こえるものの、実際には元の証拠の意味を変えてしまった、同一で流暢な文章を生み出していたのです。

新しい手法の力は、研究者が最終的なテキストよりも深く掘り下げたときに明らかになりました。彼らは、書き換えられたテキストとともに、文章の意味の「構造化されたマップ」を作成するようAIに求めるステップを導入しました。このマップは設計図のように機能し、単語間の関係性を示します。研究者がその設計図を元の文章と比較したとき、エラーが浮き彫りになりました。マップは依然として動作を「貸す（lending）」として示していましたが、最終的なパラグラフは「与える（giving）」となっていたのです。これにより、AIが流暢な散文によって巧みに隠蔽されていた、一貫した間違いを犯していたことが明らかになりました。また、AIが解釈的注釈を書く際、原文に直接引用することが求められているにもかかわらず、人物の動機を推測するなど、原文にはないアイデアを付け加えることがあることも発見されました。元の文章、AIの生の出力、構造化されたマップ、そして人間のレビューのすべてを一つのアーカイブの中にリンクさせておくことで、研究者はどこで意味が変化したのかを正確に把握することができました。彼らは、単に2回のAI実行が同じ答えを出しているかを確認するだけでは不十分であることを発見しました。なぜなら、AIは自分自身と同意していても、両方が間違っている可能性があるからです。

この研究には、AIの作業をレビューする8人の人間の読者が参加しました。これらの読者は、AIが書き換えた文章が元の文章と非常によく似ているように見える一方で、意味を変えてしまうことが頻繁にあることを確認しました。ローンに関する文章を含む一つの具体的なケースでは、読者は「貸す」から「与える」への変更が、評価の半分以上において重大な歪みであると特定しました。研究者たちはまた、この手法がAIシステム自体の変更に対処できるかどうかもテストしました。彼らは、数ヶ月の開きがある2つの異なるバージョンのAIモデルを用いて実験を行いました。モデルは異なっていましたが、ドキュメンテーション手法によって、彼らは主張の履歴を追跡し、それぞれのケースで証拠がいかに変換されたかを確認することができました。主要な発見は、このフレームワークが「エビデンシャル・パス（証拠の経路）」を正常に保存できたことです。これにより、後の研究者が最終的な主張を見つけ、それを生のAI出力へと遡り、さらに構造化されたマップを確認して意味が保持されているかどうかをチェックすることが可能になりました。このプロセスは、研究者にAIを信頼したり、最終的なテキストが完璧であると信じさせたりすることを要求するものではありません。単に、テキストがどのように作られたかという完全な記録を持つことを要求するものなのです。

このアプローチは、自身の仕事を検証する能力を失うことなくAIを使用したいと考えている研究者にとって、実用的な進むべき道を示しています。研究者たちは、ドキュメンテーションの量は主張の重要度に合わせるべきであると示唆しています。プライベートなメモや教室での演習であれば、ソースとプロンプトの単純な記録があれば十分かもしれません。しかし、出版される論文や他者が利用することを目的としたデータセットの場合、生の出力、構造化されたチェック、そして人間のレビューを含む、証拠の完全な連鎖を保存すべきです。これは、すべての文章に対して完全な監査が必要であることを意味するのではありませんが、ある主張がAIの解釈に依存している場合、元の言葉からその主張に至る経路は、目に見える状態でなければならないということを意味しています。この研究は、可視性がなければ、流暢な散文が容易にエラーを隠し、AIの実行結果間の繰り返される一致が誤った安心感を与えてしまうことを示しました。ソース、機械、そして人間のレビュアーの間のリンクを維持することで、研究者は、自らの結論が、後から誰でも検証、疑問提示、理解ができる基盤の上に築かれていることを確実にすることができるのです。