Where Abstention Lives: A Pre-Registered Four-Way Comparison of Abstention Interfaces in a Small Language Model with Versioned Memory
この事前登録された研究は、バージョン管理されたメモリを持つ小規模言語モデルにおいて、決定を生成のソフトマックスから切り離すことで、棄権（abstention）を別個のバイナリヘッドを通じて実装することが、語彙トークンやメモリ・スロットよりも大幅に優れており、それによって「分からない」と言う能力が限られた精度のマージンにおいても学習可能になることを示している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の世界において、コンピュータが犯しうる最も危険な間違いは、自分が迷っていることを認められないことであるという認識が広まっている。言語モデルが答えられない質問をされたとき、それはもっともらしく聞こえる嘘を捏造することがあり、研究者はこの現象を「ハルシネーション（幻覚）」と呼んでいる。これを防ぐために、科学者たちはこれらのシステムに新しいスキルを教えようとしてきた。それは、「分からない」と言う能力である。これは単に停止信号をプログラムすることではない。機械に、自らの知識の境界を認識させ、捏造よりも沈黙を選択させることを教えることである。課題は、機械がいかにしてその選択を行うかにある。沈黙するという決定は、語彙に追加された特別な言葉であるべきか、制御パネル上の独立したスイッチであるべきか、あるいは内部メモリ内の隠されたメモであるべきだろうか。長年、これらの異なる手法は個別にテストされてきたが、どの手法が実際に最も効果的なのかについて、実践者に明確な指針を与えてこなかった。
マキシミリアーノ・スペランツァという研究者は、決定の場所自体を除いてすべての変数を一定に保つ制御実験を行うことで、この疑問を解決しようとした。彼は、わずか100万パラメータに満たない非常に小さな言語モデルを一から構築し、後に更新・修正される一連の事実を教え込み、モデルがある時は答えを知っており、ある時は知らないというシナリオを作り出した。目的は、「分からない」と伝えるための4つの主要な方法のうち、どれがモデルにこのスキルを最も効果的に学習させるかを検証することであった。結果は明確な勝者を明らかにし、他の手法が失敗した驚くべき理由を提示した。
実験では、4つの異なるアプローチがテストされた。第一の手法は、「IDK」のようなユニークな単語である特別なトークンをモデルの語彙に追加し、確信がないときにその言葉を発するようにすることであった。第二の手法は、回答するか沈黙するかを決定することだけを任務とする、小さく専用の出力チャネルである独立したバイナリヘッドを追加することであった。第三の手法は、その特別な単語のベクトルを再正規化することであり、これはその単語の重みのバランスを修正することを意図した技術的な調整であった。第四の手法は、モデルのメモリに特別なスロット、つまり「ここには何もない」という概念を格納するための専用の場所を追加することであった。
結果は決定的であった。独立したバイナリヘッドが最も効果的な手法であることが証明された。3回中3回の異なるトレーニング実行において、このアプローチは、モデルが実際には答えを知っているにもかかわらず沈黙してしまう事例（誤報）を、語彙トークンの手法と比較して2倍から3倍近く減少させた。より重要なことに、この手法により、モデルが事実に関するパフォーマンスがまだ完璧でない段階でも、沈黙するスキルを学ぶことが可能になった。独立したヘッドを使用した場合、完璧なモデルよりも精度がわずか10パーセント程度低いモデルであっても、沈黙することを教え込むことができた。特別な語彙の単語やメモリ・スロットを含む他の手法は、同じ条件下ではこの規律を教えることに失敗した。
この研究は、語彙トークンの手法がなぜ失敗したのかという一般的な理論をも解体した。当初の「分からない」トークンの作成者たちは、小規模なモデルにおいてこの手法が失敗するのは、その単語に割り当てられた数値的な値が弱すぎるか、初期化が不適切であるためだと示唆していた。スペランツァは、その単語の強度を他の単語と一致するように明示的に調整することで、もしその理論が正しければ機能するはずの修正を試みた。しかし、うまくいかなかった。問題は単語の強さではなく、モデルが「事実を選ぶこと」と「沈黙を選ぶこと」という2つの非常に異なる決定を、同じ単一のメカニズムを用いて行わなければならなかったという点にあった。これら2つの相反する目標が同じ意思決定空間を共有することを強制されたとき、モデルはいつ静かにすべきかを学習するのに苦労したのである。
メモリ・スロットのアプローチは、特に示唆に富む失敗を見せた。モデルには「答えなし」という概念を格納するための特定の場所が与えられたが、モデルはこれを完全に無視した。答えがない状態を認識することを学ぶ代わりに、モデルは単に質問に答えがない頻度の統計的な平均を学習してしまった。モデルは約40パーセントの確率で答えがないことに気づき、実際の質問に関係なく、毎回「答えなし」スロットに対して一定の低レベルな注意を割り当てた。この注意レベルが沈黙を誘発するほど高まることはなかったため、モデルは「分からない」と言うために立ち止まることができなかった。モデルは現実ではなく、確率を学習していたのである。
おそらく最も深刻な発見は、モデルが「分からない」と知る能力は、生の知能や容量の問題ではなく、キャリブレーション（較正）の問題であるということだった。正しい決定を下すために必要な情報はモデルの内部信号の中に存在していたが、モデルは特定の、監督されたガイドなしではその情報の使い方が分からなかったのである。研究者がラベルや直接的なフィードバックなしに、モデル自身に不確実性を認識させるよう教えようとしたとき、モデルは完全に失敗した。モデルは、たとえその情報が現の質問に対して間違っていたとしても、保存されている実在の情報に基づいて回答を固定してしまい、自信を持った推測と真実の事実との区別をつけることが不可能になっていた。
この研究は、あらゆるシステムにおける人工知能のハルシネーション問題を解決したと主張するものではない。実験は非常に小さなモデルと限定された語彙を用いて行われており、その結果が今日使用されている大規模で複雑なシステムに直接反映されるとは限らない。しかし、この研究は、特定のアーキテクチャに関する問いに対して、明確で測定可能な答えを提供している。もし小さな言語モデルに、いつ沈黙すべきかを学ばせたいのであれば、特別な言葉やメモリ・スロットを使うように求めるよりも、その決定を行うための独立した専用のスイッチを与える方がはるかに優れている。教訓は、決定の場所が深く重要であり、時には最もエレガントな解決策とは、単に機械に「分からない」と言うための別の場所を与えることであるということである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。