Token-Level Off-Policy Learning for Faithful Generation Under Distribution Shift

大いなる幻覚狩り：AIに自らの間違いを見つけさせる方法

あなたは、非常に賢く、非常に高速なロボットに物語の書き方を教えようとしているところだと想像してください。あなたはロボットに一冊の本を与え、その要約を書くように指示します。しかし、時としてロボットは少しばかり創造的になりすぎてしまうことがあります。例えば、有名な科学人が異なる都市で生まれたとか、間違った日に生まれたと書いてしまうかもしれません。私たちはこうした間違いを「幻覚（ハルシネーション）」と呼んでいます。人工知能（AI）の世界において、これは大きな問題です。もしロボットが作り話をしてしまうなら、言語翻訳やニュースの要約といった実用的なタスクでロボットを信頼することはできません。

これを解決するために、科学者たちはさまざまな学習方法を試してきました。一つの人気のある方法は「強化学習」です。これは、良い答えにはポイントを与え、悪い答えにはポイントを減らすビデオゲームのようなものです。しかし、これはロボットが学習するために何百万回も練習する必要があるため、しばしば時間がかかり複雑になります。もう一つの方法は「オフポリシー（Off-Policy）」学習です。これは、自分でテストを受ける代わりに、先生の解答集を勉強するようなものです。これならば高速ですが、ロボットは見たことがない質問に直面すると、依然として混乱してしまうことがあります。研究者たちが投げかけている大きな問いは、「これらの高速でシンプルな手法を、特にロボットが未知のトリッキーな状況に直面した際に、どうすればよりうまく機能させることができるか？」という点です。

新しい戦略：「トークン・ディテクティブ（単語の探偵）」

この論文では、「トークンレベル・オフポリシー・ラベリング（Token-Level Off-Policy Labeling）」、略してTOPLと呼ばれる新しい学習方法を紹介しています。「トークン」とは、文章の中の単一の単語、あるいは単語の小さな断片のことだと考えてください。通常、AIを訓練するときは、文章の「次の」単語を予測させる、「穴埋め問題」のようなゲームを行います。しかし、TOPLはこのゲームを根本から変えます。ロボットに次の単語を書かせる代わりに、TOPLはロボットを**「探偵」**に変えるのです。

例えば、ロボットによって書かれた要約があるとします。一部は真実であり（例：「マリー・キュリーはポーランドで生まれた」）、一部は作り話の嘘です（例：「マリー・キュリーはスロバキアで生まれた」）。TOPLは、ロボットに対し、その要約の「すべての単語」を精査し、「この単語は真実か、それとも嘘か？」と問いかけるように訓練します。そして、各単語に対して単純な「はい」または「いいえ」のラベルを与えます。こうすることで、ロボットは単に一連のシーケンスの中で次の単語を推測しようとするのではなく、事実に基づいたトークンと、幻覚によるトークンの違いを見分けることを学ぶのです。

仕組み： 「ステアリング（操舵）」のマジック

研究者たちは、ロボットにこの探偵のスキルを教えるために、LoRA（Low-Rank Adaptation）という特別なツールを使用しました。LoRAは、ロボットの脳に取り付ける、取り外し可能な小さな補助輪、あるいは「ステアリング・キット」のようなものだと考えてください。

ここが巧妙な点です。研究者たちは、この方法で学習すると、ロボットの脳が自然に二つの部分に分かれることを見出しました。

1. 検出器 (LoRA-A): この部分はレーダーのように機能します。ロボットの隠れた思考をスキャンし、「この特定の単語は事実として正しいか？」を判断します。これにより、「良い」単語と「悪い」単語を分離します。
2. ステアリング・ホイール (LoRA-B): 検出器が「悪い」単語を見つけると、それはステアリング・ホイールに対し、ロボットの思考を別の方向へ押しやるよう指示します。これは、まるで「あなたは嘘に向かっています。真実の方へ左に曲がってください」と告げるGPSを持っているようなものです。

論文は、TOPLがこれほど上手くいっている理由は、単に正解を暗記するのではなく、未知のトピックに遭遇したとしても、嘘から離れ、事実へと自らの思考を「操舵（ステア）」することを学ぶからだと示唆しています。

研究結果： 他よりも優れた性能

研究者たちは、文書要約に関する11種類の異なるデータセットを用いて、この新しい「探偵」メソッドをテストしました。彼らは、標準的な学習（SFT）、シーケンスレベルの選好最適化（DPO）、およびその他のトークンレベルの手法を含む、他の一般的な手法と比較しました。

• 結果: TOPLは、特に未知のデータ（分布外データ）に対してテストを行った際、他のすべての手法よりも一貫して優れた性能を示しました。要約の事実性を維持することにおいて、最も正確でした。
• 驚きの発見: 研究者たちは、個々の単語ではなく、文章全体を見るバージョン（SOPLと呼ばれます）も試しましたが、これはそれほど上手くいきませんでした。このことは、「探偵」のアプローチが効果を発揮するためには、個々の小さな断片（トークン）を見る必要があることを証明しています。全体像を見るだけでは不十分であり、一つ一つの単語ごとに嘘を捕まえなければならないのです。
• 転用性: 彼らはこれを機械翻訳（ある言語から別の言語への変換）にも試しました。TOPLはそこでも素晴らしい成果を上げ、この「探偵」のスキルが、要約だけでなく、あらゆる種類の執筆タスクに有用であることを示唆しています。

否定されたもの

論文は、何がうまくいかないのかについても注意深く指摘しています。

• ランダムな推測: もしロボットにランダムなラベル（嘘を真実、真実を嘘であると教えること）を与えると、ロボットは混乱し、パフォーマンスが低下します。これは、ロボットが単にパターンを暗記しているのではなく、真実と嘘の違いを実際に学ぶ必要があることを示しています。
• 単なる「トークンレベル」では不十分: 単に単語を一つずつ見るだけでは、魔法の要素にはなりません。他の単語レベルの手法は、TOPLほどの性能を発揮しませんでした。TOPLが真実と嘘を区別するようにロボットを訓練する「特定の方法」こそが、違いを生むのです。
• 「最終」層: 研究者たちは、もしロボットの脳の最も最後の層に補助輪（LoRA）を装着しようとすると、実際には事態を悪化させることを発見しました。最良の結果は、中間層を訓練したときに得られました。中間層こそが、ロボットが事実を理解するための重労働を行う場所であり、最後の層は単に最終的な言葉を吐き出すための場所であるようです。

結論

著者たちは、TOPLがAIをより誠実にするための強力な新しい方法であると示唆しています。モデルに対し、すべての単語の真実性を判断する批評家として振る舞うよう訓練し、その判断を利用してモデルの思考を「操舵」させることで、騙されることが極めて困難なシステムを作り上げました。彼らは「幻覚」の問題を永遠に解決したわけではありませんが、彼らの実験は、この「トークンレベルの探偵」アプローチが、AIに事実を守らせるためのよりシンプルで効果的な方法を提供する、大きな前進であることを強く示唆しています。