PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction

以下は、研究論文の要約です。

=== 要約 ===
魔法のような、すべてを知り尽くした、物語を語るのが大好きなロボットの前に立っているところを想像してみてください。あなたは秘密の開始文を与え、するとロボットは即座に、長く魅力的な物語を吐き出します。これが現代の「大規模言語モデル（LLM）」の仕組みです。これらは、文章の次の単語を一つずつ予測して応答を構築する、超スマートなオートコンプリート・エンジンなのです。しかし、ここからが厄意なところです。もしあなたが物語の「終わり」（応答）だけを見たとしたら、正確に何が「始まり」（プロンプト）だったのかを突き止めることができるでしょうか？ それは、チェスの最終的なチェックメイトを見ただけで、最初の一手を推測しようとするようなものです。通常、これはほぼ不可能です。なぜなら、多くの異なる開始文が同じ結末へと導く可能性があるからです。科学者たちは、これらのAIの精神がどのように機能しているかを理解し、秘密を漏らしていないかを見つけ出し、あるいは彼らを欺けるかどうかを確認するために、この「逆転（インバージョン）」のパズルを解こうと試みてきました。これまでの試みの多くは、ロボットの脳内（内部コード）を覗き見たり、開始点を推測するために膨大な外部データを使用したりする必要がありました。

ここで、異なるトリックを試そうと決めた研究者たちを紹介しましょう。彼らはロボットの心を読むことも、外部の知識に基づいて推測することもせず、「逆向きのロボット」を作り上げました。彼らはこの新しいロボットに、逆方向に考えることを教えました。元のロボットが「次に何が来るか？」と問いかけることで学習するのに対し、新しいロボットは「前に何があったか？」と問いかけることで学習します。彼らは元のロボットの秘密のコードを見る必要も、巨大な外部の書籍ライブラリを使う必要もありませんでした。代わりに、彼らは元のロボットとゲームをしました。ランダムな開始単語をロボットに与え、それが語る物語を記録したのです。そして、それらの物語を逆順にして新しい「逆向きロボット」に与え、その前に存在したはずの単語を予測するように学習させました。それは、映画を逆再生して、直前に起こったシーンを予測することを学ぶようなものです。結果はどうだったでしょうか？ この「Previous-Token Prediction（PTP）」と呼ばれる新しい手法は、ロボットが「ブラックボックス」（中身が見えないことを意味する）である場合でも、驚くほどの正確さで元の開始文を再構成することができます。これは、AIの教え方の方向を単に反転させるだけで、その思考を巻き戻す強力な方法を解き明かせることを示唆しています。

時間を巻き戻す魔法

大規模言語モデル（LLM）を、あなたの文章を完成させるのが得意な、とてもおしゃべりな友人と考えてみてください。もしあなたが「昔々、あるところに」と言えば、彼らは「ドラゴンのいた……」と言うかもしれません。「空は」と言えば、「青い」と言うかもしれません。この友人は、あなたが今言ったことを見て、次の単語を推測することで機能しています。これは「Next-Token Prediction（次トークン予測）」と呼ばれます。これが、彼らが物語を書いたり、質問に答えたり、私たちとチャットしたりする方法です。

しかし、もし友人の答えだけを手に入れて、正確に何を尋ねたのかを知りたいとしたらどうでしょう？ 例えば、素晴らしい物語を聞いて、それを始めた正確な質問を知りたい、あるいは、その友人が秘密の指示を隠しているのではないかを知りたい場合です。これは「逆転」の問題です。なぜなら、多くの異なる質問が同じ答えへと導く可能性があるからです。もしあなたの友人が「私はピザが大好きです」と言ったなら、あなたは「あなたのお気に入りの食べ物は何ですか？」と聞いたのかもしれませんし、「金曜日に何を食べたいですか？」や、あるいは「あなたの食事制限について教えて」と言ったのかもしれません。

古いやり方 vs 新しいトリック

この論文以前、科学者たちは以下のいずれかの方法でこれを解決しようとしていました：

1. 脳を覗き見る： ロボットの内部の数学的数値（ロジット）を見て、質問をリバースエンジニアリングすること。これは、X線メガネをかけてパズルを解こうとするようなものです。
2. 巨大な参照ガイドを使う： インターネット上の何百万もの質問と回答のペアを用いて、質問を推測するために別のAIを訓練すること。これは、図書館にあるすべての本を読んだ探偵を雇うようなものです。

これらの古い方法の問題は、特別なアクセス権が必要であること（ブラックボックスモデルでは得られないもの）や、膨大な外部データを必要とすることです。また、それらは意味としては同じであっても、全く同じ言葉ではない質問を推測してしまう傾向があります。

「逆向きロボット」による解決策

この論文の著者たちは（IIT BombayおよびAdobe Researchの研究者らと共に）、巧妙で自己完結した解決策を考案しました。彼らはX線メガネもライブラリも必要としませんでした。必要だったのは、ロボット自身だけでした。

彼らがどのように「逆向きロボット」を構築したのかを説明します：

1. セットアップ： 彼らはターゲットとなるロボット（反転させたいロボット）を取り、ゲームを行いました。彼らはその語彙に含まれるすべての単語を開始点として入力し、短い物語を生成させました。
2. ひねり： 彼らはそれらの物語を逆転させました。もしロボットが「The cat sat（猫が座った）」と書いたなら、それを「sat cat The（座った 猫 The）」に変えました。
3. トレーニング： 彼らは、これらの中身が逆転した物語を使用して、ゼロから新しい小さなロボット（逆モデル）を訓練しました。この新しいロボットは、新しいスキルである**Previous-Token Prediction（前トークン予測）**を学びました。次に何が来るかを予測するのではなく、前に何があったかを予測することを学んだのです。
   • 比喩： 車がバック走行しているビデオだけを見て、車の運転を学ぶことを想像してください。やがて、あなたはバック走行に非常に熟達し、車が停車しているのを見たとき、それがどのような経路を通ってきたのかを完璧に予測できるようになります。
4. ファインチューニング： ロボットが人間のように話せるようにするために、彼らは実際の質問と回答の例（ShareGPTというデータセットから取得）をいくつか与え、それらも逆転させるように教えました。

結果：テープを巻き戻す

彼らがこの新しい手法をテストした際、その結果は極めて印象的なものでした。彼らはQwen3-0.6Bというモデルを使用し、彼らの「逆向きロボット」が元のプロンプト（質問）を高い精度で再構成できることを見出しました。

• 完全一致（Exact Match）： 再構成されたプロンプトが元のプロンプトと完全に一致したのは、約**64.77%**でした。これは大きな成果です。なぜなら、従来の手法は意味は合っていても、正確な言葉までは一致しないことが多かったからです。
• トークンF1（Token F1）： 個々の単語がどれだけ完璧に一致したかの指標であるToken F1において、63.64を記録しました。
• 意味的類似性（Semantic Similarity）： 言葉が同一でなかったとしても、意味は非常に近いものでした（コサイン類似度 86.13）。

また、この論文は、この「逆向きロボット」が非常に柔軟であることを示しました。たとえ一つのタイプのロボット（Qwen）で訓練され、別のタイプのロボット（LLaMAやGPT-4oなど）のプロンプトを推測する場合でも、合理的に機能しました。言葉の正確さにおいては完璧ではありませんでしたが（異なるロボットは異なる辞書を使用するため）、意味は正しく捉えていました。これは、ロボットが特定のモデル専用のトリックではなく、思考を逆転させるための一般的な「論理」を学んだことを示唆しています。

なぜこれが重要なのか

この論文は、このアプローチが従来の方法よりも優れている理由をいくつか挙げています：

• 「ブラックボックス」ソリューションであること： ロボットの内部コードや重みを見る必要はありません。ただ、対話するだけでよいのです。
• 自己完結していること： 質問と回答の膨大な外部データベースを必要としません。ターゲットとなるロボットと遊ぶことで、自らトレーニングデータを生成します。
• 忠実であること： フォワードプロセス（順方向のプロセス）の正確な逆を学習するため、単なる概念だけでなく、正確な言葉を再構成することができます。

しかし、著者たちは、これがすべてを解決する魔法の杖ではないことにも注意を促しています。もし、反転させようとしているロボットが全く異なる記号（語彙）や、非常に異なる脳構造を使用している場合、言葉通りの再構成は難しくなります。また、トレーニングデータを生成するには、ロボットに多くの質問を投げかける必要があり、時間がかかることもあります。

大きな展望

簡単に言えば、この論文は、もしロボットが話す前に何を考えていたのかを知りたいのであれば、その中身を壊したり探偵を雇ったりする必要はないということを示しています。ただ、新しいロボットに逆方向に考えることを教えればよいのです。予測の方向を「次に何が来るか」から「前に何があったか」へと反転させることで、著者たちはAIの会話のテープを驚くべき精度で巻き戻すツールを作り上げました。これは、未来を理解するためには、時には過去を逆向きに見る必要があるという、遊び心に満ちつつも強力な教訓を与えてくれます。