Transformers with RL or SFT Provably Learn Sparse Boolean Functions, But Differently

非常に賢いものの、少し混乱気味のロボット（トランスフォーマー）が、複雑なパズルを解く必要があると想像してください。そのパズルとはブール関数、つまり答えが「はい」（+1）か「いいえ」（-1）かのどちらかしかない論理問題を、かっこよく表現したものに過ぎません。具体的には、この論文は「疎な（スパースな）」パズル、つまり大量のノイズの中に隠れたごく少数の特定の情報のみに答えが依存するパズルを取り扱っています。

これらのパズルを解くため、ロボットは**思考の連鎖（Chain-of-Thought: CoT）**と呼ばれる戦略を使用します。答えに直接飛びつくのではなく、人間が紙に書きながら数学の問題をステップバイステップで考えるように、問題を小さな中間ステップの連続に分解します。

この論文は、このロボットに CoT を効果的に使う方法を教える 2 つの異なるアプローチ、すなわち**教師あり微調整（SFT）と強化学習（RL）**を調査しています。著者らは、両方の手法が機能することを証明していますが、ロボットを教える根本的な方法は異なります。

以下に、簡単なアナロジーを用いた解説を示します。

1. パズル：再帰的分解

パズルを巨大な木だと想像してください。頂点にある答えを見つけるには、木の根元で 2 要素の論理問題を解き、それらの答えを組み合わせて少し大きな 2 要素の問題を解き、それを頂点まで繰り返す必要があります。

• 目標: ロボットは、各ステップに必要な 2 つの特定の情報（「関連する」葉）のみを注視し、残りのノイズを無視することを学ぶ必要があります。

2. 2 人の教師

教師 A：厳格な教練（SFT）

**教師あり微調整（SFT）*は、パズルのすべてのステップに対する完璧な*解答用紙をロボットに与える教師のようなものです。

• 仕組み: 教師は、「ステップ 1 の答えは X です。ステップ 2 の答えは Y です」と言います。
• 問題点: ロボットは、ステップ 2 の答えを、直前にステップ 1 として書き出した内容に基づいて生成しなければなりません。
• 結果（ステップバイステップ学習）: この論文は、このロボットが1 つずつステップを学習することを証明しています。
  • アナロジー: ダンスの振り付けを学ぶと想像してください。最初の動きを間違えると、開始位置がずれるため、次の動きを学ぶことができません。ロボットはステップ 2 を学び始める前に、ステップ 1 を完璧に習得しなければなりません。ステップ 1 を修正するのに 1 回のトレーニングセッションが必要で、次にステップ 2 を修正するのに別のセッションが必要となり、以下同様です。これは遅く、直線的なプロセスです。

教師 B：プロセスコーチ（プロセス報酬を伴う RL）

**強化学習（RL）*は、最終的なスコアだけでなく、ロボットが行うすべての個々の動き*に対してフィードバックを与えるコーチのようなものです。

• 仕組み: ロボットがパズルを解こうとします。小さなステップが正しければ、コーチは即座に「よくやった」という報酬を与えます。間違っていれば、ペナルティを受けます。
• 結果（同時学習）: この論文は、このロボットがステップの連鎖全体を一度に学習することを証明しています。
  • アナロジー: コーチが同時に「ステップ 1 のフットワークは良い！ステップ 5 の手の位置は良い！ステップ 3 の肘は悪い！」と叫んでいると想像してください。前のステップが完璧かどうかに関係なく、ロボットはすべてのステップに対して具体的なフィードバックを受けるため、1 つのトレーニングセッションで振り付け全体を調整できます。ダンス全体を同時に学習します。

3. 大きな発見：「プロセス」対「結果」

この論文は、これらの教師がフィードバックを与える方法における決定的な違いを浮き彫りにしています。

• SFTは、ロボット自身の以前の出力に依存します。ロボットが最初に間違えると、次のステップの「真の答え（グラウンドトゥルース）」は混乱を招くノイズになります。これがステップバイステップ学習を強制します。
• RL（特にプロセス報酬を伴う場合）は、すべてのステップに対して独立して正しい「真の答え」をロボットに与えます。ロボットがステップ 1 をミスしても、コーチはステップ 2 が本来どうあるべきかを知っており、それに応じて報酬または罰を与えます。これにより「一度にすべて」の学習が可能になります。

4. 「難しい」パズルについてはどうでしょうか？

この論文は、3 つの特定の論理パズルでこれをテストしました。

1. k-PARITY: 一連のスイッチの「オン」の状態が偶数か奇数かをチェックするもの。（これは AI にとって支援なしでは学習するのが極めて難しいことで知られています）
2. k-AND: すべての特定のスイッチが「オン」になっているかをチェックするもの。
3. k-OR: 少なくとも 1 つの特定のスイッチが「オン」になっているかをチェックするもの。

この論文は数学的に、これら 3 つのパズルのすべてにおいて、ロボットが「重要な」情報と「ノイズ」を区別できる限り、どちらの教授法も機能することを証明しています。

発見のまとめ

• 両方とも機能する: SFT でも RL でも、トランスフォーマーに複雑な推論を教えることができます。
• それらは異なります:
  • SFTは、先に進む前に基礎を習得しなければならない生徒のようです。これはステップバイステップで学習します。
  • RL（プロセス報酬を伴う）は、問題のすべての特定の部分に対して即座にフィードバックを受ける生徒のようです。これは連鎖全体を同時に学習します。
• 警告: 実世界で SFT と RL を比較する場合は注意が必要です。教師がフィードバックを与える方法（例えば、各ステップでの「プロセス報酬」の代わりに、最後だけで「最終報酬」を使用するなど）を変更すると、学習行動は完全に変わってしまいます。この論文は、これら 2 つの方法を比較する際には、方法そのものだけでなく、報酬の設計方法を統制する必要があることを示唆しています。

要約すると、この論文は、どちらの方法もロボットに論理的思考を教えることができますが、それらは異なる「学習速度」と「教授スタイル」で行うことを示しています。これらの違いを理解することが、より優れた AI を構築する鍵となります。