Self-Supervised Visual On-Policy Distillation

あなたは、ロボットに世界の「見方」を教えていると想像してみてください。長い間、科学者たちは、ロボットをより賢くする唯一の方法は、すべての答えをすでに知っている「スーパーティーチャー（超教師）」、つまり、より大きく強力な脳を与えることだと信じてきました。これは、学生が先生の完成した宿題だけを見て数学を学ぼうとしているようなものです。しかし、もしスーパーティーチャーがいなかったら？もし、あなたにはロボット自身しかいなかったら？これは、人工知能の世界、特に「Visual On-Policy Distillation（視覚的オンポリシー蒸留）」と呼ばれる分野における大きな問いです。これは、「先生が何が正しいかを教えなくても、モデルがいかにして自分自身のミスから学ぶことができるか？」ということを、おしゃれな言葉で表現したものです。通常、これを実現するために、研究者たちは（学生には許可されていない）特権的な情報（正解の解答集のようなもの）を使う必要がありました。しかし、この論文は素晴らしい問いを投げかけています。「特権的な情報を一切使わずに、同じ学習の魔法を生み出すことはできるだろうか？」

この論文の著者たち（UCサンディエゴやオックスフォードなどの大学のチーム）は、「イエス」と答えています。彼らは、Self-Supervised Visual On-Policy Distillation (S2VOPD) と呼ばれる巧妙なトリックを紹介しています。ティーチャーに「より多くの」情報を与える代わりに、彼らは学生から情報を「取り去る」のです。これは、写真を使った「伝言ゲーム」のようなものです。ティーチャーは、猫の非常に鮮明で高解像度な写真を見ています。しかし、学生は、霧がかかったような、あるいはぼやけたりピクセル化されたりした窓越しに、同じ写真を見ることが強制されます。そして、ティーチャーは「私は猫が見える」と言います。学生は、霧の中で目を細めながら、「これは猫ですか？」と推測し、それからティーチャーの訂正を聞きます。学生が、ティーチャーが見ているものと同じものを、より一生懸命に見ようとすることで、学習速度は飛躍的に向上します。この論文は、この「霧がかかった窓」による手法が非常に効果的であり、この方法で訓練された40億パラメータの小さなモデルが、2350億パラメータを持つ巨大なモデルをも凌駕し、さらにはGPT-5.4のような最も有名な商用AIモデルさえも上回ることを明らかにしています。

霧の窓の魔法

これがどのように機能するかを詳しく見ていきましょう。昔は、もし学生AIにティーチャーAIから学ばせたいなら、ティーチャーは学生の「スーパーヒーロー版」であるか、あるいは学生には見ることが許されない「チートシート（正解の根拠となる情報）」を与えられていなければなりませんでした。この論文はその脚本を逆転させます。彼らは、秘訣はティーチャーの超能力にあるのではなく、ティーチャーが見ているものと学生が見ているものの間の「ギャップ」にあるのだと気づいたのです。

刑事と新人刑事のトレーニングを想像してみてください。

• 従来の方法： 刑事（ティーチャー）はハイテクな顕微鏡と容疑者のリストを持っています。新人（学生）は推測しなければなりません。刑事は答えを教えます。
• S2VOPDの方法： 刑事と新人は、同じ犯罪現場の写真を見ています。しかし、新人は少し傷のついたサングラスをかけていたり、写真は低解像度の小さな画面に映し出されていたりします。刑事は全体像をはっきりと見ています。新人は目を細めて、何が見えるのかを推測しなければなりません。新人が間違いを犯したとき、刑事は「いや、もっとよく見て、あれは犬ではなく猫だよ」と言うのです。

論文では、これを「非対称性の反転（inverting the asymmetry）」と呼んでいます。ティーチャーに超能力を加えるのではなく、学生から明瞭さを差し引くのです。これにより、自然な学習シグナルが生まれます。学生は、ティーラーのクリアな視界から欠落している詳細を復元する方法を学ばざるを得なくなります。そして最高の部分は？このために人間によるラベルや答え合わせ、報酬を一切必要としないことです。「霧」そのものが、ティーチャーなのです。

ゴルディロックス・ゾーン（適温領域）のぼかし

研究者たちは、単に「どんな種類のぼかしでも機能する」と推測したわけではありません。彼らは、学生の見え方をどのように「劣化」させるかをテストするために、大規模な実験を行いました。彼らは、学生の画像を写真編集プロジェクトのように扱い、主に4つのタイプの変化を試しました。

1. 情報の削減： 画像を小さくしたり、ぼかしたり、古いテレビのようなノイズ（スタティック）を加えたりすること。
2. 幾何学的変化： 画像を回転させたり、一部をクロップ（切り抜き）したりすること。
3. フォトメトリック（光度学的）変化： 色、明るさ、コントラストを変更すること。
4. 遮蔽（オクルージョン）： 黒いボックスやランダムなパッチで画像の一部を覆うこと。

彼らは非常に特定の「スイートスポット」を発見しました。

• ぼかしが少なすぎる場合： 画像がティーチャーのものとほとんど同じであるため、学生は新しいことを何も学びません。
• ぼかしが多すぎる場合： 学生は何も見ることができません。もし画像をあまりに多くクロップして猫の顔が消えてしまったら、たとえティーチャーが「猫」と言ったとしても、学生が「猫」と推測することは不可能です。問い自体が答えられないものになってしまうため、学習シグナルが壊れてしまいます。
• ちょうど良い場合： 論文では、画像を元のサイズの0.3倍から0.6倍の間に縮小し、少しのランダムな「スタティック・ノイズ（ガウスノイズのようなもの）」を加えることが、完璧なレシピであることを発見しました。この「ダウンスケーリング」と「ノイズ」の特定の組み合わせが、最も効果的な学習ギャップを作り出しました。

結果：小さなモデル、大きな脳

結果は驚くほど強力でした。チームは、Qwen3.5-4B（40億の「脳細胞」、すなわちパラメータを持つモデル）を用いてこの手法をテストしました。

• 訓練前： モデルは、トリッキーな視覚パズルにおいて約**70.7%**の正解率でした。
• S2VOPD訓練後： スコアは**77.4%**へと跳ね上がりました。

これは一見、劇的な上昇ではないように聞こえるかもしれませんが、AIの世界では極めて大きな飛躍です。この小さな40億パラメータのモデルは、秘密のチートシートなしで、以下のモデルを上回る性能を発揮しました。

• Qwen3-VL-Instruct-235B： 2350億のパラメータを持つ巨大なモデル（50倍も大きい！）。
• GPT-5.4： 利用可能な最も高度な商用AIモデルの一つ。

さらに印象的なことに、この手法はモデルの視覚能力を高めるだけでなく、数学的な推論能力も向上させました。「チートシート（特権的情報）」を使用した他の手法は、画像の認識能力は向上しても、数学の能力はむしろ低下してしまうことがよくありました。S2VOPDは、両方のスキルを同時に向上させることに成功したのです。

なぜこれが重要なのか

この論文は、AIを賢くするために、必ずしもより大きく、より高価なモデルや、終わりのない人間のラベルを必要とするわけではないことを示唆しています。ただ、情報の提示の仕方を工夫すればよいのです。学生に「苦労」を強いること――ティーチャーが真実を見ている一方で、学生には劣化した世界を見せること――によって、私たちは無料で強力な学習シグナルを引き出すことができます。

著者たちは、これがすべての問題に対する魔法の杖ではないことにも注意を払っています。もし「劣化」が強すぎる場合（例えば、答えを完全にクロップして消してしまう場合）、この手法は失敗します。しかし、適切に調整されていれば、この「自己教師あり」のアプローチは、特権的情報を用いた手法が達成できる向上の**96%**を、追加の、入手困難なデータなしに回収できるのです。

要約すると、S2VOPDは、最も多くを学ぶためには、必ずしもすべての答えを知っているスーパーティーチャーは必要ないということを証明しています。ただ、隣に澄んだ目を持つガイドが立っている中で、学生が世界をもう少し一生懸命に見るように強制される必要があるのです。