想像してみてください。あなたは子供に犬の認識方法を教えています。あなたは、走っている、眠っている、あるいはジャンプしているゴールデンレトリバーの写真を見せます。次に、プードルの写真を見せます。たとえプードルが違った見た目であっても、子供は即座に「あれは犬だ！」と理解します。その子は、特定の見た目だけでなく、「犬という概念」を学んだのです。物事が新しい状況に置かれたとき、特にそれが横向きになったり、上下逆さまになったりしたときに、それを見分けるこの能力は、人間の脳と人工知能の両方にとっての「聖杯」です。長い間、科学者たちは、私たちのコンピュータの脳（ディープニューラルネットワーク、DNNと呼ばれます）が、なぜ写真の中の物体を見つけるのは得意なのに、それと同じものが未経験の角度に回転しただけで、すっかり混乱してしまうのかという謎に直面してきました。それは、テーブルの上のカップは識別できるけれど、横倒しになったカップを全く別の物体だと勘違いしてしまうロボットのようなものです。これらのデジタルな脳が、新しい角度をどのように扱うかを学ぶことは、現実世界が秒単位で物体が回転し、傾き、視点を変え続けているため、非常に重要です。

この論文はこの謎に深く切り込み、シンプルかつ深遠な問いを投げかけています。「これらのコンピュータの脳は、わずかな例を見るだけで、新しい（ノベル）向きにある物体を認識することを学べるのだろうか？ それとも、あらゆる角度を暗記する必要があるのだろうか？」 研究者たちは、巧妙な実験を設定しました。彼らは、AIモデルを、「完全に見た（あらゆる回転パターンを見せた）」物体と、「部分的にしか見ていない（特定の角度のみを見せた）」物体の混合物を用いて訓練しました。そして、それらの「部分的にしか見ていない」物体を、見たことがない「分布外（out-of-distribution）」の角度に回転させてテストしました。結果は非常に興味深いものでした。AIは新しい角度に対して汎化（応用）することができました。ただし、非常に限定的で予測可能な方法においてのみです。判明したのは、AIに「完全に見た」物体の例を十分に多く見せると、AIはある種の内的なマップ（地図）を構築し始めるということです。このマップによって、AIは部分的にしか見ていない物体であっても、それが単純な2D回転（ページをめくるような回転）であったり、物体の影やシルエットが馴染みのあるものに見えるような反転であったりする場合に、それを認識できるようになります。これは、AIの内部にある「ニューロン（ネットワーク内の小さな処理ユニット）」が、物体が動いても変わらない特定のパーツ（翼や車輪など）を見つけ出すように学習するためであると示唆されています。これらの特徴検出器は、完全に見た物体を通じて訓練され、部分的にしか見ていないものへと知識を「橋渡し」し、未知のものを認識させる架け橋となるのです。しかし、著者らは、これは魔法ではないことも注意深く述べています。AIは依然として、物体のパーツが隠れてしまう複雑な3Dのねじれ（自己遮蔽）には苦戦しており、今回の知見は特定のデータセットを用いたシミュレーションに基づくものであり、まだあらゆる知能に共通する普遍的な法則ではないことも指摘しています。

回転する飛行機の物語

ディープニューラルネットワークを、アルファベットを学ぼうとしている、非常に熱心だが少し融通の利かない学生だと考えてみてください。もし、赤い「A」の文字だけを見せられたら、その学生は青い「A」や、筆記体の「A」を認識できないかもしれません。コンピュータビジョンの世界では、この学生がディープニューラルネットワーク（DNN）であり、「文字」は飛行機、車、あるいは奇妙な幾何学的形状のような物体です。大きな問題は、これらのネットワークが、訓練中に見ていない向きに回転させられたときに、物体を認識するのが非常に苦手であることです。もし、飛行機が真っ直ぐ飛んでいる写真をネットワークに学習させ、その後にバレルロール（回転飛行）をしている飛行機を見せたら、ネットワークはパニックに陥り、「それが何か分からない！」と言ってしまうことがよくあります。

この論文の研究者たちは、なぜこのようなことが起こるのか、そしてネットワークが従っている隠れたルールブックがあるのかどうかを突き止めたいと考えました。彼らは単にランダムな写真をAIに投げつけたのではありません。非常に具体的なトレーニングキャンプを設定しました。例えば、50種類の異なるおもちゃの飛行機があるとします。いくつかの飛行機については、あらゆる角度（前、後ろ、上下逆さま、横向き、その他あらゆる間）をAIに見せました。これらを「完全に見た（fully seen）」飛行機と呼びます。他の飛行機については、鼻先が下を向いている状態など、ごくわずかな角度の断片しか見せませんでした。これらを「部分的にしか見ていない（partially seen）」飛行機と呼びます。

そして、テストが行われました。研究者たちは「部分的にしか見ていない」飛行機を取り上げ、AIが一度も見ることのなかった、全く新しい「分布外（out-of-distribution / OoD）」の角度へと回転させました。AIは失敗するのでしょうか？ それとも、どうにかして理解できるのでしょうか？

「2D回転」の魔法

答えは「イエス」でもあり「ノー」でもありましたが、非常に面白いひねりがありました。AIは、回転の仕方が特定のタイプであった場合にのみ、部分的にしか見ていない飛行機の認識に優れていました。

研究者たちは、AIが、2D回転（テーブルの上で写真を回転させるような動き）や、物体の影（シルエット）が似たままになるような反転によって回転した場合に、物体を認識することに長けていることを発見しました。例えば、AIが正面から飛行機を見た場合、背後からの姿も認識できることがよくあります。なぜなら、正面と背面では飛行機の「影（シルエット）」が非常によく似ているからです。これは、人の顔を見たとき、その人が横を向いていても、頭の形が変わっていないことを知っているので、顔を認識できるのと似ています。

しかし、もし飛行機が複雑な3Dのねじれを起こし、自分自身のパーツを隠してしまった場合（例えば、翼が胴体を遮るようなロールを行った場合）、AIは混乱してしまいました。論文は、AIがこれらの「自己遮蔽（self-occluding）」の角度に苦戦する理由として、AIが信頼するように学習した馴染みのある特徴が見えなくなってしまうからだと示唆しています。

「特徴探偵」理論

では、AIはどのようにしてこれを実現しているのでしょうか？ 著者らは、私たちの脳の仕組みにも似た理論を提案しています。彼らはAIの「脳（ニューラルネットワーク）」の内部を観察し、個々のニューロンがどのように反応するかを見ました。そこで、特定のニューロンが**「特徴探偵（feature detectives）」**として機能していることを発見しました。

例えば、「翼」を担当する探偵としてのニューロンを想像してください。AIが「完全に見た」飛行機を見るとき、この探偵は、飛行機がどのように回転していようとも、「翼」が飛行機の重要な一部であることを学習します。この探偵は、あらゆる角度における翼を見つけることに非常に熟達します。さて、AIが「新しい（部分的にしか見ていない）」飛行機を見たとき、その飛行機は数個の角度からしか見たことがなくても、同じ「翼の探偵」がそこに存在しています。たとえこの特定の新しい飛行機をあらゆる角度から見たことがなくても、その探偵は翼を認識し、「おや、私はこの特徴を知っているぞ！ これは飛行機に違いない！」と言うのです。

論文は、「完全に見た」飛行機によって学習された「不変性（invariance：変化に関わらず認識できる能力）」が、部分的にしか見ていない飛行機へと**「伝播（disseminated）」**されることを示唆しています。これは、完全に見た飛行機が「先生」となり、何が飛行機を飛行機たらしめるのかという知識を、部分的にしか見ていない「生徒」たちに伝えているようなものです。AIが訓練する「完全に見た」飛行機の数が増えるほど、この教えはより強力になり、難解な角度に対する認識能力も向上します。

ゲームのルール

研究者たちは単に推測したのではなく、AIがどの角度を正解し、どの角度を間違えるかを正確に予測するための数学的モデルを構築しました。彼らのモデルには、主に3つの要素がありました。

1. 微小な角度の回転： 新しい角度が、AIが見たものからわずかに異なる程度であれば、通常は容易です。
2. 面内回転（In-Plane Rotations）： 物体が平面上で回転している場合（2D回転）、AIは得意です。
3. シルエットの類似性： 新しい角度からの物体の影が、古い角度の時と同じであれば、AIは対処できます。

彼らが作成したモデルを実際のAIの結果と比較したところ、完璧に一致しました。モデルは、AIの成功率を高い精度で予測することができたのです。これは、AIが単に推測しているのではなく、世界をどのように捉えているかに基づいた論理的な一連のルールに従っていることを裏付けています。

未来への意味

本論文は、これらのコンピュータの脳はまだ完璧ではないものの、生物学的な脳と驚くほど似たことを行っていると結論付けています。彼らは、回転しても変わらない「その物体が何であるか」という感覚を築くために、特定の「特徴」を利用しています。しかし、彼らにはまだ限界があります。人間のように、パーツを隠してしまうような複雑な3Dのねじれを扱うことはできません。著者らは、将来的に、これらのネットワークに対し、単なる静止画ではなく、ビデオ（時間的な関連付け）から学習させる方法を教えることができるかもしれないと示唆しています。それは、赤ちゃんが周囲の動くものを見ることによって学ぶ方法と同じです。

現時点では、この研究は、AIシステムがどこで成功し、どこで失敗するかを示す明確な地図を与えてくれます。もし私たちが、3Dの世界をナビゲートできるより賢いAIを望むのであれば、物体がどのような見た目であるかだけでなく、回転するにつれてその影や特徴がどのように変化するかを理解させる必要があることを、この研究は示しています。これは小さな一歩ですが、機械が私たちと同じように世界を真に理解できるようにするための、大きな一歩なのです。