🤖 AI

Asynchronous Perception Machine For Efficient Test-Time-Training

本論文では、データセット固有の事前学習や pretext task を必要とせず、単一のフォワードパスにおいて、画像パッチを非同期的に処理することで分布外データを認識し、意味的なクラスタリングを生成する、テスト時学習のための計算効率の高いアーキテクチャである Asynchronous Perception Machine (APM) を紹介する。

原著者： Rajat Modi, Yogesh Singh Rawat

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rajat Modi, Yogesh Singh Rawat

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、見慣れた道を自動運転車で走っているところを想像してみてください。突然、まるで絵画のように濃い霧に包まれたり、車の脳がかつて見たことのないようなグラフィティ（落書き）で覆われた道路に遭遇したりしました。ほとんどのコンピュータの脳はパニックに陥るでしょう。見たこともない「特殊な状況」に直面すると、彼らはフリーズしてしまうからです。

そこに登場するのが、**APM（Asynchronous Perception Machine：非同期知覚マシン）**です。APMを、硬直したロボットの脳としてではなく、たった一つの手がかりから謎を解き明かすことができる、超高速で好奇心旺盛な探偵だと考えてください。

旧来の手法 vs. APMの手法

通常、コンピュータが奇妙な新しい画像を見たとき、それは即座に「再学習」を試みます。それは、車がまだ走行している最中に、辞書を丸ごと読み、次に文法書を読み、さらにチューターと一緒に練習して、新しい言語を学ぼうとするようなものです。これは遅く、コストがかかり、多くのメモリを必要とします。また、それは一種のギャンブルでもあります。コンピュータは、どのように画像を加工すべきか（画像を回転させるべきか？ぼかすべきか？ノイズを加えるべきか？）を推測しなければなりません。もし推測を間違えれば、混乱してしまいます。

APMはこの「試行錯誤（guess-and-check）」のアプローチを拒絶します。 この論文は、画像をどのように「台無しにするか（データ拡張）」を推測したり、脳全体を何度も実行したりする必要はないと明確に主張しています。

代わりに、APMは次のように機能します：

スナップショット： 奇妙なシーンの写真を撮ります。
魔法の鍵： 超スマートな「教師」（CLIPのような事前学習済みの巨大なモデル）に、その写真に関するたった一つの「秘密の要約」を求めます。これは、その画像の完璧な「IDカード」を手に入れるようなものです。
ワンショットのレッスン： APMは、そのたった一つのIDカードだけを記憶しようとします。その画像を何度も繰り返し見る必要はありません。その単一の要約に対してのみ、オーバーフィット（過学習）を行うのです。
結果： 突然、ネットワークは「理解」します。霧に包まれたり、グラフィティに覆われた道路を見ても、「ああ、これは歩行者だ！」と言えるようになるのです。一度も霧やグラフィティを見たことがなくても。

その仕組み：「展開（Unfolding）」のトリック

ここからが最も面白い部分であり、論文が少しSF的になる部分です。

想像してみてください、小さく折りたたまれた紙（トリガー・カラム）があります。この紙には、画像全体の「魂」やアイデンティティが保持されています。次に、この紙が魔法のように、画像のあらゆる地点に対応する小さなタイルのグリッドへと展開される様子を想像してください。

非同期（Asynchronous）の部分： 他のコンピュータが（広角カメラのフラッシュのように）画像全体を一度に見るのに対し、APMはこれらのタイルを一つずつ、任意の順序で見ていきます。それは、本を一文字ずつ読むようなものですが、最初のページを読む前に最後のページを読んでも、物語を理解できるのです。
共有された脳： すべてのタイルは、同じ小さな共有脳（シンプルな5層のMLP）に質問を送ります。画像の「魂」は折りたたまれた紙の中にあり、位置も既知であるため、たとえ一つの小さな点しか見ていなくても、脳は何を見ているのかを正確に把握できるのです。

この論文は、これがGLOMと呼ばれる理論の証明への一歩であると示唆しています。GLOMは、私たちの知覚が個別のオブジェクトのリストではなく、「場（フィールド）」（磁場のようなもの）であるという理論です。APMは、単一の「鍵」をシフトさせるだけで、画像間を補間（インターポレーション）して移動できることを示しています。

数字による検証：速く、そして軽量に

この論文は理論を語るだけでなく、実際に測定を行っています。

速度： 20回の「学習」ラウンドでテストした際、従来の手法（標準的なモデルであるCLIP VIT-B/16を使用）は462 GigaFlops（計算能力の単位）を消費しました。一方、APMはわずか241.7 GigaFlopsしか使用しませんでした。これは、計算能力を約50%削減したことになります。
メモリ： APMはプロセス中に2.7 GBのメモリしか占有しません。これは、使用している教師モデル（それ自体で2.3 GBを必要とする）よりも効率的です（教師モデルもメモリに保持するため合計は高くなりますが、それでも効率的です）。
精度： 画像の芸術的または奇妙なバージョンを含むデータセット「ImageNet-R」において、APMは**94.9%の精度を達成し、標準的なモデルを2%**上回りました。白黒のスケッチを用いた「ImageNet-Sketch」では、**77.1%に達し、標準モデルを4.3%**上回りました。

APMが「しない」こと（そしてそれがなぜ良いのか）

論文は、APMが何ではないかについても非常に明確に述べています。

ゼロの助けなしに機能する魔法の杖ではありません： それは依然として、巨大なデータセットで訓練された教師モデルから得られる、あのたった一つの「IDカード」（蒸留されたトークン）を必要とします。論文は現在、この教師モデルに依存していることを認めています。
追加のノイズや「拡張（augmentation）」（回転など）を加えた場合に優れているわけではありません： 事実、著者らはデータ拡張を加えるとAPMのパフォーマンスが悪化し、テストセットでの精度が98.6%から76.7%に低下することを発見しました。これは、APMが単一の、クリーンな要約に純粋に集中するときに最もよく機能することを証明しています。
あらゆるシナリオにおける完全に解決された問題ではありません： 論文は、現在、最良の結果を得るために複数の「テスト時学習（TTT）」の反復（約20回）が必要であることを記していますが、さらなる研究によってこれを減らせる可能性があると考えています。

「ワンサンプル」の超能力

この論文が示す最も驚くべき事実は、APMがたった一つの画像から学習できることです。
シミュレーションにおいて、彼らはAPMに単一の写真を送り、その画像の要約に対して250ラウンドのオーバーフィットを行わせました。最初は、コンピュータには何も見えていませんでした。しかし、その単一の要約について考え続けるうちに、画像は意味のある「島々」へと分解され始めました。コンピュータは、単一のデータポイントからであっても、「全体」と「部分」（例えば、犬の耳と犬全体との違い）の両方を見出し始めたのです。

著者らは、これは知覚が連続的な場であるという考えを裏付けるものであると示唆しています。単一の「鍵（トリガー・カラム）」を調整するだけで、APMは画像間を補間し、猫の写真から犬の写真へと、あたかもそれらが地図上の異なる点であるかのように、滑らかな遷移を作り出すことができるのです。

結論

APMは、予想外の奇妙な画像を扱うための、新しい、軽量で、驚くほど高速な方法です。それは、数千のバリエーションを練習したり、画像を回転させたりする必要はないという考えを拒絶します。代わりに、もしコンピュータにシーンの高品質な要約を一つ与えれば、あとはコンピュータ自身が、一度に一つずつ、小さな断片から全体を理解できることを示唆しています。

これはまだ、あらゆる未来のための完成された製品ではありません。論文は、依然として教師を必要とし、複数の学習ステップを必要とすることを認めています。しかし、これは、膨大なライブラリを事前に必要とすることなく、コンピュータが「即座に（on the fly）」学習できることを示す強力な証明なのです。

技術要約：テスト時学習のための非同期知覚マシン（Asynchronous Perception Machine）

1. 問題提起

現在のニューラルネットワークは、訓練データと大きく異なる分布を持つ画像（分布外データ、またはOOD）を認識することに苦慮している。テスト時学習（Test-Time Training: TTT）は、モデルがテストサンプルに対して「その場で」適応することを可能にすることで解決策を提供するが、既存のアプローチには以下の3つの決定的な限界がある：

情報のボトルネック： 複数のTTTイテレーション（反復）を行うには、深い隠れ層を通るフォワードパスを繰り返す必要があり、高い計算コストを招く。
サロゲート・プリテキスト・タスクへの依存： 既存の手法は、データ拡張やプリテキスト・タスク（回転、マスキングなど）に依存しているが、オンライン設定においてそれらの最適な構成を事前に知ることは不可能である。
メモリと並列性の制約： Transformerのようなアーキテクチャは、すべての入力パッチを同時に共有表現空間へと投影する必要があり、多大なメモリを消費する。

さらに、本論文は機械知覚における哲学的なギャップを指摘している。現在のシステムは、GLOM (2019) において知覚が「場（field）」として捉えられているように、意味的な認識を維持しながら画像パッチを非同期に処理する能力を欠いている。

2. 手法：非同期知覚マシン (APM)

著者らは、画像のパッチを順不同に一つずつ処理しながらも、意味的な認識を保持するように設計された、計算効率の高いTTT用アーキテクチャである**非同期知覚マシン（APM）**を提案する。

コア・アーキテクチャ

APMは、2つの新しいメカニズムを通じて動作する：

グローバル・カラム・モジュール ( $T$ )： 入力画像 $I$ に2D畳み込みを適用し、その結果を単一のベクトル $T$ （次元 $1 \times 1 \times d$ ）にフラット化することで、「トリガー・カラム」が生成される。このカラムは画像のアイデンティティを要約する。
折り畳み・展開メカニズム（Folding-Unfolding Mechanism）：
- 展開（Unfolding）： トリガー・カラム $T$ を展開して、 $h \times w$ 個の場所依存型カラム ( $T_{ij}$ ) を生成する。これは、 $T$ と非パラメトリックな位置エンコーディング ( $p_{ij}$ ) を結合することで実現され、各空間位置に対してユニークなクエリを作成する： $T_{ij} = (T | p_{ij})$ 。
- 共有MLP： 各 $T_{ij}$ は、**共有マルチレイヤー・パーセプトロン（MLP）**を逐次的に通過し、位置固有の特徴量 ( $f_{ij}$ ) とRGB値を出力する。
- 折り畳み（Folding）： 処理後、カラムは再び単一のトリガー・カラム $T$ へと収束する。位置エンコーディングは決定的であり、折り畳みの過程で「消滅」するため、すべての位置からの勾配が $T$ 内の共有畳み込みフィルタを更新することを可能にする。

テスト時学習 (TTT) プロトコル

APMは、データ拡張やプリテキスト・タスクを用いずにTTTを実行する：

蒸留 ( $t=1$ )： テスト画像が事前学習済みの教師モデル（例：CLIP）を通過し、ターゲットとなる特徴表現 ( $f_{cls}$ ) を得る。
過学習 ( $t \ge 2$ )： APMはランダムな重みで初期化される。まず、教師の表現を蒸留するためのシングル・フォワード・パスを実行する。その後のイテレーションでは、ネットワークはこの単一の蒸留された表現 ( $f_{avg}$ ) に対してのみ過学習を行い、出力と固定されたターゲット $f_{cls}$ との間のL2距離を最小化する。
分類： 一定数のイテレーション（例：20回）の後、平均化された出力特徴量は、対照空間におけるテキスト・クラス・エンベディングと比較され、クラスラベルが決定される。

計算効率

APMはカラムの独立性を利用しており、平均特徴量 ( $f_{avg}$ ) を移動平均統計量として計算できる。これにより、すべての $h \times w$ 特徴マップを同時にメモリに保持する必要がなくなり、並列型アーキテクチャと比較してメモリ使用量とFLOPsを大幅に削減できる。

3. 主な貢献

GLOMに着想を得たアーキテクチャ： APMは、知覚とは「場」であるというGLOMの哲学的洞察を検証し、ターゲットデータセットに対する明示的な事前学習なしに、ネットワークが単一のサンプルから学習し、画像の要素を意味的にクラスタリングできることを実証した。
計算効率： APMは、毎回のイテレーションで教師ネットワークをフル実行するのではなく、テストサンプルの表現を一度だけ蒸留してそれに過学習させることで、既存のTTT手法（例：TPT）と比較して計算コストをほぼ50%削減（FLOPsを半減）する。
単純さと性能： 本アーキテクチャは、畳み込み層1層と5層のMLPのみで構成されている。この単純さにもかかわらず、16のデータセットにおいて、最先端のTTT手法に対して同等または優れた性能を達成している。
非同期処理： APMは、意味的な一貫性を維持しながらパッチを非同期に処理できることを示しており、機械知覚に対する新しい視点を提供している。

4. 実験結果

著者らは、分布シフトを伴うゼロショットTTTベンチマークにおいてAPMを評価した：

自然分布シフト (ImageNetバリアント)： CLIP ViT-B/16を教師として使用した場合、APMはImageNetで62.6%、OOD平均で**61.2%の精度を達成し、TPT（62.4% / 60.8%）を上回った。より強力な教師（OpenCLIP ViT-H/14）を使用した場合、APMは84.9%**の平均精度を達成し、教師のゼロショット性能を約3%上回った。
破損画像 (ImageNet-C)： ImageNet-C（レベル5の深刻度）において、APMは15種類のノイズのうち11種類で最高精度を記録し、平均スコアは**50.3%**であった。これは、データセット固有の事前学習を必要としないTTT-MAEなどの他のベースラインを凌駕している。
クロスデータセット汎化： APMは、9つの微細分類データセット（Flower102、DTDなど）において、最も高い平均精度（65.5%）を達成し、CoOp、CoCoOp、およびTPTを上回った。
単一サンプル学習： 実験により、APMは250回のTTTイテレーションを通じて、単一の蒸留されたトークンからシーンの意味的要素をクラスタリングすることを学習でき、シーンの特徴を再構成するという逆問題を効果的に解決できることが示された。
アブレーション研究： データ拡張を取り除くと性能が低下したこと（98.6%から76.7%へ）から、APMが単一サンプルへの過学習に依存していることが確認された。また、RGB再構成損失の追加とフル特徴グリッドの模倣は、精度をさらに向上させた。

5. 意義と主張

本論文は、APMが「入力知覚は離散的なパッチの集合ではなく、連続的な場である」というGLOMの洞察を検証する一歩であると主張している。潜在空間における画像間の補間を可能にし、非同期パッチ処理を行うことで、APMはコネクショニズムに基づくハードウェアと知覚の場の間の溝を埋めるものである。

著者らは、APMが以下への道筋を提供すると強調している：

継続的学習： 人間の介入なしに動的に決定境界を調整することにより、人間の連続的な学習を模倣する。
ハードウェア効率： メモリ使用量と帯域幅効率を高めつつ、共有コネクショニスト・ハードウェア上で知覚を実装する。
自己充足性： 初歩的な結果は、APMが教師なしでRGB再構成を実行できることを示唆しており、将来の自己充足的な知覚システムの可能性を示唆している。

本研究の範囲は限定的であり、主に画像分類とTTTに焦点を当てている。TT-Tのオーバーヘッドを削減するために、将来の研究では事前学習を探索できる可能性があることを認めている。OOD問題をすべて解決すると主張するものではなく、既存のTTTパラダイムに対する、計算効率が高くアーキテクチャ的にシンプルな代替案を提示するものである。