Putting Registers to Work: Task Registers for Token Pruning in Vision Transformers
本論文は、タスク固有のレジスタを利用してトークンを動的にランク付けし、異なるVision Transformerのタスク間でプルーニング予算を割り当てる手法であるTask-Adaptive Pruning（TAP）を提案しており、画像分類、セマンティックセグメンテーション、および物体検出において競争力のある性能を維持しつつ、大幅なスループットの向上を実現している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、写真を見てその中に何が入っているかを理解しようとする、超スマートなロボットの脳を持っています。この脳は、巨大な小さな作業員たちのチームのように構成されており、各作業員はパズルのピース（「トークン」）を手に持っています。意思決定をするために、すべての作業員が他のすべての作業員とチャット（通信）しなければなりません。問題は、もし写真が大きすぎると、チャットの数が爆発的に増え、脳が圧倒され、動作が遅くなり、電気を大量に消費してしまうことです。科学者たちは、脳に写真の退屈な部分を無視させ、重要な部分だけを保持させることで、この問題を解決しようとしてきました。これは、先生がクラスに対して、賢い発言をする生徒にだけ耳を傾けるよう指示するようなものです。これは「トークン・プルーニング（トークン削減）」と呼ばれます。しかし、ここにはトリッキーな点があります。何が「賢い」あるいは「重要」であるかは、ロボットが何をしようとしているかによって完全に変わってしまうのです。猫を見つけるために不可欠なピースが、空の色を判断するためには役に立たないこともあります。長い間、科学者たちはあらゆる仕事に対して同じ「無視リスト」を使おうとしてきましたが、一つのサイズがすべてに適合することは滅多にありません。
「Putting Registers to Work（レジスタを実務に投入する）」と題されたこの論文は、まさにその問題に取り組んでいます。ロンドン大学クイーン・メアリー校のチームである著者たちは、画像のどのピースを捨てるべきかを決めるルールは、タスクごとに全く異なることを発見しました。彼らは、物体を見つけるための戦略（例えば、公園の中に犬がいるのを見つけること）は非常にうまく機能する一方で、シーンを理解する能力（例えば、その犬が芝生の上にいるのか舗装路の上にいるのかを判断すること）を損なう可能性があることを発見しました。この問題を解決するために、彼らは「タスク適応型プルーニング（TAP）」と呼ばれる巧妙な新システムを考案しました。
ロボットの脳を忙しいキッチンだと考えてみてください。通常、シェフ（プルーニング・ポリシー）は、スープを作っている時もケーキを作っている時も、同じレシピを使ってどの材料を捨てるかを決めます。著者たちは、これが間違いであると気づきました。そこで、彼らはキッチンに特別な「タスク・レジスタ」を与えました。これは、作っている料理に応じて変化する、スマートで魔法のようなレシピカードのようなものです。ロボットが猫を識別する必要があるとき、それは「猫カード」を取り出します。このカードは、脳が画像のどの部分を保持し、どの部分を無視すべきかを正確に指示します。部屋のマップを作成する必要があるときは、「部屋カード」に切り替えます。これらのカードは、単に何を捨てるかを決めるだけでなく、脳が画像を処理していく過程で、層（レイヤー）ごとに「いつ」捨てるべきかも判断します。
研究者たちは、標準的なロボットの脳を固定（フリーズ）し、再学習させることなく、さまざまな「無視ルール」を試すことでこれを検証しました。その結果、3つの大きな驚きがありました。第一に、物体を見つけるために重要なピースを選ぶ最善の方法は、シーンをマッピングするための最善の方法とは正反対でした。第二に、ロボットは、特に猫や犬の判別のような単純なタスクにおいて、最初の数層の処理をどのように扱うかに非常に敏感であるということです。第三に、ロボットが写真のピースを捨てるとき、後で隙間を埋めるために、そのピースがかつてどのような見た目だったかを覚えておく必要があります。しかし、ここが肝心な点ですが、物体を見つける場合は、単にそのピースが最初から存在しなかったかのように振る舞い、近くの隣人の情報を使って隙間を埋めるのがベストです。一方、シーンのマッピングを行う場合は、実際の差異をしっかりと記憶し、後でそこに貼り戻す方が適しています。
これらを解決するために、TAPは現在のジョブのための単一の「アクティブ」なレジスタカードを使用します。このカードは脳の中を通り抜け、画像を観察しながら、以下の3つの決定を即座に行います。
- 選択（Selection）: どのトークンを保持し、どのトークンを捨てるか。
- 予算（Budget）: 各ステップでどれだけのトークンを捨てるか（早い段階で少し捨てるのか、後で多く捨てるのか、あるいはその逆か）。
- 回復（Recovery）: ロボットが詳細なマップを描く必要があるときに、どれだけの「忘れられた」詳細を持ち戻すか。
結果は目覚ましいものでした。これらのタスク固有のカードを使用することで、ロボットは知能を失うことなく、大幅に高速化しました。物体検出の標準テスト（COCO）では、精度をほとんど落とすことなく（わずか0.3ポイントの低下）、1.32倍高速化しました。シーンのマッピングのテスト（ADE20K）では、品質の低下を最小限に抑えつつ、1.30倍高速化しました。単純な画像分類においても、競争力のある性能を維持しました。
著者たちは、このアプローチが真に統合されたロボットの脳への一歩であると示唆しています。つまり、同じコアエンジンを使いながら、異なる「思考スタイル」を即座に起動させることで、車を見つける、街の絵を描く、あるいは看板を読むといった動作を切り替えられる脳です。彼らは単にこれがうまくいくと推測したのではなく、脳を固定して個々のルールをテストし、彼らの新しい「レジスタ」システムが、従来の「ワンサイズ・フィッツ・オール（一律の）」手法を一貫して上回ることを示すことで、それを証明しました。これは、AIの世界においては、時には「何を無視すべきか」を正確に知ることが最もスマートな方法であり、その「ノイズ」の定義は、あなたが何を見ようとしているかに依存しているのだということを思い出させてくれます。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。