想像してみてください。あなたは、画像を見て文章を読み、それらがどのように結びついているかを瞬時に理解できる、超スマートなロボットの脳を持っています。これが**視覚言語モデル（VLM）**の世界です。これらのモデルを、インターネット上のあらゆる本を読み、あらゆる写真を見た、巨大で貪欲な図書館だと考えてください。彼らはパズルを解いたり、質問に答えたり、特定の画像を見つけ出したりすることに長けていますが、一つ問題があります。それは、彼らが信じられないほど「重い」ということです。動かすためには、膨大なメモリと電力を持つ巨大なコンピュータが必要であり、それはまるで、バックパックに図書館を詰め込んで山登りをするようなものです。このため、これらの賢いロボットをスマートフォンやタブレットのような小さなデバイスに搭載するのは非常に困難です。

この問題を解決するために、科学者たちは**プルーニング（枝刈り）**と呼ばれる手法を使います。ロボットの脳が巨大な接続のネットワークであると想像してください。プルーニングは、ロボットの思考に役立たない小さな糸を慎重に切り取り、強く重要な糸だけを残す作業のようなものです。これにより、ロボットが本来の仕事を忘れることなく、より軽く、より速くすることができます。しかし、既存のプルーニング手法の多くは、まるで別の国の地図を使っているかのようです。ロボットが直面するあらゆるタスクに対して、その都度特定の練習テスト（データ）を必要としたり、ロボットが画像を見ることから言葉を読むことに切り替わると混乱したりします。この論文は、これらの巨大な脳を一度だけ完璧にトリミングし、新しい仕事のために再学習や再調整を行うことなく、どこでも動作できるようにする方法に取り組んでいます。

---

「一度切れば、それで完了」の脳のトリミング

研究者のMinseok Kang氏とそのチームによって導入された、新しい手法PORTA（Prune-Once: Retraining-free Task-Agnostic pruning / 一度のプルーニングで完了する、再学習不要のタスク非依存型プルーニング）をご紹介します。彼らの目標は、現在のプルーニング手法が抱える、もどかしい問題を解決することでした。現在の手法は、まるであなたが違うシャツを着たいたびに、スーツのサイズを測り直さなければならない仕立て屋のようなものです。ロボットに画像分類をさせたいならその方法でプルーニングし、検索をさせたいならまた別の方法でプルーニングしなければなりません。これは時間がかかり、コストもかかります。PORTAは違います。それは、生地を一度だけ見て完璧に裁断し、その結果できたスーツが、レースに出る時も、会議に出席する時も、パーティーで踊る時も、あらゆる場面にフィットするように作る熟練の仕立て屋のようなものです。

この論文は、他の手法がこの「一度切れば完了」というアプローチに失敗する主な理由として、ロボットの内部信号の**大きさ（マグニチュード）**に基づいて、何を残すかを決定していることを挙げています。著者らは、これらの巨大なモデルにおいて、信号の大きさは誤解を招く可能性があると主張しています。なぜなら、「言語」の部分の脳と「視覚」の部分の脳では、振る舞いが異なるからです。それは、図書館での叫び声とスタジアムでの叫び声を比較して、どちらが重要かを判断しようとするようなものです。音量（マグニチュード）は異なりますが、意味は同じかもしれません。そのため、単に音量だけを見る手法は、特にロボットが未知のタスクを求められた際に、間違った部分を切り落としてしまうのです。

秘訣：ボリュームではなく「分散」

信号がどれほど「大きい」かに耳を傾ける代わりに、PORTAはそれがどれほど「変化するか」に耳を傾けます。これを研究者たちは**活性化の変動（activation variation）**と呼んでいます。

ここで例え話をしましょう。教室にいる学生のグループを想像してください。

• 従来の方法（マグニチュード）： 教師が「誰が一番うるさいか？」と問い、最も大きく叫ぶ生徒だけを残します。しかし、その最も大きな声の生徒は、特定のトピックに対して興奮しているだけで、静かな生徒の方が実は先生の話をすべて理解しているかもしれません。
• PORTAの方法（分散）： 教師が「誰が質問に応じて最も答えを変えるか？」と問い、トピックに基づいて答えを適応させる生徒こそが、教材を真に理解している生徒なのです。

ロボットの脳において、PORTAはさまざまな入力に対して多くの**変動（ゆらぎ）**を示す特徴を探します。もし脳の一部が、多くの異なる画像や言葉に対して異なる反応を示すなら、そこは重要な役割を果たしています。もし、どんなものを見せても反応が変わらないのであれば、それはおそらく「死んだ重み」です。この「変化しやすさ」のスコアを使用することで、PORTAは、それが猫を見ている時であっても詩を読んでいる時であっても、関係なく、ロボットのどの部分が本当に有用であるかを判断できます。これにより、PORTAのプルーニングは「モダリティ非依存（modality-agnostic）」、つまり視覚の部分と言語の部分を偏ることなく公平に扱うことができます。

スマートなカット：すべての層が平等ではない

PORTAはどの特徴が重要かを知った後、ロボットの脳の各層からどれだけ削るかを決定しなければなりません。脳は均一なブロックではありません。ある層は家の基礎のようなものであり、別の層は屋根のようなものです。基礎を屋根と同じように激しく削ることはしません。

PORTAは、巧妙な**適応的スパース性（adaptive sparsity）**メカニズムを使用しています。これは、出力の変動に基づいて、各層がどれだけの「仕事」をしているかを見るものです。

• もしある層が重い荷物を運んでいる（出力の変動が高い）場合、PORTAは「あまり触るな！」と言い、低いプルーニング比率を与えます（大部分を残します）。
• もしある層がただ流されているだけ（変動が低い）なら、PORT方は「大幅に削減できる」と判断します。

これにより、削りすぎたためにロボットが思考能力を失ってしまうという事態を防ぎます。論文では、この手法が、他の手法で見られる「パフォーマンスの崖（急激な性能低下）」を防ぐことが示されています。

結果：より強く、より軽く、あらゆる準備が整っている

研究者たちは、3つの有名なロボットの脳、CLIP、BLIP、Qwen2-VLを用いてPORTAをテストしました。単一のタスクだけでなく、あらゆる課題を投げかけました。

• 画像分類： 写真の中に何があるかを識別する（例：花と犬の違いを見分ける）。
• 検索（リトリーバル）： テキストによる説明に一致する正しい画像を見つける（またはその逆）。
• VQA（視覚的質問応答）： 画像に関する複雑な質問に答える。

結果は驚くべきものでした。**65%**のパラメータを削り取って非常に軽量化したとしても、PORTAは他の手法よりもはるかに高い性能を維持しました。

• CLIPモデルにおいて、65%のスパース性（希薄性）において、PORTAはSparseGPTと比較して平均性能を12.6%、Wandaと比較して**21.5%**向上させました。
• BLIP（45%のスパース性）において、PORTAは平均スコア90.26を達成し、SparseGPTの89.95を上回りました。
• Qwen2-VL（50%のスパース性）において、PORTAは平均精度54.30に達し、次に優れた手法であるWandaを0.87ポイント上回りました。

おそらく最も重要なのは、PORTAが**堅牢（ロバスト）**であることです。論文は、プルーニングの「校正」に使う画像のセットが小さくても大きくても、あるいはあるウェブサイトの画像を使っても別のウェブサイトの画像を使っても、PORTAには影響がないことを示しています。他の手法が使用するデータによって性能が激しく変動するのに対し、PORTAは安定しています。

まとめ

PORTAは、これらの巨大なモデルを小さくするために、必ずしも再学習する必要はないことを示唆しています。ロボットの内部信号がどれほど「大きい」かではなく、どれほど「変化するか」を見ることで、そして仕事をしていない層からより多くを削ることで、あらゆる仕事に対応できる、単一の引き締まったモデルを作成できます。これは「一度プルーニングすれば、永久に使える」というアプローチであり、これらの超スマートな視覚言語モデルが、スーパーコンピュータの力を借りることなく、私たちのポケットの中にあるデバイスで動作することを可能にするかもしれません。著者らは広範なゼロショット実験を通じて、PORTAでプラーニングされたモデルが追加のトレーニングなしで直接新しいタスクに飛び込み、高度に圧縮されていても高い精度を維持できることを証明しています。