TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

コンピュータが写真を理解しようとしている場面を想像してみてください。これを行うために、機械は画像を数千もの極めて小さな断片へと分解し、各断片を独立した情報単位として扱います。これらのモデルが洗練されるにつれ、コンピュータは驚異的な細かさでこれらの断片を処理することを学習してきましたが、それには大きな代償が伴いました。画像の詳細度が高ければ高いほど、コンピュータはそれらを理解するために、より多くの断片を短期記憶の中に保持しなければなりません。これがボトルネックを生み出します。画像が高解像度であったり、会話の中で長く詳細な回答が求められたりする場合、コンピュータは容量不足に陥るか、思考に時間がかかりすぎてしまうのです。長年、研究者たちは、重要度の低い断片を無視するようにコンピュータを教え込むことで、賢い断片だけを残して残りを捨てるという方法で、この問題を解決しようと試みてきました。

しかし、ある新しい研究は、科学者たちがこうした「無視する」戦略をテストしてきた方法が、根本的に誤っていたことを示唆しています。長い間、この分野は、コンピュータが選択肢から一文字を選んだり、「はい」や「いいえ」と答えたりするような、単語一つで済む単純なテストに依存してきました。この新しい研究の背後にある研究者たちは、「TwinPrune」と呼ばれる手法を通じて、これらの単純なテストはプロセスの極めて初期段階におけるコンピュータの理解度しか測定できていないことを発見しました。これらのテストは、コンピュータが長い文章を生成するためにメモリを使用しながら、話し続けなければならない場合に何が起こるのかを捉えきれていないのです。実際、この研究によれば、ある手法はこれらの単純なテストでは完璧に見える一方で、長い説明を書くよう求められると完全に失敗してしまうことがあります。なぜなら、単純なテストはプロセスのうち、メモリに関する部分を実際にはチェックしていないからです。

これを解決するために、チームはどの画像の断片を保持する価値があるかを決定する新しい方法を開発しました。特定の質問に対してその断片がいかに目立つかを見るのではなく、その断片が隣接する断片と比較してどれほどユニーク（独特）であるかに注目したのです。もし画像のパッチ（断片）が周囲のパッチと非常によく似ている場合、それは冗長であり、安全に削除できる可能性があります。もし異なっていれば、それは重要な情報を持っている可能性が高いといえます。この「密度」スコアは、最初に一度計算され、2つの異なる役割に使用されます。第一に、コンピュータが思考を開始する前に、似たような断片を統合するのを助け、計算能力を節約します。第二に、コンピュータが長い回答を書きながら、どの情報の断片をメモリから破棄すべきかを判断するのを助け、最もユニークで有用な詳細を確実に保持させるのです。

研究チームはこのアプローチを、小規模なものから数十億のパラメータを持つ巨大なシステムに至るまで、さまざまな種類の視覚言語モデルでテストしました。彼らは、自らの手法を、既存の最も強力な技術と比較しました。その際、古い単純なテストと、長い回答を必要とする新しい、より過酷なテストの両方を用いました。単純なテストにおいて、彼らの手法は最強の競合相手と同等の性能を発揮しました。しかし、コンピュータが完全な文章を生成しなければならない要求の厳しいテストにおいては、その差は歴然でした。他の手法では、簡潔に答えるよう求められるとコンピュータの精度が急落しましたが、新しい手法は、元の画像データのほんの一部しか保持していない状態でも、高い精度を維持しました。例えば、画像内のテキストを含む特定のベンチマークでは、メモリが厳しく制限された条件下において、新手法は次に優れた技術を10パーセント近く上回りました。

おそらく最も重要なことは、この研究が、古いテスト方法がいかに重大な問題を隠蔽していたかを明らかにしたことです。研究者が執筆フェード中にコンピュータからすべての視覚メモリを取り除いたとき、単純なテストではパフォーマンスにほとんど変化が見られませんでしたが、長い回答を求めるテストでは品質が大幅に低下しました。これは、単純なテストが、実社会での利用において最も重要なこと、すなわち「長い会話の中で情報を記憶し、取り出す能力」に対して盲目であることを証明しました。新しい手法は、初期の思考と長期的なメモリ管理の両方を管理するために、単一かつ一貫したルールを用いることで、コンピュータの初期処理を3倍以上高速化し、同時にメモリのフットプリントを大幅に縮小することに成功しました。

この知見は、この分野が間違った指標に対して最適化を行ってきたことを示唆しています。フル形式の長い回答を求めるテストへと焦点を移すことで、研究者たちは、複雑なシーンを理解する能力を損なうことなく、これらの強力なコンピュータをはるかに高速かつ効率的にすることが可能であることを示しました。このアプローチは、小型デバイスから最大級のスーパコンピュータまで、異なるモデルサイズ間で一貫して機能し、コンピュータの再学習を必要としません。これは、高度なシステムを日常的なデバイスに展開するための実用的な道筋を提供し、高解像度の画像や長い会話に対しても、処理能力が尽きることなく対応できるようにするものです。