技術要約: RADIO1D: 凝縮されたビジョンモデリングのための弾力的な表現

1. 問題提起

現在のビジョン・ランゲージ・モデル（VLM）は、主に固定長かつ2Dグリッドベースのパッチ表現（例：CLIP、SigLIP、SigLIP2）を出力するビジョンエンコーダに依存しています。著者らは、これらの硬直した2D構造がVLMにとって最適であるという仮定に疑問を投げかけています。彼らの分析により、以下の2つの重要な問題が明らかになりました：

1. 空間的一貫性の喪失: VLMのファインチューニング中、ビジョン表現はますます抽象的になり、固有の空間的組織性を失います。
2. 固定グリッドの非効率性: 自然画像は強い空間相関を示すため、パッチベースの表現には著しい冗長性が含まれます。固定された2Dグリッドは、この構造を効率的に圧縮できず、シーケンス長や計算量の制約下において、劣悪なレート歪み特性（rate-distortion trade-offs）をもたらします。
3. 目的の不一致: SigLIP2のような対照学習モデルはテキストとの整合性は高いものの、密な空間的一貫性に欠けることがよくあります。逆に、DINOv3のような密なモデルは空間的一貫性を備えていますが、VLMのバックボーンとして採用されることは稀です。これは、生のテキスト整列（text-alignment）だけがVLMの成功の決定要因ではなく、「要約能力（summarization capability）」こそがより重要である可能性を示唆しています。

2. 手法: RADIO1D

著者らは、画像をコンパクトで可変長の1Dトークンシーケンスへと圧縮する手法であるRADIO1Dを提案しています。このアプローチは情報ボトルネックの原理に基づいており、表現の情報の不確実性（エントロピー）を最小限に抑えつつ、ターゲットタスクとの相互情報量を最大化することを目指しています。

コアアーキテクチャ

• 1D弾力性シーケンス: 固定された $N \times N$ グリッドを出力する標準的なViTとは異なり、RADIO1Dは $\ell$ 個のトークンからなるシーケンスを生成しますが、ここで $\ell$ は可変です。
• 階層的要約: 学習時の**ネストされたドロップアウト（nested dropout）**を通じて、モデルは初期のトークン（例：最初のトークン）にグローバルで高レベルな意味論を、後続のトークンに詳細な情報をエンコードすることを強制されます。これにより、モデルはわずか1つのトークンでも効果的に機能することができます。
• 学習用オートエンコーダ設計:
  • エンコーダ: 純粋な1Dエンコーダが平坦化された画像パッチを処理します。シーケンス長を短縮し埋め込み次元を増加させるために、**パッチマージング（Patch Merging/pixel unshuffling）**ブロックをバックボーンに直接統合しており、推論効率を向上させています。
  • デコーダ: 学習時のみ使用される軽量なVision Transformerです。可変長の1Dトークンと、複製された学習可能なクエリトークンのセットを受け取り、2Dパッチグリッドを再構成します。これにより、コアとなる1D表現に2D構造を強制することなく、2Dティーチャーモデルと整合させることが可能になります。
• マルチティーチャー知識蒸留: स्टूडنٹモデルは、複数の基盤モデル（SigLIP2、DINOv3、SAM3）からの集約的蒸留を通じて学習されます。アダプタが学生の機能をティーチャーの埋め込み空間に投影し、類似度損失（MSEまたはコサイン類似度）が計算されます。これにより、多様な視覚的知識（グローバルな整列、密な空間特徴、セグメンテーション概念）を統一された学生モデルへと集約します。

学習戦略

• 確率的スライシング（Stochastic Slicing）: 学習中、保持するトークン数を決定するために、分布（例：三角分布）から長さ $\ell$ がサンプリングされます。これにより、情報の階層的な順序付けが強制されます。
• ダウンスケーリングの統合: モデルは、事後的な操作に頼るのではなく、学習可能なパッチマージングを介して内部的に特徴量をダウンスケールすることを学習します。

3. 主な貢献

1. ビジョン特徴の分析: 本論文は、標準的なエンコーダのVLMファインチューニングが空間的一貫性を低下させることを示しています。また、画像・テキストが整列したモデル（SigLIP2など）は、画像内容を要約する一連の特化した「グローバル」トークンを自然に発達させることを特定しました。RADIO1Dはこの特性を明示的に活用しています。
2. RADIO1Dアーキテクチャ: マルチティーチャー蒸留とオートエンコーダのような学習ループを用いて、画像を柔軟な1Dシーケンスに圧縮する新しい手法を提案しました。
3. 強力な要約能力: モデルは非常に少ないトークン数（多くの場合、単一のトークン）で正確なシーン理解を達成しており、不可欠な視覚的内容の効果的な圧縮を実証しています。
4. 構成要素を考慮した検索メトリック: 画像検索において、単なる物体の存在だけでなく、空間的な配置（サイズと位置）も評価する新しい評価指標を導入し、RADIO1Dが標準的なエンコーダよりも優れていることを示しました。
5. 柔軟なVLM統合: RADIO1Dは、トークン数を調整することで精度と効率のトレードオフを自在に制御することを可能にし、計算負荷を抑えつつ多様なマルチモーダルベンチマークで競争力のある性能を提供します。

4. 実験結果

• 要約能力: ImageNet-1kにおいて、RADIO1Dの最初のトークンはk-NN Top-1精度で85.0%を達成し、最後のトークンを大幅に上回りました。ADE20Kセマンティックセグメンテーションでは、最初のトークンのみを使用した場合のmIoUは40.23であり、最後のトークンの8.05と比較して極めて高い値となりました。
• レート歪み性能: RADIO1Dは、すべてのトークン予算において、特に低レート領域（少ないトークン数）において、固定グリッドのベースライン（SigLIP2、DINOv3、C-RADIOv4）よりも一貫して低い歪みを示しました。
• VLM性能: 9B Nemotron LLMと組み合わせた場合、RADIO1Dのバリアントは、より少ないトークン数でありながらベースライン（SigLIP2、C-RADIOv4）を上回りました。
  • 1トークン: 10のVLMベンチマークにおいて平均精度51.5%を達成。
  • 128トークン: 平均精度71.64%を達成し、同等のトークン予算におけるC-RADIOv4+ToMe（70.31%）およびC-RADIOv4+CDPruner（69.05%）を凌駕。
  • 256トークン: 平均精度73.29%に達し、フル解像度のベースラインと同等の性能を発揮。
• タスクへの感度: モデルは包括的なタスク（例：MMMU、LongVideoBench）に対して強力な圧縮耐性を持ち、1トークンであっても性能低下は10%未満に抑えられています。しかし、密な読み取りタスク（OCR、DocVQA）においては、128トークンを下回ると性能が急激に低下し、微細なテキスト解像度には高い容量が必要であることを示しています。
• プルーニングとの比較: RADIO1Dは、同等のトークン予算において、推論時のトークンプルーニング手法（Token Merging、CDPruner）よりも優れた性能を示し、特に読み取りタスクにおける空間的な接地（grounding）の保持において優れています。
• 構成要素の検索（Composition Retrieval）: RADIO1Dは、MS-COCO（0.5158）およびnuImages（0.4294）において、構成要素ベースの検索スコア（Comp@1）で最高値を記録し、DINOv3、SigLIP2、C-RADIOv4を上回りました。

5. 重要性と主張

本論文は、弾力的で要約に焦点を当てた表現こそが、VLMが真に求める整列（alignment）であり、詳細な2D局所表現ではないと主張しています。固定された2Dグリッドを放棄し、可変長の1Dシーケンスを採用することで、RADIO1Dは以下を実現しました：

• 柔軟な精度・レイテンシのトレードオフ: トークン数を調整するだけで、様々な制約を持つハードウェアへの展開を可能にします。
• 計算オーバーヘッドの削減: マルチモーダルタスクの性能を維持または向上させつつ、計算コストを削減します。
• 新しいパラダイムの提示: 密なビジョン専門家モデルと、言語整列されたエンコーダの間の溝を埋める、新しいVLMバックボーンのパラダイムを提供します。

著者らは、本研究が固定パッチ特徴への依存に挑戦するものであり、将来のVLMは、硬直した空間グリッドよりも、階層的な要約と情報の圧縮を優先する表現から恩恵を受ける可能性があることを強調しています。モデルは寛容なライセンスの下で公開されています。