💻 computer science

RaysUp: Ultra-light Universal Feature Upsampling via Geometry-Aware Ray Representation

RaysUpは、幾何学を考慮したレイ表現と6次元プリュッカー座標を活用することで、既存の手法と比較して大幅に向上した効率性を実現しながら、学習済みビジョン基盤モデルから高解像度特徴マップを再構成する、超軽量かつタスクに依存しないフレームワークである。

原著者： Yuchuan Ding, Linfei Li, Lin Zhang, Ying Shen

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuchuan Ding, Linfei Li, Lin Zhang, Ying Shen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

高解像度で非常に鮮明な都市の写真があると想像してください。次に、その写真を「ビジョン基盤モデル（Vision Foundation Model）」と呼ばれる超スマートなAIの脳に読み込ませて、そこに何が写っているかを理解させるとします。問題は、このAIの脳は写真をピクセル単位では見ないということです。代わりに、写真を図形的な「パッチ（塊）」として捉えます（例えるなら、大きな窓越しに街を眺めているような状態です）。AIは街の意味（例：「あれは公園だ」「あれは超高層ビルだ」）を完璧に理解していますが、細部のディテールを見失ってしまいます。その結果、出力されるのは、街の意味だけが伝わる、ぼやけた低解像度のマップになります。

もし、このAIを使って、すべての車の正確な輪郭を描いたり、建物の正確な奥行きを測定したりしたい場合、そのぼやけたマップでは不十分です。「ズームイン」して、失われた詳細を補完する必要があります。

RaysUpは、まさにこの問題を解決するために設計された、超軽量の新しいツールです。RaysUpは、そのぼやけた塊状のAIマップを受け取り、元の意味を損なうことなく、コンピューターに負荷をかけることもなく、高精細なバージョンへと再構成します。

仕組みを、簡単な例えを用いて説明します。

1. 旧来の手法の問題点

従来のツールは、主に2つの方法でぼやけを修正しようとしてきました。

「引き伸ばし」法（バイリニア補間）: 低解像度の画像を画面上で引き伸ばすようなものです。高速ですが、エッジがぼやけてしまい、物の「形」が失われてしまいます。
「重機」法（旧式のアップサンプラー）: これらは、ゼロから絵を描き直そうとする、巨大で複雑な工場のようです。うまく機能しますが、動作が重く、計算量が多く、使用するAIの種類が変わるたびに再学習が必要になることがよくあります。

2. RaysUpの解決策：「レイ・ガン（光線銃）」

RaysUpは、全く異なるアプローチを取ります。2Dの正方形（平らな画面上のピクセルのようなもの）として考えるのではなく、3Dのレイ（光線）（カメラから放たれる光のビームのようなもの）として考えます。

RaysUpが駆使する3つの魔法のテクニックを紹介します。

A. 「方向の探偵」（空間的に分離されたガイダンス・エンコーダー）

ぼやけたスケッチをもとに建物を描こうとしている場面を想像してください。従来のツールは、画像全体を一度に見てしまいます。しかし、RaysUpには特別な「探偵」が備わっており、上下、左右、そして斜めという4つの特定の方向を同時に観察します。

なぜか？ 研究によると、標準的なAIツールは、角の部分に集中しすぎて中心部の形状を見落としがちであることが判明しました。仕事をこれら4つの方向の「レーン」に分割することで、重くて複雑な脳を持たなくても、構造を極めて正確に捉えることができます。これは、一人の汎用的な芸術家に頼るのではなく、一つの絵に対して4人の専門の絵師を配置するようなものです。

B. 「3Dコンパス」（レイ位置エンコーディング / RayPE）

これが最もユニークな部分です。あなたが野原に立って山を見ていると想像してください。2Dの視点では2本の木が近くに見えても、3D空間では離れているかもしれません。

従来のツールは、画面上で隣り合っているピクセルは、現実世界でも隣同士であると仮定します。これが、エッジ（例：空を背景にした建物の端）におけるエラーの原因となります。
RaysUpは「3Dコンパス」を使用します。カメラから各点への正確な角度と方向（「レイ」）を計算します。画像を単なる平らな紙としてではなく、光のビームの集合体として扱うのです。これにより、建物のエッジにあるピクセルが、たとえ画面上で隣接していても、空にあるピクセルとは幾何学的に異なるものであることを理解できます。これによって、エッジは鋭くなり、形状は正確に保たれます。

C. 「スマートな近隣領域」（幾何学を考慮した近傍アテンション）

RaysUpが3Dコンパスと方向のヒントを得たら、次に足りない詳細を埋める必要があります。画像全体から一致する場所を探す（これは非常に時間がかかる作業です）代わりに、修正しようとしている点の**すぐ近くの範囲（近傍）**だけを見ます。

「3Dの角度と方向に基づくと、元のぼやけたマップのどの近くのピクセルから情報を借りるべきか？」と問いかけます。
これを非常に高速かつ効率的に行うことで、新しいディテールが元の幾何学的構造に完璧に適合するようにします。

結果：高速、軽量、そして鮮明

論文によれば、RaysUpは以下の理由からゲームチェンジャーとなります。

超軽量: 現在の最高峰のツール（AnyUp）が必要とするコンピューターメモリ（パラメータ）のわずか**16%**しか使用しません。重いトラックから、洗練されたスポーツカーへアップグレードするようなものです。
超高速: 競合ツールよりも約7倍速く動作します。
どこでも使える: 使用しているAIの種類（DINO、CLIPなど）を問いません。再学習なしで、あらゆるAIと連携できます。
高精度: 物体の境界検出、奥行き測定、ビデオセグメンテーションのテストにおいて、重くて遅い手法よりも鋭く、正確な結果を出しました。

要約すると： RaysUpは、現代のAIが生み出す「ぼやけた意味」を受け取り、平面的なピクセルから推測するのではなく、光線の3D幾何学を理解することで、それを再び「鮮明で詳細な画像」へと変える、小さく、速く、賢いツールなのです。

技術要約: RaysUp: 幾何学を考慮したレイ表現による超軽量・汎用的な特徴量アップサンプリング

1. 問題提起

DINO、CLIP、SigLIPファミリーなどの学習済みビジョン基盤モデル（VFM）は、その強力な意味的表現と汎化能力により、現代のコンピュータビジョンの中心となっています。しかし、これらのモデルはパッチ化や積極的なプーリング操作により、通常、低解像度の特徴マップを出力します。この制限は、セマンティックセグメンテーション、深度推定、3D再構成といった、きめ細かなピクセルレベルの推論を必要とする高密度予測タスクにおける有効性を妨げます。

既存の特徴量アップサンプリング手法は、以下のような重大なトレードオフに直面しています：

従来の補間法: バイリニア補間などの手法は計算効率は高いものの、意味的な忠実度を低下させることが多く、境界のぼけや細部の消失を招きます。
学習型アップサンプリング: 最近のタスク非依存の手法（LiFT, FeatUp, LoftUp, JAFARなど）は性能を向上させますが、特定のVFMに対して再学習が必要であったり、推論時に重い計算オーバーヘッドが発生したりすることがあります。
汎用的なアプローチ: AnyUpのような最近の研究は、エンコーダに依存しないフレームワークを試みていますが、重厚なネットワークアーキテクチャに依存しており、パラメータ数が増大し推論速度が低下するため、スケーラビリティと効率性に制限があります。

2. 手法

著者らは、RaysUpを提案します。これは、幾何学を考慮したレイ（光線）ドメインへと特徴量再構成を昇華させることで、任意の解像度において高解像度の特徴マップを再構成する、超軽量かつタスク非依存・VFM非依存のフレームワークです。そのアーキテクチャは、以下の4つのコアコンポーネントで構成されています。

2.1 空間的に分離されたガイダンスエンコーダ (Spatially Decoupled Guidance Encoder)

既存のアップサンプラーにおける標準的な $3 \times 3$ 畳み込みカーネルが、異方的な重み分布（中心よりも角を優先する傾向）を持つという観察に基づき、RaysUpは特徴抽出を直交する方向成分へと分解する軽量なエンコーダを導入しています。

構造: このエンコーダは、ガイダンス特徴生成を4つの並列ブランチ（ $1 \times 1$ 畳み込み（中心）、 $1 \times 3$ （水平）、 $3 \times 1$ （垂直）、および $2 \times 2$ 拡張畳み込み（対角/角））に分割します。
効率性: この設計により、標準的な $3 \times 3$ 畳み込みと比較してパラメータオーバーヘッドを約69.4%削減しつつ、方向の解釈性と構造的な分離を強化しています。
出力: これにより、生のRGBの差分よりも効果的にマルチスケールの空間意味を捉える、方向を考慮したガイダンス特徴（ $F_g$ ）を生成します。

2.2 任意解像度クロスアテンション機構 (Any-Resolution Cross-Attention Mechanism)

再学習なしで任意のターゲット解像度をサポートするために、RaysUpは解像度から分離されたクロスアテンションメカニズムを採用しています。

クエリ ( $Q_g$ ): ガイダンス特徴の適応型平均プーリングを介して、ターゲットの高解像度（ $H_{any} \times W_{any}$ ）で生成されます。
キー ( $K_g$ ): バックボーンの低解像度（ $H_{lr} \times W_{lr}$ ）の適応型平均プーリングを介して生成されます。
バリュー ( $V$ ): 低解像度のVFM特徴から直接取得されます。
機能: これにより、高解像度のクエリが、明示的な補間を行うことなく、意味的に整合した低解像度の特徴から情報を集約することを可能にし、柔軟なクロス解像度伝播を実現します。

2.3 レイ位置エンコーディング (Ray Positional Encoding: RayPE)

2Dの局所的な近傍関係の限界を克服し、3D幾何学的事前知識を注入するために、RaysUpはNeural Radiance Fields (NeRF) に着想を得たRayPEを導入しています。

概念: 2Dのユークリッド距離に依存する代わりに、各ピクセルは原点 ( $o$ ) と正規化された方向 ( $d$ ) で定義される3Dカメラレイに関連付けられます。
エンコーディング: レイのパラメータは6Dプルーック座標（Plücker coordinates）を用いてエンコードされます。マルチバンド調和位相エンコーディングが、これらの座標を高次元の回転空間へとマッピングします。
変調: 回転位置エンコーディング（RoPE）と同様に、RayPEは3Dレイの幾何学に基づいてクエリおよびキーの特徴に対して回転変調を適用します。これにより、特徴の集約が角度の一貫性と基礎となる3D構造を尊重することを保証し、幾何学的に無関係なレイ間の相互作用を防ぎます。

2.4 幾何学を考慮した近傍クロスアテンション (Geometry-Aware Neighborhood Cross-Attention)

最終的な再構成ステップでは、学習可能なバイラテラル集約演算を使用します。

メカニズム: グローバルなアテンションの代わりに、各高解像度クエリは、低解像度特徴空間内の局所的な $k \times k$ 近傍から情報を集約します。
拡張 (Dilation): 解像度のギャップを埋めるため、近傍はアップサンプリング比率に基づいた拡張係数を用いて定義されます。
利点: これにより、アテンションが類似した向きを持つレイの間で行われることが保証され、幾何学的一貫性を維持しながら、計算量をグローバルな $O(H_{any}W_{any} \cdot H_{lr}W_{lr})$ からローカルな $O(H_{any}W_{any} \cdot k^2)$ へと削減します。

3. 主な貢献

RaysUpフレームワーク: 任意の解像度に対してバックボーンの特徴量をアップサンプリング可能な、超軽量（0.14Mパラメータ）、タスク非依存、かつVFM非依存のフレームワーク。
空間的に分離されたガイダンスエンコーダ: 標準的な畳み込みと比較してパラメータを約69%削減しつつ、異方性モデリングを強化する新しいエンコーダ設計。
レイ位置エンコーディング (RayPE): 6Dプルーックレイ座標を介して暗黙的な3D幾何学的事前知識を注入する手法。これは、古典的な結合バイラテラルアップサンプリング（JBU）を、構造的なドリフトや境界のぼけを軽減する幾何学を考慮した再構成プロセスへと拡張するものです。
効率性と性能: フレームワークは、主要なベースライン（AnyUp）の約16%のパラメータのみを使用しながら、多様な高密度予測タスクにおいて最先端の性能を達成し、約7倍高速な推論を実現しています。

4. 実験結果

多様なデータセット（COCO-Stuff, ADE20K, Pascal-VOC, Cityscapes, NYUv2, DAVIS）および様々なVFM（DINOv2, DINOv3, SigLIP2, PE Spatial）を用いて広範な実験が行われました。

タスク非依存の性能: RaysUpは、セマンティックセグメンテーション、深度推定、表面法線推定、ビデオオブジェクトセグメンテーション、およびオープンボキャブラリセグメンテーションのほとんどの指標において、最高または2番目に優れた性能を達成しました。特に、深度および法線推定タスクにおいて優れた幾何学的一貫性を示しました。
VFM非依存の汎化性能: 未知のVFM（DINOv3やSigLIP2を含む）および異なるモデルスケール（ViT-S, ViT-M, ViT-L）に対してテストした際、RaysUpは再学習なしでAnyUpを一貫して上回り、強力な汎化性能を実証しました。
効率性:
- パラメータ数: 0.14M（AnyUpの0.87Mに対し）。
- 推論速度: 224×224解像度において、RaysUpは55 FPSを達成（AnyUpの11 FPSと比較）。
- スケーラビリティ: RaysUpは、他の手法（LoftUp, JAFAR, AnyUp）がメモリ不足（OOM）や大幅な速度低下に陥るような極端な高解像度（2K×2K）でも動作可能です。
アブレーション研究: 実験により、空間的に分離されたガイダンスエンコーダとRayPEの必要性が確認されました。RayPEを除去すると大幅な性能低下が見られ、3D幾何学的事前知識の重要性が検証されました。

5. 意義と主張

本論文は、RaysUpが汎用的な特徴量アップサンプリングにおける精度と効率のトレードオフの新たな基準を確立すると主張しています。古典的な結合バイラテラルアップサンプリングのパラダイムを再検討し、それを幾何学を考慮したレイ表現によって再定式化することで、RaysUpは高い意味的忠実度、幾何学的一貫性、および計算効率を巧みに両立させています。

著者らは、RaysUpを現代のコンピュータビジョン・パイプラインにおける実用的かつスケーラブルなソリューションとして位置付けています。これにより、重いアップサンプリングネットワークの計算負荷を負うことなく、高解像度のピクセルレベルの理解を必要とするダウンストリームタスクにおいて、凍結された、あるいはファインチューニングされたVFMを利用することが可能になります。本研究は、2D特徴量アップサンプリングに3D幾何学的事前知識（レイ表現を介したもの）を統合することが、構造的な忠実度の向上と、高密度予測タスクにおけるアーティファクトの低減に向けた重要なステップであることを強調しています。