💻 computer science

RaysUp: Ultra-light Universal Feature Upsampling via Geometry-Aware Ray Representation

RaysUp 是一个超轻量级、任务无关的框架，它通过利用几何感知射线表示和 6D 普吕克坐标（Plücker coordinates）来从预训练的视觉基础模型中重建高分辨率特征图，从而以显著优于现有方法的效率实现最先进的性能。

原作者： Yuchuan Ding, Linfei Li, Lin Zhang, Ying Shen

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuchuan Ding, Linfei Li, Lin Zhang, Ying Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一张分辨率极高、清晰无比的城市照片。现在，想象你把这张照片喂给了一个超级聪明的 AI 大脑（称为视觉基础模型，Vision Foundation Model）来理解其中的内容。问题在于，这个 AI 大脑并不以像素为单位观察照片，而是以巨大的、块状的“补丁”（patches）来观察（就像通过一系列大型窗户观察城市一样）。它能完美理解城市的“含义”（例如：“那是公园”、“那是摩天大楼”），但它丢失了所有的精细细节。其输出结果是一张模糊、低分辨率的城市含义图。

如果你想利用这个 AI 来做一些事情，比如在每辆车周围画出精确的轮廓，或者测量一栋建筑的确切深度，那么这张模糊的地图是不够用的。你需要“放大”并填补缺失的细节。

RaysUp 是一个全新的、超轻量级的工具，旨在解决这个精确的问题。它能将那张模糊、块状的 AI 地图重建为高清版本，且不会丢失原始含义，也不会拖慢你的电脑速度。

以下是它的工作原理，我们使用简单的类比：

1. 旧方法的缺陷

以前的工具尝试通过两种方式修复模糊问题：

“拉伸”法（双线性插值，Bilinear Interpolation）： 就像在屏幕上拉伸一张低分辨率图像。它很快，但边缘会变得模糊，并且你会丢失物体的“形状”。
“重型机器”法（旧的放大器）： 这些像是庞大、复杂的工厂，试图从头开始重新学习如何绘制图像。它们效果很好，但速度慢、体积大，而且通常需要针对你使用的每种不同类型的 AI 大脑进行重新训练。

2. RaysUp 的解决方案：“射线枪”

RaysUp 采取了一种完全不同的方法。它不再以 2D 方块的形式思考（像平面屏幕上的像素），而是以 3D 射线（3D rays）的形式思考（像从摄像机射出的光束）。

这里有三个 RaysUp 使用的“魔法技巧”：

A. “方向侦探”（空间解耦引导编码器，Spatially Decoupled Guidance Encoder）

想象你正试图根据一张模糊的草图来画出一栋建筑。旧工具只是同时观察整张图片。而 RaysUp 则拥有一个特殊的“侦探”，它同时从四个特定方向观察图片：上/下、左/右以及对角线。

为什么？ 研究发现，标准的 AI 工具往往在关注角落的同时忽略了形状的中心。通过将任务分解为这四个方向的“车道”，RaysUp 能够更准确地捕捉结构，而不需要一个沉重、复杂的脑子。这就像是有四位专门的艺术家在合作完成一幅画，而不是一位全才。

B. “3D 指南针”（射线位置编码 / RayPE）

这是最独特的部分。想象你站在一片旷野中看一座山。在你的 2D 视角中，两棵树看起来可能靠得很近，但在 3D 空间中，它们可能离得很远。

旧工具假设如果两个像素在屏幕上相邻，那么它们在现实世界中也是邻居。这会导致边缘出现错误（例如建筑物的边缘与天空交界处）。
RaysUp 使用了一个“3D 指南针”。它计算从摄像机到每个点的精确角度和方向（即“射线”）。它不把图像视为一张平面的纸，而是将其视为一组光束的集合。这让它能够知道，即使一个像素在屏幕上紧挨着另一个像素，建筑边缘的像素在几何上也与天空的像素截然不同。这保证了边缘的锐利度和形状的正确性。

C. “智能邻里”（几何感知注意机制，Geometry-Aware Neighborhood Attention）

一旦 RaysUp 拥有了它的 3D 指南针和方向线索，它就需要填补缺失的细节。它不会为了寻找匹配项而观察整个图像（这样很慢），而是只观察它试图修复的点周围的直接邻域。

它会询问：“基于 3D 角度和方向，我应该从原始模糊地图中的哪些附近像素中借鉴信息？”
它执行得非常快速且高效，确保新细节与原始几何结构完美契合。

结果：快速、轻量且清晰

论文声称 RaysUp 是一个游戏规则改变者，因为：

它是超轻量级的： 它使用的计算资源（参数）仅为当前最佳工具（AnyUp）的 16%。这就像是从重型卡车升级到了流线型的跑车。
它速度极快： 它比竞争对手快约 7 倍。
它无处不在： 它不在乎你正在使用哪种 AI 大脑（如 DINO, CLIP 等）。它可以配合任何大脑工作，无需重新训练。
它很精确： 在涉及寻找物体边界、测量深度和分割视频的测试中，它比那些沉重、缓慢的方法产生了更清晰、更准确的结果。

简而言之： RaysUp 是一个微小、快速且聪明的工具，它通过理解光线的 3D 几何结构，而不是仅仅基于扁平像素进行猜测，将现代 AI 的“模糊含义”转化回“清晰、详细的图像”。

技术摘要：RaysUp：基于几何感知射线表示的超轻量级通用特征上采样

1. 问题陈述

预训练视觉基础模型（VFMs），如 DINO、CLIP 和 SigLIP 系列，由于其强大的语义表示和泛化能力，已成为现代计算机视觉的核心。然而，这些模型通常由于分块（patchification）或激进的池化操作，输出低分辨率的特征图。这一局限性阻碍了它们在需要细粒度像素级推理的任务（如语义分割、深度估计和 3D 重建）中的有效性。

现有的特征上采样方法面临显著的权衡：

传统插值： 如双线性插值等方法虽然计算效率高，但往往会降低语义保真度，导致边界模糊和细节丢失。
学习型上采样： 最近的任务无关方法（如 LiFT、FeatUp、LoftUp、JAFAR）虽然提高了性能，但通常需要针对特定 VFM 进行重新训练，或者在推理时产生沉重的计算开销。
通用方法： 虽然像 AnyUp 这样的近期工作试图创建编码器无关的框架，但它们依赖于沉重的网络架构，导致参数量高且推理速度慢，限制了可扩展性和效率。

2. 方法论

作者提出了 RaysUp，一个超轻量级、任务无关且 VFM 无关的框架，通过将特征重建提升到几何感知射线域，在任意分辨率下重建高分辨率特征图。该架构由四个核心组件组成：

2.1 空间解耦引导编码器

受现有上采样器中标准 $3 \times 3$ 卷积核表现出各向异性权重分布（偏向角落而非中心）的观察启发，RaysUp 引入了一个轻量级编码器，将特征提取分解为正交的方向分量。

结构： 该编码器将引导特征生成拆分为四个并行分支： $1 \times 1$ 卷积（中心）、 $1 \times 3$ （水平）、 $3 \times 1$ （垂直）以及 $2 \times 2$ 空洞卷积（对角线/角落）。
效率： 与标准 $3 \times 3$ 卷积相比，该设计减少了约 69.4% 的参数开销，同时增强了方向解释性和结构解耦能力。
输出： 它生成方向感知的引导特征 ( $F_g$ )，相比原始 RGB 差异，能更有效地捕捉多尺度空间语义。

2.2 任意分辨率交叉注意力机制

为了支持无需重新训练的任意目标分辨率，RaysUp 采用了分辨率解耦的交叉注意力机制。

查询 ( $Q_g$ )： 通过对引导特征进行自适应平均池化，在目标高分辨率 ( $H_{any} \times W_{any}$ ) 下生成。
键 ( $K_g$ )： 通过对骨干低分辨率特征进行自适应平均池化，在低分辨率 ( $H_{lr} \times W_{lr}$ ) 下生成。
值 ( $V$ )： 直接取自低分辨率 VFM 特征。
功能： 这使得高分辨率查询能够在不进行显式插值的情况下，聚合来自语义对齐的低分辨率特征，从而实现灵活的跨分辨率传播。

2.3 射线位置编码 (RayPE)

为了克服 2D 局部邻域的局限性并注入 3D 几何先验，RaysUp 引入了受神经辐射场（NeRF）启发的 RayPE。

概念： 不同于依赖 2D 欧几里得邻近性，每个像素都与由起点 ( $o$ ) 和归一化方向 ( $d$ ) 定义的 3D 相机射线相关联。
编码： 射线参数使用 6D Plücker 坐标进行编码。多带谐波相位编码将这些坐标映射到高维旋转空间。
调制： 与旋转位置嵌入（RoPE）类似，RayPE 根据 3D 射线几何对查询和键特征进行旋转调制。这确保了特征聚合遵循角度一致性和潜在的 3D 结构，防止了在几何上无关的射线之间发生交互。

2.4 几何感知领域交叉注意力

最后的重建步骤利用了一个可学习的双边聚合算子。

机制： 该算子并非执行全局注意力，而是让每个高分辨率查询从低分辨率特征空间中的一个局部 $k \times k$ 邻域内聚合信息。
空洞化： 为了弥合分辨率差距，该邻域根据上采样比例定义了空洞因子。
优势： 这确保了注意力是在具有相似方向的射线之间进行的，在保持几何一致性的同时，将计算复杂度从全局的 $O(H_{any}W_{any} \cdot H_{lr}W_{lr})$ 降低到局部的 $O(H_{any}W_{any} \cdot k^2)$ 。

3. 核心贡献

RaysUp 框架： 一个超轻量级（0.14M 参数）、任务无关且 VFM 无关的框架，能够将骨干特征上采样至任意分辨率。
空间解耦引导编码器： 一种新型编码器设计，增强了各向异性建模，并比标准卷积减少了约 69% 的参数。
射线位置编码 (RayPE)： 一种通过 6D Plücker 射线坐标注入隐式 3D 几何先验的方法，将经典的联合双边上采样（JBU）扩展为几何感知的重建过程，从而减轻结构漂移和边界模糊。
效率与性能： 该框架在多种密集预测任务中实现了最先进的性能，且仅使用了领先基准模型（AnyUp）约 16% 的参数，并提供了约 7 倍的推理加速。

4. 实验结果

在多样化的数据集（COCO-Stuff, ADE20K, Pascal-VOC, Cityscapes, NYUv2, DAVIS）和多种 VFM（DINOv2, DINOv3, SigLIP2, PE Spatial）上进行了广泛的实验。

任务无关性能： RaysUp 在语义分割、深度估计、表面法线估计、视频对象分割和开放词汇分割的大多数指标上取得了最好或第二好的性能。值得注意的是，它在深度和法线估计任务中展现出了卓越的几何一致性。
VFM 无关的泛化能力： 在测试未见过的 VFM（包括 DINOv3 和 SigLIP2）以及不同模型规模（ViT-S, ViT-M, ViT-L）时，RaysUp 始终优于 AnyUp，展示了无需重新训练的鲁棒泛化能力。
效率：
- 参数量： 0.14M（对比 AnyUp 的 0.87M）。
- 推理速度： 在 224×224 分辨率下，RaysUp 实现 55 FPS，而 AnyUp 为 11 FPS。
- 可扩展性： 当面对极端分辨率（2K×2K）时，RaysUp 仍能运行，而其他方法（LoftUp, JAFER, AnyUp）会遇到显存溢出（OOM）或显著减速。
消融研究： 实验证实了空间解耦引导编码器和 RayPE 的必要性。移除 RayPE 会导致性能显著下降，验证了 3D 几何先验的重要性。

5. 重要性与主张

论文声称 RaysUp 建立了通用特征上采样领域中精度与效率权衡的新标准。通过重新审视经典的联合双边上采样范式并利用几何感知射线表示进行重构，RaysUp 成功平衡了高语义保真度、几何一致性和计算效率。

作者将 RaysUp 定位为现代计算机视觉流水线中一种实用且可扩展的解决方案，使使用冻结或微调后的 VFM 处理需要高分辨率、像素级理解的下游任务变得更加容易，且不会带来沉重的计算负担。这项工作强调了将 3D 几何先验（通过射线表示）集成到 2D 特征上采样中，是提高结构保真度并减少密集预测任务中伪影的关键一步。