기술 요약: RaysUp: 기하학적 인식을 갖춘 레이(Ray) 표현을 통한 초경량 범용 특징 업샘플링

1. 문제 정의

DINO, CLIP, SigLIP 계열과 같은 사전 학습된 비전 파운데이션 모델(VFM)은 강력한 의미론적 표현과 일반화 능력 덕분에 현대 컴퓨터 비전의 중심이 되었습니다. 그러나 이러한 모델들은 패치화(patchification) 또는 공격적인 풀링 연산으로 인해 일반적으로 저해상도 특징 맵을 출력합니다. 이러한 한계는 의미론적 분할(semantic segmentation), 깊이 추정(depth estimation), 3D 재구성(3D reconstruction)과 같이 미세한 픽셀 수준의 추론을 요구하는 조밀한 예측(dense prediction) 작업에서 이들의 효과를 저해합니다.

기존의 특징 업샘플링 방식은 다음과 같은 상당한 트레이드오프에 직면해 있습니다:

• 전통적인 보간법(Traditional Interpolation): 쌍선형 보간법(bilinear interpolation)과 같은 방법은 계산 효율성은 높지만, 의미론적 충실도를 저하시켜 경계면의 흐림 현상과 세부 정보의 손실을 초래하는 경우가 많습니다.
• 학습된 업샘플링(Learned Upsampling): 최근의 태스크 불가지론적(task-agnostic) 방법들(예: LiFT, FeatUp, LoftUp, JAFAR)은 특정 VFM에 맞춰 재학습이 필요하거나 추론 시 과도한 계산 오버헤드를 발생시킵니다.
• 범용적 접근 방식(Universal Approaches): AnyUp과 같은 최근의 연구들은 인코더 불가지론적(encoder-agnostic) 프레임워크를 구축하려고 시도하지만, 무거운 네트워크 구조에 의존하여 높은 파라미터 수와 느린 추론 속도를 초래하며 확장성과 효율성을 제한합니다.

2. 방법론

저자들은 기하학적 인식을 갖춘 레이 도메인(ray domain)으로 특징 재구성을 격상시켜 임의의 해상도에서 고해상도 특징 맵을 재구성하는 초경량, 태스크 불가지론적, VFM 불가지론적 프레임워크인 RaysUp을 제안합니다. 이 아키텍처는 네 가지 핵심 구성 요소로 이루어져 있습니다:

2.1 공간적으로 분리된 가이드 인코더 (Spatially Decoupled Guidance Encoder)

기존 업샘플러의 표준 $3 \times 3$ 합성곱 커널이 이방성(anisotropic) 가중치 분포(중심보다 모서리를 선호함)를 보인다는 관찰에 착안하여, RaysUp은 특징 추출을 직교하는 방향 성분으로 분해하는 경량 인코더를 도입합니다.

• 구조: 인코더는 가이드 특징 생성을 $1 \times 1$ 합성곱(중심), $1 \times 3$(가로), $3 \times 1$(세로), 그리고 $2 \times 2$ 확장 합성곱(대각선/모서리)의 네 가지 병렬 브랜치로 분리합니다.
• 효림성: 이 설계는 표준 $3 \times 3$ 합성곱에 비해 파라미터 오버헤드를 약 69.4% 줄이는 동시에 방향성 해석력과 구조적 분리 능력을 향상시킵니다.
• 출력: 이는 원본 RGB 차이보다 더 효과적으로 다중 스케일 공간 의미론을 포착하는 방향 인식 가이드 특징($F_g$)을 생성합니다.

2.2 임의 해상도 교차 주의 메커니즘 (Any-Resolution Cross-Attention Mechanism)

재학습 없이 임의의 타겟 해상도를 지원하기 위해, RaysUp은 해상도 분리형 교차 주의 메커니즘을 채택합니다.

• 쿼리 ($Q_g$): 가이드 특징의 적응형 평균 풀링을 통해 타겟 고해상도($H_{any} \times W_{any}$)에서 생성됩니다.
• 키 ($K_g$): 백본 저해상도 특징의 적응형 평균 풀링을 통해 저해상도($H_{lr} \times W_{lr}$)에서 생성됩니다.
• 값 ($V$): 저해상도 VFM 특징에서 직접 가져옵니다.
• 기능: 이를 통해 고해상도 쿼리가 명시적인 보간 없이도 의미론적으로 정렬된 저해상도 특징으로부터 정보를 집계할 수 있게 하여, 유연한 교차 해상도 전파를 가능하게 합니다.

2.3 레이 위치 인코딩 (Ray Positional Encoding, RayPE)

2D 로컬 이웃의 한계를 극복하고 3D 기하학적 사전 지식을 주입하기 위해, RaysUp은 NeRF에서 영감을 받은 RayPE를 도입합니다.

• 개념: 2D 유클리드 근접성에 의존하는 대신, 각 픽셀은 기점($o$)과 정규화된 방향($d$)으로 정의되는 3D 카메라 레이(ray)와 연관됩니다.
• 인코딩: 레이 파라미터는 6D 플뤼거(Plücker) 좌표를 사용하여 인코딩됩니다. 멀티 밴드 하모닉 위상 인코딩은 이 좌표를 고차원 회전 공간으로 매핑합니다.
• 변조: RoPE(Rotary Positional Embedding)와 유사하게, RayPE는 3D 레이 기하학에 따라 쿼리와 키 특징에 회전 변조를 적용합니다. 이는 특징 집계가 각도 일관성과 기저의 3D 구조를 존중하도록 보장하며, 기하학적으로 관련 없는 레이 간의 상호작용을 방지합니다.

2.4 기하학적 인식을 갖춘 이웃 교차 주의 (Geometry-Aware Neighborhood Cross-Attention)

최종 재구성 단계에서는 학습 가능한 양방향 집계 연산자를 사용합니다.

• 메커니즘: 전역 주의(global attention) 대신, 각 고해상도 쿼리는 저해상도 특징 공간 내의 로컬 $k \times k$ 이웃으로부터 정보를 집계합니다.
• 확장(Dilation): 해상도 차이를 메우기 위해, 이웃은 업샘플링 비율에 따른 확장 계수(dilation factors)를 사용하여 정의됩니다.
• 이점: 이는 유사한 방향을 가진 레이들 사이에서 주의(attention)가 수행되도록 보장하여, 기하학적 일관성을 유지하면서 계산 복잡도를 전역 $O(H_{any}W_{any} \cdot H_{lr}W_{lr})$에서 로컬 $O(H_{any}W_{any} \cdot k^2)$로 줄여줍니다.

3. 주요 기여

1. RaysUp 프레임워크: 임의의 해상도로 백본 특징을 업샘플링할 수 있는 초경량(0.14M 파라미터), 태스크 불가지론적, VFM 불가지론적 프레임워크입니다.
2. 공간적으로 분리된 가이드 인코더: 이방성 모델링을 강화하고 표준 합성곱 대비 파라미터를 약 69% 줄이는 새로운 인코더 설계입니다.
3. 레이 위치 인코딩 (RayPE): 6D 플뤼거 레이 좌표를 통해 암시적인 3D 기하학적 사전 지식을 주입하는 방법으로, 고전적인 결합 양방향 업샘플링(JBU)을 기하학적 인식을 갖춘 재구성 과정으로 확장하여 구조적 드리프트와 경계 흐림 현상을 완화합니다.
4. 효율성 및 성능: 이 프레임워크는 밀집 예측 작업 전반에서 최첨단 성능을 달면서도 선도적인 베이스라인(AnyUp) 파라미터의 약 16%만을 사용하며, 약 7배 빠른 추론 속도를 제공합니다.

4. 실험 결과

다양한 데이터셋(COCO-Stuff, ADE20K, Pascal-VOC, Cityscapes, NYUv2, DAVIS)과 다양한 VFM(DINOv2, DINOv3, SigLIP2, PE Spatial)에 대해 광범위한 실험이 수행되었습니다.

• 태스크 불가지론적 성능: RaysUp은 의미론적 분할, 깊이 추정, 표면 법선 추정, 비디오 객체 분할 및 오픈 보캐블러리 분할의 대부분의 지표에서 최고 또는 차석의 성능을 달しました. 특히 깊이 및 법선 추정 작업에서 우수한 기하학적 일관성을 보여주었습니다.
• VFM 불가지론적 일반화: 미학습 VFM(DINOv3 및 SigLIP2 포함)과 다양한 모델 규모(ViT-S, ViT-M, ViT-L)에 대해 테스트했을 때, RaysUp은 재학습 없이도 AnyUp을 일관되게 능가하며 강력한 일반화 능력을 입증했습니다.
• 효율성:
  • 파라미터: 0.14M (AnyUp의 0.87M 대비)
  • 추론 속도: 224×224 해상도에서 RaysUp은 55 FPS를 달성하여 AnyUp의 11 FPS와 비교됩니다.
  • 확장성: RaysUp은 다른 방법들(LoftUp, JAFAR, AnyUp)이 메모리 부족(OOM) 오류나 심각한 속도 저하를 겪는 극한 해상도(2K×2K)에서도 실행 가능합니다.
• 절제 연구(Ablation Studies): 실험을 통해 공간적으로 분리된 가이드 인코더와 RayPE의 필요성을 확인했습니다. RayPE를 제거하면 성능이 크게 저하되어, 3D 기하학적 사전 지식의 중요성을 입증했습니다.

5. 의의 및 주장

본 논문은 RaysUp이 범용 특징 업샘플링의 정확도-효율성 트레이드오프에 대한 새로운 기준을 세운다고 주장합니다. 고전적인 결합 양방향 업샘플링 패러다임을 재검토하고 이를 기하학적 인식을 갖춘 레이 표현으로 재구성함으로써, RaysUp은 높은 의미론적 충실도, 기하학적 일관성 및 계산 효율성의 균형을 성공적으로 맞추었습니다.

저자들은 RaysUp을 현대 컴퓨터 비전 파이프라인을 위한 실용적이고 확장 가능한 솔루션으로 제시하며, 이를 통해 고해상도 픽셀 수준의 이해가 필요한 다운스트림 작업에서 무거운 업샘플링 네트워크의 계산 부담 없이 동결되거나 미세 조정된 VFM을 사용할 수 있게 합니다. 이 연구는 2D 특징 업샘플링에 3D 기하학적 사전 지식(레이 표현을 통해)을 통합하는 것이 구조적 충실도를 개선하고 밀집 예측 작업에서의 아티팩트를 줄이는 데 결정적인 단계임을 강조합니다.