기술 요약: OrientSAM

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 **관점 변환(perspective transformation)**이 필요한 공간 추론 작업에서 상당한 한계를 보입니다. 현재의 모델들은 카메라 뷰에서 직접적으로 해석 가능한 작업에는 우수한 성능을 보이지만, 정답이 이미지 평면(자기중심적 추론, egocentric reasoning)이 아닌 참조 객체의 로컬 뷰포인트(배경 중심 추론, allocentric reasoning)에 의존하는 경우에는 어려움을 겪습니다.

저자들은 이를 **"카메라 중심 지름길(camera-centric shortcut)"**이라 명명된 특정 실패 모드로 규정합니다. 참조 객체의 로컬 프레임에 의해 정의된 공간 관계가 이미지 평면의 수평적 배치와 충돌하는 시나리오에서, MLLM은 일관되게 카메라 중심의 단서로 회귀합니다. 논문은 이러한 지름길이 단순히 일반적인 공간 추론 능력의 결핍이 아니라, 참조 객체의 방향성과 밀접하게 결결되어 있음을 입증합니다. 구체적으로, 모델은 참조 객체의 향하는 방향이 카메라의 시점과 달라질 때 필요한 참조 프레임 변환을 수행하지 못하며, 이는 모델의 표현 체계 내에 명시적인 방향성 모델링이 부족함을 나타냅니다.

방법론: OrientSAM

이를 해결하기 위해 저자들은 OrientSAM(Orientation-aware Spatial Alignment)을 제안합니다. 이 프레임워크는 명시적인 방향 정보를 멀티모달 표현에 주입하고 이를 다운스트림 공간 추론과 정렬하도록 설계되었습니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다.

1. 다중 전문가 공간 데이터 구축 (Multi-Expert Spatial Data Construction)

대규모의 방향 인식 공간 감독 데이터가 부족하기 때문에, 저자들은 대규모 2D 이미지로부터 학습 데이터를 자동으로 생성하는 파이프라인을 구축했습니다. 이 파이프라인은 다음을 통합합니다:

• 리전 그라운딩(Region Grounding): GroundingDINO 및 SAM과 같은 모델을 사용하여 객체의 바운딩 박스와 세그멘테이션 마스크를 추출합니다.
• 단안 기하학 추정(Monocular Geometry Estimation): 깊이 맵(depth maps)과 카메라 내부 파라미터(intrinsics)를 추정하여 인스턴스 수준의 깊이를 도출합니다.
• 방향 예측(Orientation Prediction): 방향 추정 모델을 사용하여 각 객체의 의미론적 향함 방향(극각, 방위각, 회전각)을 예측합니다.
• 커리큘럼 구성(Curriculum Organization): 데이터는 신뢰도에 따라 필터링되며 두 단계로 구성됩니다: 방향 인지 단계(안정적인 방향 프리미티브 학습)와 관계 추론 단계(참조 프레임 변환 학습).

2. 방향 인식 표현 (Orientation-Aware Representation)

OrientSAM은 방향을 단순한 텍스트 힌트로 취급하는 것을 넘어, 명시적으로 객체의 방향을 멀티모달 입력 공간에 인코딩합니다.

• 푸리에 기반 각도 인코딩(Fourier-Based Angle Encoding): 각도의 주기적 특성($0^\circ$와 $360^\circ$가 동일함)을 처리하기 위해, 저자들은 직접적인 스칼라 회귀 대신 푸리에 특징 인코딩($\gamma(\phi)$)을 채택합니다.
• 토큰 주입(Token Injection): 인코딩된 방향은 시각 및 텍스트 표현 모두에 주입됩니다:
  • 시각(Visual): 방향 인코딩이 투영되어 리전 수준의 RGB 특징에 더해집니다 ($\tilde{r}_i = r_i + W_o\gamma(\phi_i)$).
  • 텍스트(Textual): 객체 토큰이 동일한 인코딩으로 증강됩니다 ($\tilde{e}_i = \text{Embed}(t_i) + W_t\gamma(\phi_i)$).
• 구조화된 정렬(Structured Alignment): 모델은 외형($\langle r_{gbi} \rangle$), 깊이($\langle depth_i \rangle$), 방향($\langle orient_i \rangle$)을 위한 분리된 토큰을 사용합니다. 이를 통해 언어 모델이 단일 벡터로 붕괴되지 않고, 필요한 기하학적 단서에 동적으로 주의(attend)할 수 있도록 합니다.

3. 커리큘럼 학습 전략 (Curriculum Learning Strategy)

학습 과정은 안정적인 학습을 위해 점진적인 커리큘럼을 따릅나다:

• 1단계 (방향 인지): 모델은 개별 객체의 방위각을 예측하도록 학습되어, 시각적 외형과 의미론적 향함 방향 사이의 견고한 매핑을 구축합니다.
• 2단계 (방향 인식 추론): 모델은 구조화된 RGB-깊이-방향 토큰을 사용하여 참조 객체의 좌표계 하에서의 공간 관계를 예측하는 전체 관점 취하기(perspective-taking) 작업에 대해 학습됩니다. 이는 모델이 학습된 방향 사전 지식(priors)에 의존하도록 강제함으로써 카메라 중심의 지름길로 수렴하는 것을 방지합니다.

주요 기여

1. 진단 프레임워크: 저자들은 참조 중심 답변(객체의 관점에서의 정답)과 카메라 중심 답변(이미지 평면상의 관계)을 분리하는 통합 프레임워크를 도입합니다. 분석 결과, 현재의 MLLM은 특히 이 두 답변이 충돌할 때 강력한 카메라 중심 지름길을 보이며, 이 지름길의 강도는 참조 객체의 방향에 따라 달라짐을 밝혀냈습니다.
2. OrientSAM 프레임워크: 푸리에 기반 인코딩과 구조화된 토큰을 통해 멀티모달 표현에 명시적인 방향 사전 지식을 포함시키는 새로운 정렬 프레임워크를 제안하여, 참조 프레임 변환의 병목 현상을 해결합니다.
3. 데이터 구축 파이프라인: 대규모 2D 이미지로부터 방향 인식 공간 감독 정보를 생성하는 확장 가능한 다중 전문가 파이프라인을 구축하여, 수동 3D 주석 없이도 관점 취하기 작업을 위한 모델 학습을 가능하게 합니다.
4. 실증적 검증: 광범-한 실험을 통해 명시적인 방향 모델링이 견고한 배경 중심 추론(allocentric reasoning)에 필수적임을 입증했습니다.

실험 결과

OrientSAM은 Spatial-MM, ViewSpatial, 3DSRBench의 세 가지 벤치마크에서 평가되었습니다.

• 성능 향상: OrientSAM은 강력한 베이스라인들(LLaVA-v1.5, Qwen2.5-VL, Qwen3-VL, SpatialRGPT, APC-Vis 포함)을 일관되적으로 능가합니다.
  • Spatial-MM에서 비(非) 카메라 뷰 작업에 대해 **87.31%**의 정확도를 달성하여, 최상의 베이스라인(APC-Vis, 86.57%)을 크게 앞질렀습니다.
  • ViewSpatial에서 4개 서브태스크 중 3개에서 최고 성능(SOTA)을 기록했으며, 특히 사람 관점 상대 방향(person-view relative direction)에서 주목할 만한 격차(85.04% vs. APC-Vis의 72.57%)를 보였습니다.
  • 3DSRBench에서 방향 및 방향성(Orientation & Direction, 81.83%)과 다중 객체 관계(Multi-object Relation, 77.80%) 작업에서 선두를 차지했습니다.
• 절제 연구(Ablation Studies):
  • 방향 주입(Orientation Injection): 방향 브랜치를 제거하면 성능이 급격히 떨어집니다 (예: Spatial-MM 비 카메라 뷰 작업에서 87.31%에서 76.29%로 하락). 이는 데이터 미세 조정만으로는 불충분함을 확인시켜 줍니다.
  • 커리큘럼 학습: 커리큘럼 전략을 제거하면 성능이 감소하며, 이는 인지에서 추론으로 이어지는 점진적 학습이 안정성에 필수적임을 나타냅니다.
  • 인코딩 전략: 푸리에 기반 인코딩(특히 $N=2$)이 직접적인 스칼라 인코딩보다 우수한 성능을 보여, 각도의 주기성을 모델링할 필요성을 입증했습니다.
• 지름길 분석: 연구는 OrientSAM이 카메라 중심 지름길을 효과적으로 완화함을 확인합니다. 충돌 샘 샘플에서, 모델의 참조 중심 정답에 대한 일치도가 높아지는 반면 카메라 중심 단서에 대한 의존도는 낮아졌으며, 특히 기존 모델들이 실패했던 전방 및 후방 영역에서 그러한 경향이 뚜렷했습니다.

의의 및 주장

본 논문은 MLLM의 관점 인식 공간 추론의 주요 병목이 일반적인 시각적 인지나 일반적인 기하학적 단서의 부족이 아니라, 명시적인 방향 모델링의 부재라고 주장합니다.

저자들의 주장은 다음과 같습니다:

1. 카메라 중심 편향은 체계적임: 현재의 모델은 진정한 관점 취하기보다는 이미지 평면의 휴리스틱에 의존하며, 이러한 행동은 참조 객체의 방향이 카메라 뷰와 충돌할 때 더욱 악화됩니다.
2. 방향성은 누락된 귀납적 편향(Inductive Bias)임: 방향 사전 지식을 표현 공간에 명시적으로 주입함으로써, 모델은 공간 관계를 로컬 참조 프레임으로 변환하는 법을 배울 수 있으며, 이를 통해 견고한 배경 중심 추론이 가능해집니다.
3. 실질적 함의: 이 접근 방식은 인지-객체 협업 및 장면 이해와 같이, 추론이 카메라가 아닌 장면 내 엔티티의 시점에서 이루어져야 하는 임베디드 상호작용(embodied interaction) 분야에 매우 중요합니다.

저자들은 현재 프레임워크가 상위 전문가 모델(그라운딩, 깊이, 방향)의 품질에 의존하며 주로 좌/우 공간 추론에 집중되어 있다는 점을 인정하며, 향-후 연구에서는 더 풍부한 공간 관계를 다루고 외부 주석에 대한 의존도를 줄여야 한다고 언급하며 겸허한 태도를 유지하고 있습니다.