💻 computer science

Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding

Qwen-3D는 3D 회전 위치 임베딩(3D Rotary Positional Embeddings)과 쿼리 기반 세그멘테이션 디코더를 활용하여 이미지와 비디오 전반에 걸쳐 공간 추론, 참조적 그라운딩(referential grounding), 인스턴스 세그멘테이션을 통합함으로써 언어와 조밀한 3D 기하학적 예측 사이의 간극을 효과적으로 메우고 기존의 전문 모델 및 독점 모델들을 능가하는 새로운 기하학 인식 대규모 멀티모달 모델입니다.

원저자: Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lucy Lin, Ayush Jain, Yifan Liu, Katerina Fragkiadaki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 세상을 보는 법을 가르치려 한다고 상상해 보세요. 오랫동안 이 로봇들은 카메라를 든 관광객과 같았습니다. 방 사진을 찍고 "저것은 의자입니다"라거나 "사람이 세 명 있습니다"라고 말할 수 있었죠. 이는 평면 사진이나 짧은 비디오 클립에는 아주 잘 작동합니다. 하지만 만약 당신이 로봇에게 집 전체를 걸어 다니며 주방에서, 복도에서, 그리고 침실에서 똑같은 의자를 바라본 뒤, 그 의자가 3D 공간의 정확히 어디에 있는지 말하라고 요구한다면 상황은 엉망이 됩니다. 로봇은 수천 개의 별개 2D 사진을 하나로 꿰어 맞추려고 애쓰기 때문에 혼란에 빠지게 되는데, 이는 마치 수천 장의 평면 엽서를 풀로 붙여서 집을 지으려는 것과 같습니다. 이는 느리고, 많은 뇌력을 소모하며, 실제 세상에서 사물이 실제로 어디에 있는지 놓치기 일쑤입니다.

이것이 바로 "3D 시각-언어 모델(3D Vision-Language Models)"의 과제입니다. 과학자들은 AI가 단순히 물체를 인식하는 것을 넘어, 인간의 지시를 들으면서 동시에 3D 환경 속에서 사물의 형태, 위치, 그리고 다른 모든 것과의 관계를 이해하도록 만들고 싶어 합니다. 핵심적인 질문은 이것입니다. 어떻게 하면 AI가 모든 각도에서 방을 바라보고, 레이아웃을 기억하며, 데이터의 바다에서 길을 잃지 않고 정확한 물체를 가리킬 수 있게 만들 것인가? 우리가 이 문제를 해결할 수 있다면, 로봇은 마침내 우리의 집을 돌아다니고, 잃어버린 열쇠를 찾는 것을 돕거나, 복잡한 건설 작업 보조 업무를 수행하며, 단순히 '보는' 수준을 넘어 주변 공간을 진정으로 '이해하는' 단계로 나아갈 수 있을 것입니다.

여기, 디지털 세계의 숙련된 설계자처럼 행동하는 카네기 멜론 대학교 연구진이 개발한 새로운 종류의 AI, Qwen-3D가 등장했습니다. Qwen-3D는 모든 비디오 프레임을 별개의 평면 사진으로 취급하는 대신, 아주 영리한 방식을 사용합니다. 바로 여러 각도의 뷰를 하나로 모아 하나의 지속적인 3D 지도로 "녹여내는" 것입니다. 만약 당신이 조각상을 여러 각도에서 찍은 사진들을 모아 즉각적으로 머릿속에서 회전하는 입체적인 조각상으로 융합할 수 있다면 어떨까요? 그것이 바로 이 모델이 시각 데이터로 하는 일입니다. 이 모델은 깊이 정보(사물이 얼마나 멀리 있는지)와 카메라 위치를 사용하여, 길고 구불구불한 비디오 스트림을 압축된 3D 표현으로 응축합니다. 이를 통해 AI는 한 번에 한 프레임씩에 갇히지 않고, 장면 전체에 대해 추론할 수 있게 됩니다.

논문은 기존의 AI에게 3D 기술을 가르치려 했던 시도들에 주요한 병목 현상이 있었다고 주장합니다. 이전 모델들은 3D 위치를 텍스트로 쓰거나(예: "의자는 좌표 1.2, 0.8, 0.9에 있다"), 미리 만들어진 가능한 물체 목록 중에서 선택하는 방식을 사용했습니다. 저자들은 이러한 방식이 마치 복잡한 그림을 설명하기 위해 제한된 세트의 이모지만 사용하거나, 미리 인쇄된 스티커 중 가장 잘 맞는 것을 골라 맞추려는 것과 같다고 제안합니다. 이는 매우 어색하고 비효율적인 소통 방식입니다. Qwen-3D는 AI의 "두뇌"(언어 추론)를 "손"(세그멘테이션 디코더)에 직접 연결함으로써 이 문제를 해결합니다. 좌표를 추측하는 대신, 침대 위의 베개든 거리의 신호등이든 사용자가 말하는 특정 부분의 정확한 형태를 강조하여 보여주는 법을 배웁니다.

결과는 꽤 인상적입니다. 다양한 벤치마크에서 테스트했을 때, Qwen-3D는 기존의 3D AI 모델들을 능가했으며 심지어 3D 공간을 이해하는 데 있어 몇몇 거대 상용 2D 모델들보다 뛰어난 성능을 보였습니다. 구체적으로, 연구진은 Qwen-3D가 기존의 최선책들과 비교했을 때 3D 시각적 접지(설명을 바탕으로 물체를 찾는 능력)를 4% 향상시켰고, 3D 인스턴스 세그멘테이션(장면에서 개별 물체를 분리하는 능력)을 13% 끌어올렸다는 것을 발견했습니다. 놀랍게게도, 이 모델은 2D 이미지와 비디오를 이해하는 능력을 잃지 않으면서 이 모든 것을 해냈으며, 이는 3D를 보는 법을 가르친다고 해서 2D를 보는 법을 잊게 만들 필요가 없음을 증명합니다.

하지만 저자들은 이것이 아직 모든 상황에 적용되는 마법의 해결책은 아니라는 점을 주의 깊게 언급합니다. 현재 이 모델은 세상이 대부분 정적이라는 것을 가정하고 있습니다. 따라서 자동차가 빠르게 지나가는 번화한 거리처럼 물체가 움직이거나 모양이 급격히 변하는 동적인 환경에서는 어려움을 겪습니다. 또한 외부 도구를 사용하여 깊이와 카메라 위치를 추정하는 것에 의존하기 때문에, 만약 초기 측정값이 틀리다면 AI의 이해도 약간 어긋날 수 있습니다. 이는 언어와 3D 지각 사이의 간극을 메우는 중요한 진전이지만, 연구진은 향후 작업이 이러한 움직이는 목표물들을 다루어야 하며, 아마도 스스로 기하학적 구조를 추정하는 법을 배워야 할 것이라고 제사합니다. 현재로서는 Qwen-3D가 더 나은 3D AI를 만드는 열쇠가 단순히 더 좋은 데이터가 아니라, AI가 보는 것과 말하는 방식을 더 스마트하게 연결하는 방법이라는 점을 시사하는 강력한 새로운 도구로 자리 잡고 있습니다.

기술 요약: Qwen-3D

1. 문제 정의

현재의 대규모 멀티모달 모델(LMM)은 이미지와 짧은 비디오 클립을 처리하는 데는 뛰어나지만, 길고 다중 뷰(multi-view)로 구성된 비디오 스트림을 처리하는 데는 어려움을 겪고 있습니다. 이러한 한계는 프레임 중심의 토큰화에 따른 어텐션 메커니즘의 이차적(quadratic) 계산 비용과 제한된 컨텍스트 윈도우에서 비롯되며, 이는 장기적인 시공간 추론을 방해합니다. 3D 기하학(깊이 및 카메라 포즈)은 시각적 스트림을 지속적이고 세계 정렬된 표현으로 압축할 수 있는 자연스러운 메커니즘을 제공하지만, 기존의 3D LMM들은 그라운딩(grounding) 및 세그멘테이션(segmentation) 작업에서 전문적인 3D 인지 시스템의 성능을 따라잡지 못하고 있습니다.

저자들은 기존 방식의 근본적인 병목 현상을 다음과 같이 식별했습니다: 기하학 인식 디코딩(geometry-aware decoding). 기존 방법들은 일반적으로 언어 토큰(자기회귀 생성), 제안 선택(proposal selection), 또는 경량화된 그라운딩 쿼리를 통해 3D 예측을 전달합니다. 이러한 인터페이스는 백본의 고용량 시각적 표현과 정밀한 3D 그라운딩에 필요한 조밀한 기하학적 예측 사이에서 심각한 정보 병목 현상을 야기합니다. 결과적으로, 기존 모델들이 높은 수준의 공간 추론 능력은 개선했을지라도, 객체 탐지 및 세그멘테이션과 같은 핵심 인지 작업에서는 전문 시스템보다 현저히 낮은 성능을 보입니다.

2. 방법론

Qwen-3D는 Qwen2.5-VL 백본을 기반으로 구축된 기하학 인식 3D 시각-언어 모델입니다. 이 모델은 세 가지 주요 구조적 혁신을 통해 식별된 병목 현상을 해결합니다.

A. 기하학 인식 장면 표현 (Geometry-Aware Scene Representation)

프레임 레벨의 토큰을 처리하는 대신, Qwen-3D는 다중 뷰 시각적 특징을 공유된 3D 세계 좌표계로 투영합니다.

프로세스: Qwen2.5-VL 비전 인코더를 사용하여 이미지 특징을 추출하고, 카메라 내부 파라미터(intrinsics)와 포즈를 사용하여 이를 세계 공간 좌표 $(x, y, z)$ 로 역투영(unproject)합니다.
압축: 뷰 간의 중복성을 처리하기 위해, 모델은 복셀 기반 토큰 병합(5cm 복셀 크기)을 적용합니다. 점유된 복셀 내의 특징과 좌표는 평균 풀링(mean-pooling)되어, 작고 정렬된 형태의 순서 없는 기하학적 토큰 집합이 됩니다. 이를 통해 공간적 일관성을 유지하면서 긴 다중 뷰 시퀀스에 대해 효율적인 추론이 가능해집니다.

B. 기하학 인식 시각-언어 어텐션 (Geometry-Aware Vision–Language Attention)

Qwen-3D는 어텐션 메커니즘이 2D 이미지 평면이 아닌 3D 세계 공간에서 직접 작동하도록 수정되었습니다.

3D 회전 위치 임베딩 (3D Rotary Positional Embeddings, 3D RoPE): 모델은 Qwen의 멀티모달 RoPE를 변형하여 시간적 위치와 함께 3D 공간 좌표 $(x, y, z)$ 를 인코딩합니다. 이를 통해 어텐션 메커니즘이 통합된 좌표계 내에서 서로 다른 뷰와 타임 스텝 간의 공간적 관계를 추론할 수 있게 합니다.
어텐션 마스킹 (Attention Masking): 텍스트에 사용되는 표준 자기회귀 인과적 마스킹(causal masking)과 달리, 모델은 시각적 토큰에 대해 **풀 어텐션(full attention)**을 적용합니다(포인트 클라우드는 순열 불변(permutation-invariant)이기 때문). 이는 백본의 원래 능력을 저하시키지 않으면서 3D 성능을 향상시킵
C. 기하학 인식 디코딩 (Geometry-Aware Decoding)
텍스트 기반 또는 쿼리 기반 디코딩의 정보 병목을 제거하기 위해, Qwen-3D는 언어 모델과 그라운딩 디코더가 조밀한 시각적 표현을 공유하는 통합 아키텍처를 도입합니다.
아키텍처: 백본으로부터 나온 문맥화된 시각-언어 토큰은 Mask2Former 스타일의 세그멘테이션 디코더로 직접 입력됩니다.
메커니즘: 학습 가능한 객체 쿼리(object queries)는 시각적 토큰과 언어 토큰 모두와 교차 어텐션(cross-attention)을 수행합니다. 이를 통해 쿼리는 전체 시각적 표현에 접근하는 동시에 장면의 기하학적 구조와 언어적 문맥을 공동으로 추론할 수 있습니다.
출력: 디코더는 세그멘테이션 마스크(2D/3D 그라운딩용)와 언어 그라운딩 점수를 동시에 예측합니다. 질의응답(QA)의 경우, 원래의 언어 헤드가 문맥화된 장면-언어 표현 위에서 다음 토큰 예측을 수행합니다.

D. 공동 2D-3D 학습 (Joint 2D-3D Training)

모델은 3D 추론 능력을 학습하는 동시에 일반적인 멀티모달 능력을 유지하도록 2D 및 3D 데이터셋에서 공동으로 학습됩니다.

전략: 정렬을 개선하기 위해 재구성 모델(예: MoGE)을 사용하여 2D 데이터를 간헐적으로 3D로 리프팅(lifting)합니다.
손실 함수: 학습 목적 함수는 세 가지 손실을 결합합니다: (1) 세그멘테이션을 위한 마스크 손실 (BCE + Dice), (2) 참조적 그라운딩을 위한 텍스트-스팬(text-span) 그라운딩 손실, (3) VQA 및 캡셔닝을 위한 텍스트 생성 손실.

3. 주요 기여

기하학 인식 VLM 백본: 효율적인 장기 추론을 가능하게 하기 위해 다중 뷰 구조와 3D 회전 위치 임베딩, 기하학 기반 토큰 압축을 통합했습니다.
통합 3D 그라운딩 아키텍처: "특수 토큰" 병목 현상을 우회하기 위해 백본과 전체 시각적 토큰 표현을 공유하며, 세계 공간에 직접 언어를 그라운딩하는 쿼리 기반 세그멘테이션 디코더를 도입했습니다.
범용 학습 프레임워크: 강력한 2D 시각-언어 능력을 유지하면서 3D 공간 추론 및 그라운딩을 크게 향상시키는 공동 2D-3D 학습 전략을 제시합니다.
최첨단 성능 (SOTA): 3D 벤치마크에서 우수한 성능을 입증하는 동시에 강력한 2D 멀티모달 성능을 유지합니다.

4. 실험 결과

Qwen-3D는 3D 참조적 그라운딩, 인스턴스 세그멘테이션, 시각적 질의응답(VQA)을 포함한 다양한 벤치마크에서 평가되었습니다.

3D 참조적 그라운딩 (ScanRefer): Qwen-3D (7B)는 62.8% Acc@25를 달성하여, 이전의 단일 단계 LMM인 LLaVA-3D보다 12%, 2단계 방식인 Video-3D-LLM보다 4% 높은 성능을 보였습니다. 이는 전문 모델인 UniVLG의 성능에 근접합니다.
도메인 외 일반화 (Locate-3D/ScanNet++): 도메인 외 벤치마크인 Locate-3D에서 Qwen-3D는 Video-3D-LLM의 33.2% 대비 55.7% Acc@25를 기록하며 UniVLG와 Video-3D-LLM을 모두 크게 앞질렀습니다.
3D 인스턴스 세그멘테이션 (ScanNet200): 이 모델은 이전 최고 성능의 단일 단계 LMM인 Grounded-3D-LLM보다 13% mAP 향상된 3D 인스턴스 세그멘테이션 정확도를 보여주며, 언어 프롬프트 기반 전문 모델의 성능에 근접했습니다.
3D 시각적 질의응답 (VQA): 7B 변체는 ScanQA 및 SQA3D에서 모든 베이스라인을 능가했으며, 3B 변체는 전문 모델인 UniVLG를 능가했습니다.
2D 능력 유지: 3D 미세 조정에도 불구하고, Qwen-3D는 RefCOCO 제품군 및 RealWorldQA와 같은 2D 그라운딩 벤치마크에서 강력한 성능을 유지하여, 기하학 인식 추론이 일반적인 멀티모달 능력을 희생하지 않고도 추가될 수 있음을 입증했습니다.

5. 의의 및 주장

본 논문은 Qwen-3D가 범용 3D LMM의 새로운 최첨단(SOTA)을 확립하였으며, 일반 모델과 전문 3D 인지 시스템 사이의 성능 격차를 효과적으로 좁혔다고 주장합니다.

저자들은 이전 3D LMM의 주요 한계가 백본의 3D 인식 능력 부족이 아니라, 디코딩 인터페이스에 있다고 주장합니다. 텍스트 생성이나 제안 선택 방식의 디코딩에서 벗어나, 백본의 조밀한 시각적 표현을 세그멘테이션 디코더와 직접 결합함으로써, Qwen-3D는 고품질의 2D 및 3D 그라운딩을 가능하게 했습니다.

논문은 기하학적 표현이 필요하기는 하지만 그것만으로는 충분하지 않으며, 언어 추론과 조밀한 기하학적 예측 사이의 간극을 메우기 위해서는 동등하게 강력한 기하학 인식 디코딩 메커니즘이 필요하다고 결론짓습니다. 이 접근 방식은 이미지, 비디오, 3D 환경을 가로지르는 원활한 추론이 가능한 미래의 멀티모달 모델을 위한 토대를 제공합니다.

저자들이 언급한 한계점:

현재 모델은 대체로 정적인 좌표계를 가정하므로, 비정형 운동(non-rigid motion)이나 위상 변화(topology changes)가 포함된 동적인 환경에서는 어려움을 겪습니다.
외부에서 추정된 깊이 맵(depth map)과 카메라 포즈에 의존하며, 기하학적 재구성의 오류가 최종적인 그라운딩 성능을 제한할 수 있습니다.
대부분의 작업은 단일 그라운딩 단계만을 포함하며, 복잡한 임바디드(embodied) 애플리케이션은 여러 엔티티에 대한 구성적 추론(compositional reasoning)을 요구할 수 있습니다.