💻 computer science

UniVR: Thinking in Visual Space for Unified Visual Reasoning

이 논문은 텍스트나 작업별 휴리스틱에 의존하지 않고 가공되지 않은 시각 데이터로부터 통합된 시각적 추론, 물리적 역학 이해, 그리고 장기 계획을 가능하게 하는 VR-GRPO 강화 학습 패러다임을 활용하여, 새롭게 구축된 VR-X 벤치마크에서 상당한 성능 향상을 달성하는 새로운 프레임워크인 UniVR을 소개한다.

원저자: Zhongwei Ren, Yunchao Wei, Yao Zhao, Weibo Gong, Xiao Liu, Anran Wang, Xiangtai Li, Xiaojie Jin

게시일 2026-07-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhongwei Ren, Yunchao Wei, Yao Zhao, Weibo Gong, Xiao Liu, Anran Wang, Xiangtai Li, Xiaojie Jin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 신발끈을 묶는 법, 끼워 맞추는 시트(fitted sheet)를 접는 법, 또는 까다로운 미로를 푸는 법을 가르치려 한다고 상상해 보세요. 오랫동안 가장 똑똑한 방법은 영어(또는 다른 언어)로 된 거대하고 상세한 지침서를 작성한 뒤, 로봇이 그것을 읽고 이해하여 단계별 과정을 그려낼 수 있기를 바라는 것이었습니다.

하지만 여기 반전이 있습니다: UniVR는 우리가 너무 과하게 생각하고 있는 것일지도 모른다고 제안합니다. 로봇에게 세상을 먼저 언어로 번역하도록 강요하는 대신, 그냥 그림으로 생각하게 만드는 건 어떨까요?

"말로 생각하기"의 문제점

현재의 초지능 AI 모델들은 세상의 모든 책을 읽은 아주 똑똑한 사서와 같습니다. 그들은 완벽한 문법으로 매듭을 묶는 법을 설명할 수 있습니다. 하지만 실제로 그 일을 하려고 할 때, 그들은 종종 물리 법칙에 걸려 넘어집니다. 그들은 "이제 끈을 팽팽하게 당기세요"라고 말할 수는 있지만, 그들의 머릿속 영화 속에서는 끈이 테이블을 통과해 버리거나 매듭이 마법처럼 저절로 풀려버릴 수도 있습니다.

이 논문은 현실 세계를 텍스트로 묘사하는 것이 수학 방정식만으로 딸기의 맛을 설명하려는 것과 같다고 주장합니다. 데이터는 얻을 수 있겠지만, 무질서하고 역동적인 실체는 놓치게 됩니다. 최고의 모델이라 할지라도 긴 일련의 행동(요리를 하거나 방을 돌아다니는 것과 같은)을 계획하도록 요청받으면, 물리 법칙이 깨지거나 물체가 사라지거나 논리가 유지되지 않는 영상을 만들어내곤 합니다.

해결책: UniVR와 "비주얼 체육관(Visual Gym)"

UniVR를 생각해 보세요. 이것은 AI 학생들을 위한 새로운 훈련 캠프와 같습니다. 이곳에서 학생들은 말을 할 수 없으며, 오직 보고 배우는 것만 허용됩니다.

매뉴얼을 읽는 대신, UniVR는 가공되지 않은 비디오 데모로부터 직접 학습합니다. 로봇은 사람들이 매듭을 묶고, 옷을 접고, 퍼즐을 푸는 수천 개의 클립을 관찰합니다. "1단계: 끈을 잡아라"라고 말해주는 선생님은 필요 없습니다. 그저 시각적 흐름을 관찰함으로써 패턴을 파악해 냅니다.

AI가 단순히 무작위로 추측하지 않도록, 연구진은 VR-GRPO라고 불리는 특별한 훈련 방법을 구축했습니다. 이는 AI가 연습하는 모습을 지켜보는 엄격하지만 공정한 코치를 상상하게 합니다.

글로벌 코치(Global Coach): 로봇이 실제로 과제를 완수했는지 확인합니다 (예: "매듭이 제대로 묶였는가?").
스텝-포컬 코치(Step-Focal Coach): 이것이 핵심 비법입니다. 글로벌 코치는 손이 미끄러지거나 공이 움직임 중간에 잘못 굴러가는 것과 같은 작은 실수들을 놓칠 수 있습니다. 스텝-포컬 코치는 이러한 까다로운 순간들을 확대해서 봅니다. 만약 AI의 "머릿속 영화"가 중간에 흔들리거나 비논리적이 된다면, 이 코치는 이를 포착하여 "잠깐, 이건 물리적으로 말이 안 돼! 다시 해봐"라고 말합니다.

이러러한 조합은 AI가 단순히 마지막에 운 좋게 성공하는 것이 아니라, 매 단계마다 논리적이고 물리적으로 일관성을 유지하도록 보장합니다.

대규모 테스트: VR-X

이것이 실제로 작동하는지 확인하기 위해, 팀은 VR-X라고 불리는 거대한 장애물 코스를 만들었습니다. 이것은 로봇 팔 조작이나 요리와 같은 길고 복잡한 작업부터, 시각적 퍼즐이나 물체 찾기와 같은 빠른 두뇌 게임까지 16가지 유형의 도전 과제가 담긴 거대한 비디오 게임 레벨과 같습니다.

결과는 어땠을까요? UniVR는 단순히 통과한 수준이 아니라 질주했습니다.

이 새로운 벤치마크에서 UniVR은 기존 방식보다 성능이 최대 25% 향상되었습니다.
340억 개의 파라미터를 가진 비교적 작은 모델임에도 불구하고, 장기 계획 작업에서 Gemini 3 Pro와 다른 도구들이 결합된 형태의 훨씬 더 큰 텍스트 중심 시스템들을 능가했습니다.
단순히 과제 수행 능력이 좋아진 것뿐만 아니라, MMMU나 MME와 같은 표준 시각 테스트에서도 높은 점수를 기록하며 전반적인 이미지 이해 능력도 향 old졌습니다.

이것이 의미하는 바 (그리고 그렇지 않은 것)

이 논문은 이것이 무엇이고 무엇이 아닌지에 대해 매우 명확히 밝히고 있습니다.

이것은 모든 AI 문제를 해결하는 마법 지팡이가 아닙니다. 저자들은 현재의 모델들이 텍ral 텍스트에만 의존할 경우 미세한 물리 법칙을 다루는 데 여전히 어려움을 겪는다는 점을 명시했습니다.
이것은 AI가 지속적인 텍스트 지침 없이도 시각적 데이터로부터 직접 복잡한 추론을 배울 수 있다는 강력한 증거입니다.
결과는 특정 벤치마크(VR-X)와 여러 기존 공개 테스트를 통해 측정되고 입증되었습니다. 저자들은 이러한 "시각적 공간에서의 사고" 접근 방식이 더 나은 월드 모델(world models)을 구축하는 강력한 방법이라고 제안하지만, 이것이 인공지능의 최종 해답이라고 주장하지는 않습니다.

요약하자면, UniVR은 때때로 세상이 어떻게 돌아가는지 배우는 가장 좋은 방법은 책을 읽는 것이 아니라, 직접 뛰어들어 주의 깊게 관찰하고 사물이 어떻게 움직이고 변하는지를 봄으로써 규칙을 찾아내는 것임을 보여줍니다. 이는 AI가 세상을 단순히 말하는 것을 넘어, 진정으로 보는 단계로 나아가는 한 걸음입니다.

기술 요약: UniVR – 통합적 시각적 추론을 위한 시각 공간 내 사고(Thinking in Visual Space)

1. 문제 정의

현재의 인공지능 모델은 주로 텍스트 공간(textual space) 내에서 세상에 대한 지식을 습득하고 추론을 수행합니다. 대규모 멀티모달 모델(LLM)과 생성형 모델이 크게 발전했음에도 불구하고, 이들은 세상을 나타내는 추상적 표현으로서 텍스트에 의존합니다. 이러한 추상화는 복잡한 물리적 역학, 미세한 공간 관계, 근본적인 물리 법칙과 같이 실제 시각 세계가 가진 풍부하고 연속적인 정보를 완전히 포착하지 못합니다.

기존의 시각적 추론 접근 방식은 두 가지 주요 한계에 직면해 있습니다:

텍스트에 국한된 추론(Text-Bounded Reasoning): Gemini-3 또는 GPT-5와 같은 모델은 텍스트 추론 체인(Chain-of-Thought)을 생성한 후, 이를 생성 모델을 통해 시각적 궤적으로 변환합니다. 이 패러다임은 텍스트 추상화가 시각 영역으로 추론 숙련도를 매끄럽게 전이할 수 없기 때문에, 장기 과업(long-horizon tasks)에서 논리적 일관성과 물리적 일관성을 유지하는 데 어려움을 겪습니다.
조밀한 감독(Dense Supervision)에 대한 의존성: 통합 생성 모델과 비디오 생성 전략은 종종 훈련 및 추론 과정에서 조밀한 이미지-텍스트 쌍과 텍xt 가이드에 크게 의존합니다. 이러한 의존성은 시각적 추론의 확장을 제한하며, 언어적 매개 없이 원시 시각 데이터로부터 직접 학습하는 모델의 능력을 제한합니다.

본 연구의 핵심 질문은 다음과 같습니다: 모델이 조밀한 텍스트 감독에 의존하지 않고 어떻게 다양한 과업 전반에서 시각적 추론 능력을 높이기 위해 원시 시각 데이터를 활용할 수 있는가?

2. 방법론

UniVR 아키텍처
UniVR은 시각 공간 내에서 직접 추론하고 계획하도록 설계된 통합 차세대 토큰 예측 프레임워크입니다. 이 모델은 이미지, 텍스트, 비디오를 통합된 이산 어휘(unified discrete vocabulary)로 토큰화하는 자기회귀 생성 모델(Emu3.5를 베이스라인으로 채택)을 사용합니다. 프레임워크는 두 단계의 훈련 파이프라인을 통해 작동합니다:

콜드 초기화(Cold Initialization): 다양한 시각적 과업(질의 이미지, 지시문, 시각적 추론 궤적)으로 구성된 큐레이션된 데이터셋에 대한 지도 미세 조정(SFT)을 통해 입력 형식을 표준화하고 시각적 추론 사전 지식(priors)을 제공합니다.
강화 학습(RL): 모델의 추론 능력을 정교화하기 위해 VR-GRPO(Visual Reasoning Group Relative Policy Optimization)라는 새로운 RL 패러다임을 적용합니다.

VR-GRPO: 핵심 혁신
VR-GRPO는 과업별 휴리스틱이나 이미지-텍스트 쌍을 요구하지 않고 논리적 일관성과 물리적 일관성을 최적화하도록 설계되었습니다. 이는 이중 보상 메커니즘을 도입합니다:

전역 보상( $R_g$ ): 생성된 시퀀스가 과업 완수 및 시각적 품질 측면에서 갖는 총체적 평가로, 시각-언어 모델(VLM) 평가자에 의해 제공됩니다.
단계 집중 보상( $R_s$ ): 긴 시퀀스에서 중간 단계의 물리적 위반이나 논리적 공백을 간과하기 쉬운 전역 보상의 한계를 해결하기 위한 새로운 구성 요소입니다.
- 메커니즘: 시스템은 CLIP 이미지 인코더를 사용하여 인터-트래젝토리 분산(inter-trajectory variance)을 계산함으로써, 추론 경로가 갈라지는 최대 불확실성 지점(시간 단계)을 식별합니다.
- 타겟팅: 이 고분산 단계 주변의 특정 하위 세그먼트를 추출하고, VLM이 물리 법칙과 궤적 진행을 평가하도록 쌍체 비교(pairwise comparison)를 수행하도록 유도합니다.
- 통합: 최종 추론 보상은 $R_{reason} = R_g - \lambda|R_g - R_s|$ 로 계산됩니다. 이 공식은 모델이 좋은 최종 상태( $R_g$ )를 달성하더라도 결정적인 하위 단계에서 절차적 무결성( $R_s$ )을 유지하지 못할 경우 페널티를 부여하여, 효과적으로 "추론 지름길(reasoning shortcuts)"을 방지합니다.

VR-X 벤치마크
저자들은 UniVR을 훈련하고 평가하기 위해 다양한 시각적 추론을 위한 최초의 대규모 벤치마크인 VR-X를 구축했습니다. 이는 16개의 소스에서 추출한 150만 개의 원시 샘플로 구성되며, 31만 개의 콜드 스타트 훈련 샘플, 3천 개의 RL 샘플, 1.8천 개의 벤치마크 평가 샘플로 큐레이션되었습니다. 벤치마크 범위는 다음과 같습니다:

장기 계획(Long-term Planning): 미세한 역학이 포함된 분 단위 과업 (예: 매듭 묶기, 옷 접기, 로봇 조작, 요리).
일반 시각적 추론: 시각적 탐색, 퍼즐, 공간 지각, 편집을 포함한 인지 능력.
평가 지표:
- VLM 점수: 과업 완수, 절차적 일관성, 이미지 충실도에 대한 자동 평가.
- JEPA 유사도: 텍스트 의존적 평가자의 환각 문제를 해결하기 위해, V-JEPA 인코더를 사용하여 실제 물리적 역학과의 정렬도를 측정하는 지표.

3. 주요 결과

VR-X에서의 성능
UniVR은 VR-X 벤치마크에서 최첨단 베이스라인 대비 유의미한 향상을 보여줍니다:

전반적인 성능: UniVR은 베이스라인인 Emu3.5 모델 대비 25.2% 향상되었으며, 장기 계획 과업에서는 20.9% 향상되었습니다.
파이프라인과의 비교: 단 34B 파라미터를 가졌음에도 불구하고, UniVR은 Gemini 3 Pro + Nano Banana 2 파이프라인의 성능에 근접하며, 장기 조작 과업에서는 Gemini 3를 능가합니다.
물리적 일관성: UniVR은 텍스트 기반 MLLM 및 통합 생성 모델이 흔히 보이는 큰 특징 분포 편차를 고려할 때, 훨씬 낮은 JEPA 점수(실제 물리 법칙과의 더 나은 정렬을 의미)를 달성했습니다.

멀티모달 이해로의 일반화
논문은 UniVR을 통한 시각적 추론 강화가 표준 멀티모달 이해 벤치마크(MMMU, MME, MMBench, MathVista, MM-Vet)의 성능 또한 높인다고 보고합니다.

UniVR은 베이스라인 Emu3.5와 비교하여 평가된 6개 지표 모두에서 이득을 보였으며, 이는 네이티브 시각적 추론이 텍스트 감독을 강력하게 보완한다는 것을 시사합니다.
VR-X에서 파생된 텍스트 추론 체인만으로 훈련했을 때는 이득이 미미했으며, 이는 시각 공간 훈련의 필요성을 뒷받침합니다.

절제 연구(Ablation Studies)

보상 설계: 전역 보상과 단계 집중 보상을 결합하면 시너지 효과가 발생합니다. 전역 보상만 사용할 경우 장기 계획에서 성능 저하(보상 해킹)가 발생한 반면, 단계 집중 보상만 사용할 경우 모든 지표가 개선되었습니다.
결합 훈련: VR-GRPO는 모델이 이질적인 과업(장기 계획 vs 일반 추론)을 성공적으로 공동 학습할 수 있게 하지만, 콜드 스타트 모델은 이러한 이질적인 지식 영역의 균형을 잡는 데 어려움을 겪습니다.
호환성: VR-GRPO는 기존 텍스트 기반 RL 방법 및 미적 보상(예: HPSv3)과 호환되지만, 시각적 추론 보상이 성능의 주요 동력입니다.

4. 의의 및 주장

본 논문은 UniVR가 AI 모델이 세상에 대한 지식을 습득하는 방식에 있어 근본적인 변화를 나타낸다고 주장합니다:

언어 없는 시각적 추론: 조밀한 이미지-텍스트 쌍이나 과업별 규칙에 의존하지 않고, 순수 시각적 시연으로부터 복잡한 추론, 미세한 물리적 역학, 장기 계획을 동시에 학습하는 첫 번째 연구입니다.
내재적 세계 모델링: 본 연구 결과는 원시 시각 데이터만으로도 정교한 장기 정책 학습을 지원할 수 있음을 강조하며, 복잡한 추론을 위해 텍스트가 필수적인 매개체라는 관점에 도전합니다.
통합된 능력: 이 프레임워크는 로봇 조작부터 공간 퍼즐에 이르기까지 이질적인 과업을 단일 시각 프로토콜 아래 성공적으로 통합하며, 짧은 수평의 역학이나 좁은 단일 과업 설정에 국한되었던 이전 모델들의 한계를 극복합니다.
광범가 영향: 시각적 추론을 강화하는 것이 멀티모달 이해에 광범위한 이득을 준다는 발견은, 시각 네이티브 컴퓨팅이 더 근거 있고 효율적인 세계 모델을 구축하기 위해 텍스트 추상화를 보완하는 필수적인 요소임을 위치시킵니다.

저자들은 추가 연구를 촉진하기 위해 모든 코드, 데이터(VR-X) 및 모델을 오픈 소스로 공개함을 강조합니다.