지금까지의 AI 는 사진 한 장을 보고 "책 옆에 컵이 있네"라고 말은 잘합니다. 하지만, **"그 컵을 오른쪽으로 45 도 돌아가서 보면 책이 컵의 왼쪽에 있을 거야"**라고 상상하는 건 매우 어려워요.
기존 방법들은 사진을 픽셀 (화소) 단위로 비틀어서 새로운 각도를 만들려고 했습니다. 하지만 이건 마치 유리창을 비틀어서 구부리는 것과 같아요. 깊이가 조금만 틀려도 이미지가 찌그러지거나 (왜곡), 구멍이 생기고, AI 가 "이게 뭐지?"라고 헷갈려하게 됩니다.
🧩 2. 해결책: "토큰 (Token) 워핑"이라는 새로운 방법
이 논문은 **"픽셀을 비틀지 말고, '토큰'을 비틀자!"**라고 제안합니다.
토큰 (Token) 이 뭐예요? AI 가 사진을 볼 때, 아주 작은 픽셀 하나하나를 보는 게 아니라, **작은 이미지 조각 (패치) 들을 하나의 '의미 있는 덩어리'**로 봅니다. 이를 '토큰'이라고 해요. 마치 퍼즐 조각을 보는 것과 비슷하죠.
비유: 퍼즐 놀이
기존 방법 (픽셀 워핑): 퍼즐 조각 하나하나를 잘게 부수고, 그 조각들을 비틀어서 다시 붙이려고 하면 모양이 망가집니다.
이 방법 (토큰 워핑): 퍼즐 조각 (토큰) 자체를 통째로 들어 올려서, 새로운 각도에서 맞춰보는 것입니다. 조각이 찌그러지지 않고 원래 모양을 유지하니까 AI 가 내용을 잘 이해할 수 있어요.
🔄 3. 핵심 기술: "뒤에서 당기기" (Backward Warping)
이 연구는 토큰을 어떻게 옮길지 두 가지 방법을 비교했습니다.
앞으로 밀기 (Forward): 원본에서 토큰을 뽑아서 새로운 화면으로 밀어 넣는 방식.
문제: 새로운 화면에 구멍이 생기고, 토큰들이 들쑥날쑥하게 흩어집니다. AI 가 "여기는 뭐지?"라고 혼란을 느낍니다.
뒤에서 당기기 (Backward):이게 이 논문의 핵심입니다!
새로운 화면 (목표) 을 먼저 완벽하게 그리기 위해 빈 칸을 채울 자리를 정합니다.
그 빈 자리 하나하나마다 "원본 사진의 어디를 가져와야 할까?"를 계산해서 토큰을 가져옵니다.
효과: 마치 새로운 창문을 만들고, 그 창문 너머로 원본 풍경을 비추는 것처럼, 새로운 화면이 깔끔하고 정돈되어 나옵니다.
🧪 4. 실험 결과: "토큰 워핑"이 압도적으로 잘해요
연구팀은 ViewBench라는 새로운 시험지를 만들어 AI 들을 테스트했습니다.
결과: 토큰을 비틀어서 시점을 바꾼 방법 (Backward Token Warping) 이, 기존에 3D 데이터를 많이 학습한 AI 들이나, 새로운 이미지를 생성해내는 AI 들보다 훨씬 정확하게 답을 냈습니다.
특이점: 깊이 정보 (Depth Map) 가 완벽하지 않아도 (약간 어긋나도) 토큰은 잘 견뎌냅니다. 마치 퍼즐 조각이 조금 비틀어져도 그 모양만 보면 "아, 이거 강아지 조각이구나"라고 알아보는 것처럼요.
🌟 5. 요약: 왜 이 연구가 중요할까요?
이 연구는 AI 가 **"머릿속으로 시점을 바꾸는 능력 (정신적 이미지)"**을 키우는 데 아주 효율적이고 간단한 방법을 찾았다는 점입니다.
기존: 무거운 3D 모델을 학습시키거나, 새로운 이미지를 생성해내는 복잡한 과정을 거침.
이 연구:"토큰"이라는 AI 가 이미 잘 이해하는 단위를 활용해서, 계산만 살짝 바꿔주면 시점 변경을 완벽하게 해결함.
한 줄 요약:
"AI 가 사진을 비틀어서 왜곡시키는 대신, 의미 있는 퍼즐 조각 (토큰) 을 통째로 옮겨서 옆에서 보면 어떻게 보일지 정확하게 상상하게 만들었습니다."
이 기술이 발전하면, 로봇이 한 장의 사진만 보고도 "내가 옆으로 가면 이 물체가 어디에 있을지"를 정확히 파악하여 더 똑똑하게 움직일 수 있게 될 것입니다.
1. 문제 정의 (Problem)
멀티모달 대형 언어 모델 (MLLM) 은 시각적 추론 능력은 뛰어나지만, 시점 (Viewpoint) 변화에 매우 취약합니다.
기존 한계: MLLM 은 입력된 카메라 시점의 이미지에만 국한되어, 동일한 장면을 다른 각도에서 바라보거나 공간적 관계를 추론하는 데 어려움을 겪습니다.
기존 해결책의 결함:
픽셀 기반 워핑 (Pixel-wise Warping): 깊이 (Depth) 맵을 사용하여 픽셀을 이동시키는 방식은 작은 깊이 오차에도 민감하여 심한 기하학적 왜곡 (distortion) 과 아티팩트를 발생시킵니다. 이는 MLLM 의 시각적 이해를 저하시킵니다.
생성형 방법 (Generative Methods): 새로운 시점의 이미지를 생성하는 방식은 존재하지 않는 물체를 만들어내거나 (할루시네이션), 기존 물체를 누락시키는 문제가 있습니다.
3D supervision: 명시적인 3D 지도를 통해 모델을 미세 조정 (Fine-tuning) 해도 단순한 시점 변환 추론 능력은 크게 향상되지 않습니다.
2. 방법론 (Methodology)
저자들은 인간의 정신적 이미지 (Mental Imagery) 이론 (전체적 객체 수준이 아닌 부분 (Part) 수준의 구조적 표현에 기반함) 에서 영감을 받아, 이미지 토큰 (Image Tokens) 을 워핑하는 새로운 접근법을 제안했습니다.
핵심 아이디어: 토큰 워핑 (Token Warping)
토큰의 강점: 비전 트랜스포머 (ViT) 기반 MLLM 은 이미지를 고정된 패치 (Patch) 단위로 토큰화합니다. 이 토큰들은 픽셀보다 거시적이지만 객체 단위보다는 세밀하여, 위치 잡음 (positional noise) 에 대해 강인하면서도 풍부한 시각적 정보를 유지합니다.
실험적 검증: 토큰을 가져오는 패치 중심 위치를 의도적으로 왜곡 (Jittering) 시켰을 때, MLLM 의 성능이 거의 저하되지 않음을 확인했습니다. 이는 토큰이 시점 변환 과정에서 발생하는 기하학적 노이즈에 견딜 수 있음을 의미합니다.
워핑 전략 비교 및 최적화
저자들은 시점 변환을 위한 두 가지 주요 전략과 두 가지 패치 가져오기 (Fetching) 방식을 비교했습니다.
Forward vs. Backward Warping:
Forward (전방향): 소스 뷰의 토큰을 타겟 뷰로 투영. → 타겟 뷰에서 토큰 분포가 불규칙하고 희소해져 (Sparse) MLLM 이 처리하기 어렵습니다.
Backward (후방향): 타겟 뷰의 규칙적인 격자 (Grid) 를 정의하고, 각 격자점에 대응하는 소스 뷰의 토큰을 찾아옵니다. → 타겟 뷰에서 토큰이 밀집하고 규칙적으로 배치되므로 MLLM 에 최적화되어 있습니다.
Fetching Strategies (패치 가져오기):
Nearest Fetching: 변환된 좌표에 가장 가까운 기존 소스 토큰을 선택.
Adaptive Fetching: 변환된 좌표를 중심으로 다시 패치를 자르고 인코딩.
결과: Adaptive 방식이 계산 비용이 더 들지만, Nearest 방식과 성능 차이가 크지 않아 Nearest 방식이 효율적이고 효과적임을 확인했습니다.
시스템 흐름
입력 이미지와 깊이 맵 (Depth Map), 카메라 포즈를 받음.
타겟 시점의 규칙적인 격자 좌표를 정의.
깊이 맵과 카메라 포즈를 이용해 타겟 격자 좌표를 소스 이미지 좌표로 역투영 (Backward Mapping).
소스 이미지에서 해당 좌표에 가장 가까운 토큰 (또는 패치) 을 가져와 타겟 시점의 토큰 시퀀스로 구성.
구성된 토큰을 MLLM 에 입력하여 시점 변환에 따른 공간적 추론 수행.
3. 주요 기여 (Key Contributions)
토큰 워핑 제안: 픽셀이 아닌 토큰 단위로 워핑을 수행하여 기하학적 왜곡을 줄이고 MLLM 의 시점 변환 추론 능력을 획기적으로 향상시켰습니다.
Backward Token Warping 의 우월성 입증: 타겟 뷰에 규칙적인 격자를 유지하는 'Backward' 방식이 Forward 방식보다 훨씬 안정적이며, 'Nearest Fetching'이 복잡한 Adaptive 방식과 유사한 성능을 보임을 발견했습니다.
ViewBench 벤치마크 개발: 시점 변화에 따른 공간 추론 능력을 평가하기 위한 새로운 벤치마크를 구축했습니다.
ViewBench-Text/Shape: 두 물체 간의 좌우 관계가 시점에 따라 반전되는지 추론하는 작업.
ViewBench-Object: 타겟 시점에서 물체의 속성을 설명하는 작업.
SOTA 성능 달성: 추가적인 미세 조정 (Fine-tuning) 이나 생성형 모델 없이, 기존 MLLM 에 토큰 워핑을 적용하여 전문적인 공간 추론 모델 및 생성형 워핑 방법보다 우수한 성능을 기록했습니다.
4. 실험 결과 (Results)
ViewBench 벤치마크에서의 정량적 및 정성적 결과는 다음과 같습니다.
정량적 성능:
Backward Token Warping (Nearest) 은 모든 오버랩 구간 (5-35%) 에서 가장 높은 정확도를 기록했습니다.
특히 어려운 설정 (오버랩 5-15%) 에서 Backward-Nearest는 Ground Truth 깊이 맵 사용 시 74.87% (Text) 및 80.71% (Shape) 의 정확도를 보였습니다.
이는 픽셀 기반 워핑 (Forward/Backward), 생성형 워핑 (GenWarp), 그리고 SpatialReasoner, VLM-3R 등 전문적으로 미세 조정된 MLLM 들보다 일관적으로 우월했습니다.
깊이 추정 오차에 대한 강인성: Ground Truth 깊이 대신 Depth Anything v2 나 Depth Pro 와 같은 추정 깊이 맵을 사용해도 토큰 워핑의 성능 우위는 유지되었습니다.
정성적 결과: 픽셀 워핑은 왜곡으로 인해 물체를 잘못 인식하거나 ("left"를 "right"로 답함) 존재하지 않는 물체를 생성하는 반면, 토큰 워핑은 물체의 의미론적 일관성 (Semantic Coherence) 을 유지하며 정확한 공간 관계를 추론했습니다.
5. 의의 및 결론 (Significance)
MLLM 의 공간 추론 한계 극복: MLLM 이 3D 구조를 명시적으로 학습하지 않더라도, 토큰이라는 추상적 단위를 통해 시점 변환을 효과적으로 시뮬레이션할 수 있음을 증명했습니다.
경량화 및 효율성: 추가적인 생성 모델이나 대규모 미세 조정이 필요하지 않으며, 추론 시 토큰 매핑 연산만 추가하면 되어 계산 비용이 낮고 실용적입니다.
인지 과학과의 연결: 인간의 정신적 이미지가 '부분 수준의 구조적 표현'에 기반한다는 이론을 컴퓨터 비전 (ViT 토큰) 에 적용하여 성공적으로 구현한 사례입니다.
결론적으로, 본 논문은 백워드 토큰 워핑 (Backward Token Warping) 이 MLLM 이 단일 이미지로부터 주변 시점을 상상하고 공간적 관계를 추론하는 데 있어 가장 강력하고 효율적인 방법임을 입증했습니다.