기술 요약: VisReason

문제 정의

현재의 멀티모달 대규모 언어 모델(MLLM)은 시각적 이해 측면에서 상당한 진전을 이루었으나, 그 추론 패러다임에는 여전히 한계가 있습니다. 중간 논거를 명시적으로 서술하는 Chain-of-Thought(CoT) 프롬프팅의 혜택을 받는 텍스트 전용 대규모 언어 모델(LLM)과 달리, 대부분의 MLLM은 입력에서 정답으로 직접 매핑되도록 최적화되어 있습니다. 이러한 명시적인 중간 감독(intermediate supervision)의 부재는 다음과 같은 결함으로 이어집니다:

1. 지름길 학습(Shortcut Learning): 모델이 의도적이고 단계적인 시각적 검사를 수행하기보다 언어적 사전 지식(linguistic priors)이나 전역적 장면 통계에 의존하는 경우가 많습니다.
2. 공간적 접지(Spatial Grounding) 부족: 기존의 시각적 추론 데이터셋은 규모가 작거나 특정 도메인에 국한되어 있으며, 구성적 추론(compositional reasoning)에 필요한 구조화된 다회차 감독이 부족합니다.
3. 깊이 인식 능력 부족: 대부분의 데이터셋은 2D 주석만을 제공하여 상대적 깊이, 가려짐(occlusion), 또는 순서적 공간 관계(예: "뒤에", "앞에")에 대한 추론을 지원하지 못합니다.

핵심 문제는 복잡한 시각적 쿼리에 대해 모델이 증거를 확인하기 위해 핵심 영역으로 반복적으로 줌인(zoom-in)해야 하는 인간과 유사한 '전역-국소(global-to-local)' 추론 워크플로우를 포착할 수 있는 대규모 데이터셋이 없다는 점입니다.

방법론

데이터셋 구축: VisReason 및 VisReason-Pro

저자들은 텍스트/문서 이해, 미세 특징 인식(Fine-Grained Recognition), 일반 VQA, 공간 인지 관계 추론의 네 가지 다양한 도메인에 걸쳐 489,000개의 주석 사례를 포함하는 대규모 데이터셋인 VisReason을 소개합니다.

이 데이터셋은 전역-국소 추론 워크플로우를 강제하는 통합 파이프라인을 통해 구축되었습니다:

• 다회차 CoT (Multi-Round CoT): 각 샘플은 모델이 먼저 전역 장면을 평가한 다음, 바운딩 박스를 통해 관심 영역(Region of Interest, RoI)을 식별하고, 다음 단계로 줌인하기 전에 논거를 제공하는 다회차 추론 트레이스를 포함합니다.
• 동적 줌인 (Dynamic Zooming): 파이프라인은 "줌인 및 검증(zoom-and-verify)" 동작을 강제합니다. 대상 객체나 텍스트가 작거나 미세할 경우, 모델은 더 좁은 바운딩 박스를 예측하고 크롭된 이미지에 기반하여 새로운 추론 단계를 생성하도록 유도됩니다. 이 과정은 답이 도출되거나 라운드 제한(통상 3~4회)에 도달할 때까지 계속됩니다.
• 깊이 증강 (Depth Augmentation): 3D 접지의 부족을 해결하기 위해, 저자들은 단안 깊이 추정(DepthAnythingV2)과 의미론적 분할(SegmentAnythingV2)에서 도출된 **의사 깊이 단서(pseudo-depth cues)**를 통합했습니다. 이러한 단서들은 공간 추론을 가이드하기 위한 순서적 깊이 정보(예: 객체 간의 상대적 순서)를 제공합니다.

VisReason-Pro는 165,000개의 사례(주로 GQA 데이터셋에서 추출)로 구성된 고충실도 서브셋입니다. 이는 더 풍부한 논거와 더 정밀한 깊이 정보 주석을 생성하기 위해 강력한 GPT-4.1 시리즈 모델을 사용하여 큐레이션되었습니다. 이 서브셋은 특히 복잡한 공간 관계와 작은 객체 쿼리를 타겟팅합니다.

학습 패러다임

저자들은 MLLM이 일련의 행동 $Y = (a_0, a_1, \dots, a_T)$를 생성하도록 학습하는 훈련 및 추론 파이프라인을 제안합니다.

• 행동 정의: 각 행동 $a_t$는 텍스트 추론 조각 $r_t$와 다음 관심 영역을 위한 예측 바운딩 박스 $b_{t+1}$로 구성됩니다.
• 반복적 컨텍스트 (Iterative Context): 단계 $t$의 시각적 컨텍스트는 이전 단계의 바운딩 박스를 사용하여 원본 이미지 $I$를 크롭함으로써 얻어집니다. 모델은 쿼리, 행동 이력, 그리고 현재 크롭된 이미지의 시각적 특징을 바탕으로 다음 토큰을 자기회귀적으로 생성합니다.
• 감독 (Supervision): 모델은 표준 부정 로그 가능도(negative log-likelihood) 목적 함수를 사용하여 지도 미세 조정(SFT)을 통해 훈련되며, 텍스트와 직렬화된 박스 좌표를 모두 포함하는 정답 추론 시퀀스의 가능성을 극대화합니다.

주요 기여

1. VisReason 데이터셋: 단순히 최종 답변만을 감독하는 것이 아니라 시각적 추론 과정을 명시적으로 감독하는, 다회차 RoI 기반 논거를 특징으로 하는 대규모(489K) 데이터셋을 공개했습니다.
2. VisReason-Pro: 상세한 추론 트레이스와 순서적 깊이 감독을 제공하여 모델이 공간 관계와 가려짐을 추론할 수 있게 하는 고품질의 깊이 증강 서브셋(165K)입니다.
3. 평가 스위트 (Evaluation Suite): 단계별 추론, RoI 국소화 정확도, 깊이 증강된 공간 추론 능력을 평가하기 위해 설계된 종합적인 벤치마크입니다.
4. 통합 파이프라인: 강력한 MLLM 백본(예: Qwen2.5-VL, InternVL)을 이 데이터로 미세 조정하는 것이 미세 특징 인식, 공간 추론 및 해석 가능성 측면에서 상당한 개선을 가져온다는 것을 입증했습니다.

실험 결과

저자들은 VisReason-7B 및 VisReason-Pro-7B(Qwen2.5-VL-7B 기반) 모델을 Visual-CoT 벤치마크 및 기타 표준 스위트에서 SOTA MLLM들과 비교 평가했습니다.

• 성능 향상: VisReason-Pro-7B는 오픈 소스 MLLM 중 가장 높은 평균 점수(0.802)를 기록하며 LLaVA-NeXT-8B 및 InternVL-2.5-8B와 같은 베이스라인을 능가했습니다.
• 도메인 특화 개선: 가장 눈에 띄는 성능 향상은 미세 특징 인식(예: Birds-200-2011: 0.681 $\to$ 0.831)과 공간 관계 추론(예: OpenImages: 0.498 $\to$ 0.805)에서 관찰되었으며, 이는 RoI 기반 감독의 효용성을 확인시켜 줍니다.
• RoI 국소화: VisReason-Pro 홀드아웃 스위트에서 모델은 베이스라인 대비 우수한 IoU 점수(IoU@0.5에서 0.34)를 달 기록하며, 관련 시각적 증거를 찾는 능력이 향상되었음을 보여주었습니다.
• 깊이 추론: 모델은 "Grounded Ratio"(0.276 vs. 베이스라인 <0.04)에서 유의미한 개선을 보였고 깊이 오차를 줄였으며, 이는 순서적 깊이 단서의 유용성을 입증합니다.
• 인간 평가: 30명의 평가자가 참여한 블라인드 테스트에서 VisReason-Pro 모델은 접지 충실도(Grounded Faithfulness, 4.46/5)와 단계적 명확성(Stepwise Clarity, 4.37/5)에서 가장 높은 점수를 받아, 더 신뢰할 수 있고 일관된 추론 체인을 보여주었습니다.
• 포맷 민감도: 저자들은 다회차 CoT가 공간 및 미세 특징 작업에는 뛰어나지만, 평가 프로토콜이 장황한 CoT 포맷과 일치하지 않을 경우 표준 단답형 벤치마크(예: MME)에서의 성능이 떨어질 수 있음을 언급했습니다. 그러나 직접 QA 프롬프트로 전환하면 성능이 대부분 회복되었으며, 이는 능력이 존재하되 추론 포맷이 중요하다는 것을 시사합니다.

의의 및 주장

본 논문은 VisReason이 현재 MLLM 훈련 패러다임과 인간의 시각적 인지 사이의 근본적인 불일치를 해결한다고 주장합니다. 인간의 "줌인 및 검증" 워크플로우를 모방한 대규모 프로세스 수준의 감독을 제공함으로써, 이 데이터셋은 MLLM이 다음과 같은 능력을 갖추도록 합니다:

• 지름길 학습과 언어적 사전 지식을 넘어설 수 있습니다.
• 국소적 단서에 고정된 체계적이고 검증 가능한 시각적 추론을 수행할 수 있습니다.
• 단일 전역 뷰(single global view)로는 해결하기 어려운 복잡한 공간 관계와 작은 객체 인식을 처리할 수 있습니다.

저자들은 VisReason을 인간과 유사한 시각적 추론을 배양하기 위한 초석으로 자리매김하며, 텍스트 기반 추론과 동일한 반복적 엄격함을 가지고 이미지를 통해 추론하는 차세대 멀티모달 지능의 길을 열었다고 평가합니다. 또한, 의사 깊이(metric 3D가 아닌)에 대한 의존성이나 초기 RoI가 어긋날 경우 발생할 수 있는 연쇄적인 국소화 오류의 위험 등 한계점을 인정하며, 향후 연구에서 자기 수정형 롤백 메커니즘을 탐구할 수 있음을 언급했습니다.