기술 요약: V-REX

문제 정의

현재의 시각-언어 모델(VLM)은 명확하게 정의된 목표가 있는 단순하고 직접적인 질문에는 뛰어나지만, 능동적이고 다단계적인 탐색이 필요한 복잡하고 개방적인 작업에는 어려움을 겪습니다. 기존의 벤치마크는 대개 시각적 추론이 제한된 환경(예: 수학 문제, 퍼즐 게임)에 집중되어 있으며, 이러한 환경에서는 입력 프롬프트만으로 모델이 추가적인 탐색 없이 즉시 계획을 세울 수 있습니다. 결과적으로, 기존 벤치마크들은 다음과 같은 능력을 평가하지 못합니다:

1. 도움이 되는 하위 질문 제안 (질문 공간 탐색)을 통해 추론을 유도하는 능력.
2. 개방된 환경에서 수집된 단서에 따라 계획을 동적으로 조정하는 능력.
3. 대부분의 평가가 최종 답변의 정확도에만 의존하여 추론 과정을 "블랙박스"로 취급하기 때문에, 중간 단계들을 이해하는 능력.

이러한 격차는 목표가 초기에 완전히 지정되지 않고 점진적인 계획과 능동적인 정보 수집(예: 탐정 업무, 지리 위치 파악, 또는 복잡한 장면 분석)이 필요한 실제 시나리오에서 VLM의 배포를 제한합니다.

방법론: V-REX 및 질문 연쇄(Chain-of-Questions, CoQ)

이러한 한계를 해결하기 위해 저자들은 탐색적 시각 추론을 평가하기 위해 설계된 벤치마크 및 평가 스위트인 V-REX(Visual Reasoning with multi-step EXploration)를 소개합니다. 핵심 혁신은 추론 과정을 상호 연결된 일련의 하위 질문과 답변으로 분해하는 질문 연쇄(CoQ) 프레임워크입니다.

CoQ 프레임워크

개방형 생성을 평가하는 대신, CoQ는 각 단계에서 모델에게 객관식 옵션을 제시함으로써 평가를 다룰 수 있는 유한한 공간으로 재구성합니다. 이를 통해 두 가지 뚜렷한 능력을 미세하게 분리하여 측정할 수 있습니다:

1. 계획 (질문 공간 탐색):

   • 작업: 원래의 질문과 이전의 하위 질문/답변 이력이 주어졌을 때, 모델은 후보군(정답 질문 및 방해 요소 포함) 중에서 가장 정보 가치가 높은 다음 하위 질문을 선택해야 합니다.
   • 목표: 모델이 전략적으로 탐색 경로를 설계하고, 과제를 해결하는 데 어떤 정보가 필요한지 식별하는 능력을 평가합니다.
   • 메커니즘: 방해 요소(Distractors)는 LLM을 사용하여 문맥적으로는 관련이 있지만 논리적으로는 도움이 되지 않는 질문을 생성하는 2단계 파이프라인(단계별 및 체인 수준)을 통해 생성됩니다.

2. 수행 (답변 공간 탐색):

   • 작업: 미리 구축된 정답 하위 질문 체인이 주어졌을 때, 모델은 시각적 단서와 축적된 문맥을 바탕으로 각 질문에 순차적으로 답해야 합니다.
   • 목표: 모델이 추론 경로를 충실히 실행하고 이미지에서 특정 정보를 추출하는 능력을 평가합니다.
   • 메커니즘: 각 단계는 오답이 포함된 객관식 질문으로 변환됩니다.

벤치마크 구성

• 데이터셋: V-REX는 702개의 샘플과 2,504개의 질문으로 구성되어 있으며, 샘플당 평균 3.57개의 추론 단계를 가집니다.
• 분류 체계: 데이터셋은 4가지 추론 카테고리와 15가지 실제 시나리오를 포괄합니다:
  • 연역(Deduction): 플로우차트, 패턴, 속성, 관계.
  • 추측(Guessing): 책임, 의도, 위치, 시간, 주제.
  • 내비게이션(Navigation): 지도, GUI, 교통, 트렌드.
  • 검색(Retrieval): 개수 세기, 단어 퍼즐.
• 데이터 큐레이션: 정답 QA 체인은 교차 검증을 거친 박사급 주석가들에 의해 구축되었습니다. 방해 요소는 GPT-5를 사용하여 생성되었으며, 그럴듯하면서도 오도할 수 있도록 필터링되었습니다.

주요 기여

1. 탐색적 추론을 위한 첫 번째 벤치마크: V-REX는 CoQ 형식을 사용하여 VLM의 다단계 탐색적 추론 능력을 명시적으로 평가하는 최초의 벤치마크입니다.
2. 분리된 평가: 계획(질문의 방향 선택)과 수행(질문에 대한 답변)을 분리함으로써, 엔드 투 엔드(end-to-end) 정확도만으로는 알 수 없는 모델의 약점을 더 해석 가능하게 진단합니다.
3. 제어된 평가 프로토콜: 개방형 탐색을 유한한 객관식 설정으로 변환함으로써, 광대한 탐색 공간으로 인해 평소에는 불가능했던 중간 단계에 대한 신뢰할 수 있는 정량적 분석을 가능하게 합니다.

실험 결과

저자들은 소규모 오픈 소스 모델(<7B)부터 대규모 독점 모델(예: GPT-5, o3)에 이르기까지 32개의 VLM을 평가했습니다.

주요 발견

1. 탐색의 중요성: CoQ 힌트(Planning 작업에서의 올바른 질문 또는 Following 작업에서의 올형 답변)가 제공되었을 때, VLM은 최종 질문에서 일관되게 더 높은 정확도를 달-성했으며, 이는 구조화된 탐색의 필요성을 입증합니다.
2. 스케일링 법칙과 변동성: V-REX에서도 스케일링 법칙이 적용됩니다. 성능은 일반적으로 모델 크기에 따라 증가합니다. 그러나 Planning 성능은 동일한 크기의 모델들 사이에서도 Following 성능에 비해 현저히 높은 변동성을 보입니다. 이는 모델들이 질문에 답하는 능력은 수렴하지만, 탐색 경로를 계획하는 능력은 여전히 차별화된 요소임을 시사합니다.
3. 전반적인 성능과의 상관관계: Planning 및 Following 능력 모두 전반적인 엔드 투 엔드 성능과 양의 상관관관계를 가집니다 (Pearson 상관계수 각각 0.858 및 0.948).
4. 모델 크기 불균형: 작은 모델(<7B)은 Planning보다 Following에 훨씬 더 능숙합니다. 모델 크기가 커질수록 이 격차는 좁아지며, 대형 모델은 두 차원 모두에서 균형 잡힌 성능을 보입니다.
5. 실패로부터의 회복: 모델은 실패한 Following 단계(질문에 잘못 답함)보다 실패한 Planning 단계(잘못된 하위 질문을 선택함)에 더 강건합니다. 답변 공간에서의 오류는 질문 선택 공간에서의 오류보다 잘못된 최종 결론으로 이어질 가능성이 더 높습니다.

구체적 관찰 사항

• 검색 작업: CoQ 과정은 직접적인 시각적 매칭에 더 의존하는 검색 작업(예: 개수 세기, 단어 퍼즐)에서 효과가 적었습니다. 어떤 경우에는 CoQ가 불필요한 인지적 노이즈를 유발하여 오히려 성능을 저해하기도 했습니다.
• 카테고리 차이: 대형 모델은 카테고리 전반에 걸쳐 더 일반화된 능력을 보여준 반 반면, 소형 모델은 특화된 강점(예: 연역에는 뛰어나지만 내비게이션에는 취약함)을 나타냈습니다.

의의 및 주장

본 논문은 V-REX가 의도적이고 단계적인 시각 추론을 발전시키기 위한 토대를 마련한다고 주장합니다. 현재의 VLM이 종종 무차별 대입 방식의 탐색(brute-force search)에 의존하며 적응형 계획 능력이 부족하다는 점을 밝힘으로써, 저자들은 **효과적인 계획(effective planning)**이 미래 VLM 개발의 핵심적인 병목 구간임을 강조합니다.

저자들은 V-REX가 최종 답변의 정확도라는 "블랙박스"를 넘어 추론 능력에 대한 "미세한 진단"을 제공한다고 강조합니다. 이 벤치마크는 성능을 높이기 위한 프롬프팅 방법이 아니라, 모델이 시각적 공간을 탐색하는 방식에서의 구체적인 약점을 식별하기 위한 엄격한 평가 도구로서 설계되었습니다. 결과에 따르면, 스케일링이 일반적인 추론 능력을 향상시키기는 하지만, 다단계 탐색을 전략적으로 계획하는 능력은 별개의 도전적인 과제로 남아 있습니다.