기술 요약: VRIQ – 시각적 추론 지능(VRIQ)의 벤치마킹 및 분석

문제 정의

시각-언어 모델(VLM)의 상당한 발전에도 불구하고, 이들의 신뢰할 수 있는 비언어적 추론 능력은 아직 입증되지 않았습니다. 추론 능력은 대규모 언어 모델(LLM) 성능의 핵심이지만, 이를 멀티모달 맥락으로 확장하는 과정에서 지속적인 한계가 드러났습니다. 기존 벤치마크는 다음과 같은 두 가지 결정적인 결함을 가지고 있습니다:

1. 도메인 불일치(Lack of Domain Parity): 많은 벤치마크가 자연 이미지에만 집중하거나, 실세계의 시각적 이해와 단절된 추상적 퍼즐을 다루어 모델의 행동을 도메인 간에 직접 비교하는 것을 방해합니다.
2. 단일 계층적 평가(Monolithic Evaluation): 현재의 평가는 인지(시각적 요소 식별)와 추론(해당 요소에 규칙 적용)을 하나의 능력으로 취급하여, 실패의 구체적인 원인을 분리해내지 못합니다.

결과적으로, 복잡한 시각적 작업에서 VLM의 실패가 시각적 사실을 추출하는 능력(인지)의 문제인지, 아니면 논리적 규칙을 적용하는 능력(추론)의 문제인지 불분명합니다.

방법론: VRIQ 벤치마크

저자들은 인지와 추론 모두를 평가하기 위해 설계된 1,500개의 전문가 작성 항목으로 구성된 진단 벤치마크인 **VRIQ (Visual Reasoning IQ)**를 소개합니다.

1. 벤치마크 설계

VRIQ는 병렬 도메인 구축(parallel domain construction) 전략을 채택하여, 동일한 논리 구조를 공유하지만 시각적 도메인은 다른 두 종류의 퍼즐 패밀리를 특징으로 합니다:

• 추상 도메인(Abstract Domain): 기하학적 기본 도형, 선, 패턴 (예: 공무원 적성 검사).
• 자연 도메인(Natural Domain): 추상적 대응물과 동일한 논리 연산을 수행하도록 설계된 실제 사물 및 장면.

이 벤치마크는 인간 심리 측정학에서 확립된 다섯 가지 근본적인 추론 범주를 다룹니다:

• 순서 완성 (Sequence Completion, SC)
• 행렬 예측 (Matrix Prediction, MP)
• 틀린 것 찾기 (Odd One Out, OO)
• 도형 회전 (Figure Rotation, FR)
• 3D 시각화 (3D Visualization, 3D)

2. 계층적 진단 프레임워크

모델의 실패를 해부하기 위해, VRIQ는 3단계 평가 프레임워크를 활용합니다:

• 1단계 (엔드 투 엔드 정확도): 모든 범주에 걸친 표준 객관식 정확도를 측정합니다.
• 2단계 (진단 프로브): 각 퍼즐에 대해 저자들은 두 가지 유형의 프로브를 구성합니다:
  • 인지 프로브 (P-probes): 원래 이미지를 사용하여 특정 시각적 속성을 테스트하는 원자적이고 인간에게 자명한 질문 (예: "빨간색 원이 몇 개인가?").
  • 추론 프로브 (R-probes): 시각적 사실이 명시적으로 제공된 퍼즐의 규칙을 텍스트로만 구현한 것. 이는 모델이 올바른 사실이 주어졌을 때 논리를 적용할 수 있는지 테스트합니다.
• 3단계 (오류 분류): 실패를 세 가지 범주로 분류합니다:
  • P-only: 모델이 P-probe에는 실패하지만 R-probe는 통과함 (인지 병목 현상).
  • R-only: 모델이 모든 P-probe는 통과하지만 R-probe에는 실패함 (추론 결핍).
  • P+R: 모델이 둘 다 실패함 (복합 실패).

3. 실험 설정

연구는 다양한 오픈 소스(예: Qwen2.5/3, InternVL, LLaVA) 및 독점 모델(예: GPT-4o, GPT-5.1, Gemini-2.5-pro)을 평가합니다. 특히 OpenAI o3의 경우, "이미지와 함께 생각하기(thinking with images)" 기능이 활성화되어 추론 과정 중 외부 도구(크롭, 확대, 회전, Python 코드)를 사용할 수 있는 특수 사례로 다뤄집니다. 인간 기준선(human baseline)은 층화된 하위 집합을 사용한 20명의 참가자를 통해 설정되었습니다.

주요 결과

1. 추상적 추론에서의 저조한 성능

VLM은 추상적 IQ 문제에서 무작위 수준에 가까운 성능을 보입니다.

• 추상 도메인: 테스트된 모든 VLM의 평균 정확도는 **27.52%**로, 무작위 추측 기준선(25%)보다 약간 높은 수준입니다. 가장 우수한 모델인 Qwen3-VL-32B-Thinking조차 35.5%를 달성하는 데 그쳤습니다.
• 독점 모델 vs 오픈 소스: 다른 벤치마크의 경향과는 반대로, 독점 모델(예: GPT-4o 30.3%)이 강력한 오픈 소스 모델들을 추상적 작업에서 유의미하게 능가하지 못했습니다.
• 인간 기준선: 인간은 추상적 하위 집합에서 **90.36%**의 정확도를 기록하여, 모델과의 거대한 격차를 보여주었습니다.

2. 개선되었으나 신뢰할 수 없는 자연적 추론

작업이 자연 이미지에 기반할 때 성능이 향상되지만, 인간 수준에는 미치지 못합니다.

• 자연 도메인: 평균 정확도는 **42.53%**로 상승하며, 추상적 작업에 비해 10~20% 포인트의 이득을 보였습니다.
• 신뢰성: 개선에도 불구하고 모델은 여전히 신뢰할 수 없습니다. 예를 들어, GPT-4o는 평균 54.2%를 기록하는 반면, 오픈 소스 모델들은 35%에서 47% 사이에 밀집되어 있습니다. 성능은 범주마다 크게 다릅니다 (예: 어떤 모델은 3D 추론에서 19%를 기록하지만 순서 완성에서는 24%를 기록할 수 있음).

3. 도구 증강 추론의 영향

도구 사용 능력(이미지 조작, 코드 실행)을 갖춘 OpenAI o3 모델은 상당한 성능 도약을 보여줍니다:

• 추상: 평균 정확도 50.2% (다른 모델들의 ~28% 대비).
• 자연: 평균 정확도 85.0%.
• 메커니즘: 도구 추적(tool traces) 분석 결과, o3는 요소를 격리하기 위해 크롭 및 확대를 자주 사용하고, 방향을 정규화하기 위해 회전을 사용하여 인지적 병목 현상을 효과적으로 완화하는 것으로 나타났습니다.

4. 진단 결과: 인지가 병목 구간이다

계층적 프로브 분석은 실패의 근본 원인을 밝혀냈습니다:

• 인지의 지배적 영향: 실패의 약 **56%**가 인지만의 문제(P-only)로 귀인되었고, **43%**는 인지와 추론의 복합 실패(P+R)로 나타났습니다.
• 추론의 희소성: 순수 추론 실패(R-only)는 전체 오류의 단 **1.1%**만을 차지했습니다.
• 시사점: 모델이 시각적 요소를 올바르게 인지할 때, 논리적 규칙을 안정적으로 적용할 수 있습니다. 주요 실패 모드는 이미지로부터 정확한 시각적 사실(개수, 위치, 방향 등)을 추출하지 못하는 능력의 부재입니다.

5. 미세한 인지 결함

특정 인지 범주는 뚜렷한 실패 프로필을 보입니다:

• 개수 세기(Counting): 가장 높은 실패율(73.8%).
• 위치 및 회전(Position & Rotation): 높은 실패율(58.2% 및 52.4% 각각).
• 색상(Color): 가장 낮은 실패율(31.4%), 이는 모델이 공간적 또는 양적 속성보다 외형 기반 속성에 더 잘 튜닝되어 있음을 시사합니다.
• 3D/깊이(3D/Depth): 높은 실패율(67.5%), 강한 3D 기하학적 사전 지식(prior)의 부족을 나타냅니다.

의의 및 주장

본 논문은 현재의 VLM이 고급 아키텍처와 도구 증강 추론을 갖추었음에도 불구하고, 여전히 신뢰할 수 없는 추상적 추론자라고 주장합니다. 주요 한계는 논리적 추론 능력의 부족이 아니라 인지적 병목 현상입니다.

주요 기여는 다음과 같습니다:

1. 새로운 벤치마크: VRIQ는 동일한 논리 구조를 사용하여 추상적 추론과 자연적 추론을 직접 비교할 수 있는 최초의 다차원 벤치마크를 제공합니다.
2. 진단 프레임워크: 계층적 프로브 방법론은 인지와 추론을 성공적으로 분리하여, 대다수의 "추론" 오류가 실제로는 인지 오류임을 밝혀냈습니다.
3. 실행 가능한 통찰: 연구 결과는 VLM 성능 향상을 위해 단순히 모델 크기나 추론 능력을 키우는 것보다 인지적 접지(perceptual grounding) (예: 더 나은 공간 인코딩, 개수 세기 메커니즘, 3D 사전 지식)를 우선시해야 함을 시사합니다. 저자들은 미래의 멀티모달 추론 발전이 단일 모델의 스케일링보다는 인지를 처리하기 위한 외부 절차(도구)를 오케스트레이션하는 것에 더 달려 있을 수 있다고 상정합니다.

저자들은 기술적(descriptive) 평가에서 진단적(diagnostic) 평가로 전환함으로써, VRIQ가 더 강력하고 신뢰할 수 있는 멀티모달 시스템을 개발하기 위한 원칙적인 토대를 제공한다고 결론짓습니다.