기술 요약: VKnowU

문제 정의

멀티모달 거대 언어 모델(MLLM)은 객체와 속성을 인식하는 데는 능숙함을 보여주었으나, 세상을 지배하는 근저의 물리적 및 사회적 원리에 대한 직관적이고 인간다운 이해는 자주 결여되는 모습을 보입니다. 이러한 격차는 인지(perception)와 추론(reasoning) 사이를 연결하는 고차원의, 시각에 기반한 의미론적 계층인 **시각적 지식(visual knowledge)**의 결핍을 나타냅니다. 현재의 모델들은 다중 스케일 특징이나 고해상도 입력을 통해 미세한 인지 능력은 뛰어나지만, 물리적 궤적을 예측하거나 주관적인 의도를 추론하는 것과 같이 깊은 추론에 필요한 내재된 직관적 지식에는 어려움을 겪고 있습니다. 결과적으로 MLLM은 취약한 언어적 사전 지식(language priors)에 의존하게 되어, 환각 현상이 발생하고 진정한 세계 이해가 필요한 작업에서 낮은 성능을 보입니다.

방법론

1. VKnowU: 포괄적인 벤치마크

저자들은 인지적 정확도와 인지적 추론 사이의 격차를 정량적으로 측정하기 위해, 1,249개의 비디오와 1,680개의 객관식 질문으로 구성된 비디오 벤치마크인 VKnowU를 도입했습니다. 이 벤치마크는 두 가지 도메인으로 분류되는 8가지 핵심 시각적 지식 차원을 중심으로 구조화되어 있습니다:

• 세계 중심 (물리적):
  • 직관적 물리학 (Intuitive Physics): 물리적 타당성 판단 (예: 중력, 객체 영속성).
  • 객체 어포던스 (Object Affordance): 구조적 특성에 기반한 기능적 용도 결정.
  • 객체 재질 (Object Material): 내재적 또는 행동적 단서를 통한 재료 구성 식별.
  • 공간 인지 (Spatial Awareness): 상대적 위치 및 내비게이션 추론.
• 인간 중심 (심리적/사회적):
  • 사건 예측 (Event Anticipation): 사회적 규범에 기반한 확률적 후속 사건 추론.
  • 정신 상태 (Mental State): 내부 심리 상태 및 정서적 분위기 추론.
  • 사회적 관계 (Social Relation): 대인 관계 및 역할 추론.
  • 주관적 의도 (Subjective Intention): 관찰된 행동 뒤에 숨겨진 근본적인 목표 재구성.

데이터셋 구축:
본 벤치마크가 언어적 사전 지식이나 오디오 신호가 아닌 순수하게 시각적 지식을 엄격히 평가하도록 하기 위해, 저자들은 다음과 같은 엄격한 **QA 재구성 파이프라인(QA Reformulation Pipeline)**을 채택했습니다:

1. 오디오 의존도 최소화: 오디오 트랜스크립트로 해결 가능한 질문(유사도 > 0.3)은 제외되었습니다.
2. 언어 편향 감소: 텍스트 전용 LLM으로 해결 가능한 질문(Pass@10 ≥ 0.5)은 제외되었습니다.
3. 오답 후보 강화: 오답 선택지들이 의미론적으로는 그럴듯하지만 틀린 내용이 되도록 재구성하여, 소거법 전략을 방지했습니다.
4. 인간 검증: 최종적인 수동 검토를 통해 명확성과 특정 시각적 지식 역량과의 일치성을 확인했습니다.

2. VideoKnow+: 시각적 지식을 위한 베이스라인 모델

식별된 결핍을 해결하기 위해, 저자들은 시각적 지식을 명시적으로 통합하도록 설계된 베이스라인 모델인 **VideoKnow+**를 제안합니다. 이 접근 방식은 See–Think–Answer (보고-생각하고-답하기) 패러다임을 따릅니다:

• 구조화된 출력: 모델은 추론(Think)하고 답하기(Answer) 전에, 스스로 완결된 시각적 묘사("See")를 생성하도록 제약됩니다. 이는 모델이 인지된 시각적 증거에 기반하여 추론을 고정하도록 강제합니다.
• 강화 학습 (RL): 모델은 특화된 **시각적 지식 보상($r_v$)**과 함께 **GRPO (Group Relative Policy Optimization)**를 사용하여 학습됩니다. 외부의 고정된 MLLM이 검증자 역할을 하여, 생성된 시각적 묘사가 추가적인 추론 없이 답을 도출하기에 충분한지를 결정합니다.
• VKnowQA: VideoKnow+의 학습을 지원하기 위해 대규모 학습 코퍼스(VKnowQA-30K 및 VKnowQA-CS-12K)를 구축하였으며, 평가 벤치마크와의 데이터 누수를 방지했습니다.

주요 결과

VKnowU에서의 SOTA MLLM 평가

저자들은 28개의 최첨단(SOTA) MLLM(GPT-4o, Gemini-3.0, InternVL3.5와 같은 오픈 소스 및 독점 모델 포함)을 평가했습니다.

• 전반적인 격차: 가장 성능이 좋은 모델인 Gemini-3.0-Pro조차 **76.3%**를 기록하여, 인간의 성능(93.0%)보다 16.7% 뒤처졌습니다.
• 세계 중심적 결핍: 격차는 물리적 과업에서 가장 두드러졌습니다. 모델들은 직관적 물리학에서 인간보다 37.0%, 공간 인지에서 32.7% 뒤처졌으며, 일부 모델은 이 카테고리에서 무작위 추측을 겨우 넘어서는 수준이었습니다.
• 인간 중심적 성능: 모델들은 인간 중심적 과업에서 상대적으로 더 나은 성능을 보였는데(최고 81.9%), 이는 인스트럭션 튜닝 데이터에 사회적 서사가 널리 퍼져 있기 때문으로 보입니다.
• 스케일링 분석: LLM 백본 크기를 키우는 것(예: 4B에서 8B로)은 일반 벤치마크에 비해 VKnowU에서 미미한 이득(+1.3%)만을 가져왔으며, 이는 성능의 한계가 언어 모델링 능력이 아닌 시각적 접지(visual grounding)에 있음을 시사합니다.

VideoKnow+의 성능

See–Think–Answer 구조와 시각적 지식 보상을 사용하여 VKnowQA로 VideoKnow+를 학습시킨 결과 유의미한 개선이 나타났습니다:

• VKnowU: 베이스라인(Qwen2.5-VL-7B) 대비 +3.7% 향상되었습니다.
• 일반화: 다른 비디오 벤치마크에서도 일관된 성능 향상을 입증했습니다:
  • MVBench: +5.4%
  • Video-MME: +7.0%
  • MMVU: +5.7%
• 절제 실험 (Ablation): 구조화된 형식을 위한 지도 학습(SFT)과 시각적 지식 보상($r_v$)을 결합한 GRPO의 조합이 가장 효과적인 전략임이 밝혀졌습니다.

의의 및 주장

본 논문은 시각적 지식이 일반화 가능한 MLLM을 개발하는 데 있어 누락된 초석이라고 주장합니다. 저자들의 주장은 다음과 같습니다:

1. 현재의 한계: 표준적인 다음 토큰 예측 목표는 텍스트와 정렬된 감독만으로는 암묵적인 물리적 역동성이나 사회적 뉘앙스를 포착하기 어렵습니다.
2. 가교 역할: 시각적 지식은 언어적 사전 지식에 대한 과도한 의존도를 줄이고 환각을 완화하는 중요한 중간 계층 역할을 합니다.
3. 학습 가능성: 결과는 시각적 지식이 학습 가능하다는 것을 보여줍니다. 추론 과정을 명시적으로 구조화(See–Think–Answer)하고 모델이 시각적 증거에 답변을 접지하도록 보상함으로써, MLLM은 더 견고하고 인간다운 이해를 달성할 수 있습니다.
4. 진단 도구: VKnowU는 물리적 접지와 사회적 추론을 분리하여, 이들이 현재 모델에서 서로 독립적인 인지 하위 시스템임을 드러내는 정밀한 진단 도구를 제공합니다.

이 연구는 시각적 지식의 명시적 통합이 MLLM을 단순히 "보는" 단계에서 물리적 및 사회적 세계를 진정으로 "이해하는" 단계로 진보시키기 위한 필수적인 단계임을 강조합니다.