기술 요약: 10년간의 시각-언어 AI 모델의 정확도 및 시각-인지적 오류 진화

1. 문제 정의

지난 10년 동안 시각-언어 모델(VLM)은 시각적 추론 측면에서 놀라운 발전을 보여왔으나, 기존의 평가는 복잡한 인간의 상호작용과 행동이 결여된 단순한 장면 데이터셋(예: MS-COCO)에 과도하게 의존하고 있다. 결과적으로, 현재의 벤치마크는 사회적 역동성이 포함된 일상적인 시각적 추론의 어려움을 충분히 포착하지 못할 수 있다. 또한, 이전 연구들은 모델이 범하는 구체적인 시각-인지적 오류의 유형이나 이러한 오류 프로필이 어떻게 진화했는지 분석하기보다는 집계된 성능 지표(예: BLEU, CIDER)에 주로 집중해 왔다. 모델이 복잡한 시나리오에서 진정으로 인간 수준의 추론 능력을 달성했는지 이해하고, 구조적 발전에도 불구하고 지속되는 특정 오류 유형이 무엇인지 식별할 필요가 있다.

2. 방법론

2.1 데이터셋

본 연구는 두 가지 구별된 데이터셋을 활용한다:

• 복잡한 사회적 행동(CSB) 데이터셋: 주로 영화 장면에서 추출된, 복잡한 사회적 상호작용과 복잡한 인간 행동을 묘사하는 100개의 이미지로 구성된 새로운 데이터셋.
• MS-COCO 데이터셋: 복잡한 사회적 역동성이 없는 단순한 장면(예: 사물, 단순 활동)을 특징으로 하는 표준 MS-COCO 데이터셋에서 무작위로 선택된 100개의 제어 세트.

2.2 평가 대상 모델

저자들은 2017년부터 2025년까지의 기간을 아우르는 9개의 시각-언어 모델을 평가하였다:

• Pre-MLLM (4개 모델): Up-Down Captioner (UDC), Meshed Memory Transformer (M2M), OSCAR, 그리고 OFA. 이들은 일반적으로 ResNet-101 백본과 LSTM 또는 Transformer 인코더/디코더를 활용한다.
• 멀티모달 대규모 언어 모델 (MLLM) (5개 모델): GPT-4, Gemini, GPT-4o1, GPT-5.1, 그리고 Gemini3. 이들은 방대한 이미지-텍스트 쌍과 인간 피드백 기반 강화 학습을 통해 훈련된 Transformer 아키텍처를 사용한다.

2.3 인간 벤치마킹

• 골드 스탠다드(Gold Standard) 생성: 각 이미지에 대해 Amazon Mechanical Turk를 통해 20개의 인간 설명을 수집하였다. 별도의 작업자 50명이 이 설명들의 순위를 매겼으며, 가장 높은 순위를 받은 설명이 "골드 스탠다드" 역할을 한다.
• 인간 성능 베이스라인: 모델과의 비교를 위한 성능 경계를 설정하기 위해 상위 4개와 하위 4개의 인간 설명을 유지하였다.

2.4 평가 지표

• 의미적 유사도: 본 연구는 대규모 언어 모델이 생성한 텍스트 임베딩의 코사인 유사도를 계산하는 Gemini-Similarity Index (Gemini-SI)와 GPT-Similarity Index (GPT-SI)를 사용한다. 검증 결과, 이 지표들은 BERTScore보다 인간의 평가와 더 강한 상관관계를 보였다.
• 오류 분류 체계: 5가지 구체적인 시각-인지 오류 유형을 정의하고 분석하였다:
  1. 객체 탐지(Object Detection): 장면에 존재하는 관련 객체를 탐지하지 못함.
  2. 객체 인식(Object Recognition): 탐지된 객체를 잘못 분류함.
  3. 환각(Hallucination): 이미지에 존재하지 않는 객체를 묘사하거나 무관한 객체를 관련 있는 것으로 오분류함.
  4. 장면 이해(Scene Understanding): 객체를 올바르게 인식했으나 설명에서 누락함.
  5. 공간 의존성(Spatial Dependence): 모델과 인간이 설명을 생성할 때 동일한 이미지 영역에 얼마나 의존하는지를 측정하는 새로운 지표. 이는 이미지의 1/3을 가리는 차폐 마스킹(occlusion masking) 패러다임을 사용하여, 특정 영역의 손실이 인간과 모델의 설명에 유사하게 영향을 미치는지 여부를 판단함으로써 평가되었다.

2.5 통계 분석

200개의 제한된 샘플 크기로 인해, 저자들은 변동성과 일반화 가능성을 추정하기 위해 부트스트래핑(10,000회 재표본 추출)을 활용하였다. 유의 수준은 Benjamini-Hochberg 방법을 사용하여 허위 발견율(FDR)에 대해 교정되었다.

3. 주요 결과

3.1 성능 진화

• 복잡한 장면 vs 단순한 장면: Pre-MLLM은 MS-COCO에 비해 CSB 데이터셋에서 현저히 낮은 성능을 보였으며, 종종 하위 순위의 인간 설명보다 낮은 성능을 기록했다. 반면, MLLM은 CSB 데이터셋에서 상위 순위의 인간 설명과 유사한 정확도를 달в Achieving하여, 단순한 장면(MS-COCO)과 복잡한 장면(CSB) 사이의 성능 격차를 효과적으로 제거했다.
• 훈련 데이터 편향 체크: MLLM이 CSB에 사용된 영화 장면을 단순히 암기했을 가능성을 배제하기 위해, 저자들은 미학습 이미지가 포함된 자체 데이터셋으로 모델을 테스트했다. MLLM은 인간과 유사한 높은 성능을 유지한 반면, Pre-MLLM(특히 OFA)은 여전히 현저히 낮은 성능을 보여, 이러한 개선이 데이터 암기가 아닌 모델 능력에 의한 것임을 확인했다.

3.2 오류 분석

• 오류 감소: MLLM은 두 데이터셋 모두에서 탐지, 인식 및 환각 오류를 거의 제거했다. Pre-MLLM은 MS-COCO에 비해 CSB 데이터셋에서 이러한 오류율이 유의미하게 높았다.
• 지속되는 공간 의존성: MLLM에게 여전히 유의미하게 남아있는 유일한 오류 유형은 **공간 의존성 오류(SDE)**이다. MLLM은 이전 모델들에 비해 SDE를 줄였으나, 여 설명을 생성할 때 여전히 인간과 다른 이미지 영역에 의존하는 경우가 발생한다.
• 정확도에 미치는 영향: 탐지, 인식 및 환각 오류가 의미적 유사도 점수에 가장 큰 부정적 영향(Gemini-SI를 0.38–0.41로 낮춤)을 미쳤다. 장면 이해 오류는 중간 정도의 영향을 미쳤으며, 공간 의존성 오류는 전체 유사도 점수에 가장 적은 영향(0.56)을 미쳤다.

4. 기여도

• CSB 데이터셋: MS-COCO와 같은 표준 데이터셋의 한계를 해결하며, 복잡한 사회적 상호작용에서의 시각적 추론을 평가하기 위해 설계된 전용 벤치마크를 도입하였다.
• 오류 분류 체계: 10년간의 모델 진화 과정에 적용된 포괄적인 시각-인지 오류 분류(탐지, 인식, 환각, 장면 이해, 공간 의존성)를 제공한다.
• 방법론적 혁신: 모델의 내부 가중치에 접근할 필요 없이 모델 불가지론적(model-agnostic) 방식으로 모델과 인간이 어디에 주의를 기울이는지 비교할 수 있는 마스킹 패러다임을 개발하여 공간 의존성 오류를 정량화하였다.
• 종단적 분석: 2017년부터 2025년까지 9개의 모델을 독특하게 평가하여, 작업 특화형 Pre-MLLM에서 범용 MLLM으로의 전환을 기록하였다.

5. 의의 및 주장

본 논문은 MLLM이 단순한 장면(MS-COCO)과 복잡한 사회적 장면 사이의 장면 묘사 정확도 격차를 성공적으로 메워 복잡한 작업에서 인간 수준의 성능에 도달했음에도 불구하고, 인간의 시각적 추론 과정과는 완전히 일치하지 않는다는 점을 주장한다. 특히, 공간 의존성 오류의 지속은 MLLM이 복잡한 상호작용을 설명할 때 여전히 인간과는 다른 시각적 단서나 영역에 의존할 수 있음을 시사한다.

저자들은 이러한 결과가 VLM의 발전에 대한 더 철저한 평가를 제공하며, "사실적" 오류(탐지, 인식, 환각)는 상당 부분 극복되었지만, 이미지로부터 정보를 추출하는 방식에 관한 더 깊은 인지적 불일치(공간적 불일치)가 여전히 남아있음을 강조한다. 이 연구는 모델을 MS-COCO와 같은 단순한 데이터셋만으로 평가하는 것이 복잡한 인간 행동과 관련된 특정 도전 과제와 오류 프로필을 은폐할 수 있음을 강조하며, 향후 개선은 이러한 공간적 및 추론적 불일치를 해결해야 한다고 결론짓는다.