기술 요약: LaViSA – 언어 및 시각적 구조적 모호성 벤치마크

1. 문제 정의

구조적 모호성(Structural ambiguity)은 단일 문장이 그 통사적 구조로 인해 여러 가지 유효한 해석을 지원할 때 발생하며, 이는 언어 이해에 있어 근본적인 과제를 제기합니다. 인간은 실세계의 상호작용에서 외적 언어적 단서, 특히 시각적 장면을 활용하여 이러한 모호성을 빈번하게 해결하는 반면, 현재의 시각-언어 모델(VLM)은 이러한 능력에 대한 체계적인 평가가 부족합니다.

기존 벤치마크는 주로 구성성(compositionality, 단어 순서에 따른 의미 변화를 평가) 또는 일반적인 모호성 해결에 집중합니다. 그러나 이러한 벤치마크들은 단일 문장이 시각적 문맥에 따라 고유한 의미적 해석으로 명확히 구분되어야 하는 구조적 모호성을 구체적으로 분리하여 다루지 않습니다. 본 연구가 다루는 핵심 문제는 VLM이 시각적 장면을 사용하여 구조적 모호성을 효과적으로 해결할 수 있는지 여부이며, 이는 실질적인 인간-AI 협업을 위한 중요한 단계입니다.

2. 방법론: LaViSA 벤치마크

저자들은 시각적 장면을 사용하여 구조적 모호성을 해결하는 능력을 평가하기 위해 설계된 벤치마크인 **LaViSA (Language and Vision Structural Ambiguity)**를 소개합니다.

2.1 데이터셋 구축

LaViSA는 7개의 구조적 모호성 카테고리에 걸쳐 1,503개의 샘플로 구성됩니다. 데이터 구축 과정은 다음과 같습니다:

1. 시드 데이터(Seed Data): Text-to-Image Ambiguity Benchmark(TAB)로부터 시작하여, 저자들은 모호한 문장들을 선택하고 선별했습니다.
2. 증강(Augmentation): GPT-4o를 사용하여 시드 데이터를 확장하고, 각 카테고리당 2~3개의 명확하게 해소된(disambiguated) 문장과 쌍을 이루는 추가적인 모호 문장들을 생성했습니다.
3. 이미지 생성: 각 명확히 해소된 문장에 대응하는 이미지는 DALL-E 3를 사용하여 생성되었습니다. 견고성을 테스트하기 위해 이미지는 만화(cartoon) 스타일과 실사(photorealistic) 스타일 모두로 제작되었습니다.
4. 검증: 독립적인 인간 주석가들이 생성된 이미지가 의도된 명확한 문장에 올바르게 대응하는지 검증하였으며, 모든 카테 카테고리에서 90% 이상의 검증 정확도를 달성했습니다.

2.2 모호성 카테거리

본 벤치마크는 구조적 모호성을 다음과 같은 7가지 뚜렷한 언어적 패턴으로 분류합니다:

• VP (Verb Phrase Attachment, 동사구 부착): 동사구가 문장의 어느 부분에 수식되는지에 대한 모호성.
• PP (Prepositional Phrase Attachment, 전치사구 부착): 전치사구가 어느 헤드(head)를 수식하는지에 대한 모호성.
• Anaph (Anaphora, 대용어): 대명사의 선행사에 관한 모호성.
• Ellip (Ellipsis, 생략): 생략된 구절을 해석하는 데 발생하는 모호성.
• Adj (Adjective Scope, 형용사 범위): 형용사가 단일 명사를 수식하는지 또는 병렬된 구를 수식하는지에 대한 모호성.
• Vb (Verb Scope, 동사 범위): 동사 유래 수식어가 하나 또는 복수의 병렬 요소에 적용되는지에 대한 모호성.
• Conj (Conjunction Scope, 접속 범위): 접속사가 문장 요소들을 어떻게 그룹화하는지에 대한 모호성.

2.3 과업 정식화

과업은 제어된 객관식 문제로 정식화되었습니다. 모호한 문장과 이를 명확히 하는 이미지가 주어졌을 때, VLM은 후보군 중에서 올바른 해석(명확히 해소된 문장)을 선택해야 합니다. 이러한 정식화는 자유 텍스트로 명확한 문장을 생성할 때 발생하는 메트릭 의존성 문제를 방в합니다.

2.4 평가 지표

두 가지 지표가 사용되었습니다:

• 시도당 정확도 (Per-trial Accuracy, PT-Acc): 모델이 올바른 해석을 선택한 개별 시도의 백분율.
• 문장당 정확도 (Per-sentence Accuracy, PS-Acc): 모델이 연관된 모든 해석을 올바르게 해결한 모호한 문장의 백분율. 이 지표는 동일한 문장에 대해 서로 다른 시각적 문맥이 주어졌을 때 의미적 변화를 추적하는 일관성을 평가합니다.

3. 실험 설정

저자들은 다양한 범위의 VLM을 평가했습니다:

• 독점 모델 (Proprietary Models): GPT-5.2, Gemini 3.1 Pro, Gemini 3.1 Flash-Lite.
• 오픈 소스 모델: LLaVA-OneVision, Gemma3, Qwen3-VL(4B에서 32B 파라미터 범위)의 지시 조정(instruction-tuned) 및 추론 중심("thinking") 변체들.

4. 주요 결과

4.1 전반적인 성능

• 독점 모델 vs. 오픈 소스 모델: 독점 모델이 일반적으로 오픈 소스 모델보다 우수한 성능을 보였습니다. Gemini 3.1 Pro가 가장 높은 종합 점수(PT-Acc 88.9%, PS-Acc 77.7%)를 기록했습니다.
• 오픈 소스 리더: 오픈 소스 모델 중에서는 Qwen3-VL-32B가 가장 우수했으며, 80% 이상의 PT-Acc(81.9%)를 달성했습니다.
• 추론 변체: 놀랍게도, Qwen3-VL의 추론 중심("thinking") 변체들은 일반적으로 지시 조정된 버전보다 낮은 성능을 보였습니다.

4.2 모호성 카테고리별 성능

• 쉬운 카테고리: 부착 관련 카테고리(VP, PP)와 범위 관련 카테고리(Adj, Vb)가 가장 높은 정확도를 보였습니다. 이들은 주로 국소적인 시각적 단서(예: 객체의 위치, 속성)에 의존합니다.
• 어려운 카테고리: Ellip(생략)과 Conj(접속)는 모든 모델에서 일관되게 어려운 과제로 남았습니다. 이 카테고리들은 전역적인 의미 구조를 복구하고 제로 대용어(zero anaphora)나 복잡한 그룹화 관계를 처리해야 합니다.
• 무작위 베이스라인: 모든 모델이 무작위 확률을 유의미하게 상회하였으며, 이는 시각적 장면이 유용한 모호성 해소 정보를 제공함을 확인시켜 줍니다.

4.3 시각적 스타일 및 일관성

• 이미지 스타일: 모델은 만화 이미지보다 실사 이미지에서 더 나은 성능을 보였는데, 이는 자연스러운 이미지 분포와의 사전 학습 정렬 때문으로 보입니다. 그러나 두 스타일 모두에서 강한 성능을 보인 것은 본 벤치마크가 단순히 합성된 인공물에만 의존하지 않음을 시사합니다.
• 일관성 격차: PT-Acc와 PS-Acc 사이에 상당한 격차가 존재합니다(종종 PS-Acc가 PT-Acc의 제곱 또는 세제곱 수준임). 이는 모델이 개별 시도는 해결할 수 있지만, 동일한 모호한 문장에 대해 시각적 증거가 변할 때 의미 구조가 어떻게 변하는지를 일관되게 추적하는 데 어려움을 겪고 있음을 나타냅니다.

4.4 질적 분석

(Qwen3-VL-32B-Thinking의) 추론 근거 분석 결과 특정 실패 모드가 드러났습니다:

• 접속 범위 (Conjunction Scope): 모델은 시각적으로 존재하지만 의미론적으로 술어와 관련이 없는 객체를 구별하는 데 어려움을 겪습니다 (예: 주어가 들고 있는 물체를 단순히 근처에 있는 것으로 오인함).
• 생략 (Ellipsis): 모델은 복잡한 상호작용에서 기저의 술어-인자 구조를 추론하는 데 실패하며, 종종 반복적인 추론 루프에 빠지거나 공간적 구성을 의미적 역할로 오해합니다.

5. 의의 및 주장

본 논문은 LaViSA가 시각적 장면을 사용하여 구조적 모호성을 해결하는 VLM의 능력을 체계적으로 평가하는 첫 번째 벤치마크라고 주장합니다.

• 시각적 단서의 검증: 결과는 시각적 장면이 구조적 모호성을 해결하기 위한 효과적인 추가 정보로 작용하며, 현재의 VLM이 이를 상당 부분 활용할 수 있음을 확인시켜 줍니다.
• 한계 식별: 진전에도 불구하고, VLM은 다음과 같은 한계를 보입니다:
  1. 복잡한 모호성 유형: 특히 돌출된 객체 탐지를 넘어 깊은 의미적 통합이 필요한 Ellipsis 및 Conjunction scope에서 한계를 보입니다.
  2. 일관된 의미 추적: 모델은 시각적 문맥이 미세하게 변할 때 일관된 의미적 해석을 유지하는 데 어려움을 겪으며, 이는 시각적 장면에 언어 의미론을 완전히 접지(grounding)하는 데 격차가 있음을 시사합니다.
• 향러 방향: 저자들은 VLM이 시각과 언어 전반의 의미를 완전히 이해하고 통합할 수 있도록 하는 연구의 필요성을 강조하며, 특히 복잡한 구조적 관계에 대한 연구를 제안합니다. 또한, 합성 이미지는 통제된 평가를 가능하게 하지만, 생성 모델의 잠재적 편향을 완화하기 위해 향후 연구에서는 자연스럽게 수집된 이미지를 탐구해야 한다고 언급합니다.

저자들은 이 분야의 추가 연구를 촉진하기 위해 코드와 데이터를 공개적으로 제공합니다.