More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage

1. 문제 정의 (Problem Statement)

• 배경: 비전 - 언어 모델 (VLM) 은 사실적인 (photorealistic) 이미지 생성 및 이해에 탁월한 능력을 보이지만, 관용구적 의미 (idiomatic meaning) 나 추상적인 개념을 시각적으로 표현하거나 해석하는 데 어려움을 겪습니다.
• 핵심 문제: 모델이 이미지를 '현실의 시뮬레이션 (Iconicity)'으로만 처리할 때, '상징적 코드 (Symbolism)'로서의 해석이 저해됩니다. 특히 명사구 (Noun Compounds, 예: 'Eye Candy') 와 같은 관용구에서 모델은 구성 요소의 문자 그대로의 시각적 특징 (예: 실제 눈과 사탕) 에 매몰되어 관용적 의미를 놓치는 문자적 우월성 편향 (Literal Superiority Bias) 을 보입니다.
• 가설: 고해상도의 사실적인 시각적 디테일 (텍스처, 조명 등) 이 모델의 추상적 추론을 방해하는 '시각적 잡음 (Visual Noise)'으로 작용하여, 의미론적 정렬 (Semantic Alignment) 을 저해한다는 것입니다.

2. 방법론 (Methodology)

A. DIVA 벤치마크 (Dataset)

• 개념: DIVA (Distilled Idiomatic Visual Abstraction) 는 고해상도 사실적 이미지를 개념적 아이콘 (Iconographic) 으로 변환한 새로운 벤치마크입니다.
• 구현:
  • 각 명사구 (NC) 에 대해 문자적 (Literal) 과 관용적 (Idiomatic) 의미를 모두 표현하는 쌍을 생성합니다.
  • 사실적인 디테일 (텍스처, 배경, 조명) 을 제거하고 단순화된 도식적 (schematic) 스타일로 이미지를 재현하여 '의미의 핵심'만 남깁니다.
  • ADMIRE 데이터셋의 200 개 명사구를 기반으로 총 1,000 개의 아이콘 이미지로 구성되었습니다.
• 목적: 시각적 사실주의가 의미 해석에 미치는 혼란 요인 (confound) 을 통제하고, 시각적 단순화가 의미론적 정렬을 향상시키는지 검증합니다.

B. 평가 지표 (Metrics)

모델 아키텍처에 관계없이 적용 가능한 의미론적 정렬 간격 (Semantic Alignment Gap, $\Delta$) 과 방향성 편향 (Signed Literal Bias, $b(t)$) 을 정의했습니다.

• $\Delta(t)$ (간격의 크기): 문자적 해석과 관용적 해석 사이의 시각적 정렬 점수 차이의 절대값. 값이 작을수록 모델이 두 의미를 잘 구분하거나 균형 있게 처리함을 의미합니다.
• $b(t)$ (편향의 방향): $S(v_{lit}, t) - S(v_{id}, t)$ 로 계산. 양수이면 문자적 선호, 음수이면 관용적 선호를 나타냅니다.
• 3 가지 평가 방식 (아키텍처별):
  1. 차별적 모델 (Discriminative, 예: CLIP): 임베딩 공간의 기하학적 거리 (코사인 유사도) 를 활용.
  2. 오픈 소스 생성 모델 (Open-Generative, 예: LLaVA): 토큰 확률 기반의 '관용적 구분 가능성 (LID)'을 활용.
  3. 폐쇄형 상용 모델 (Proprietary, 예: GPT-5): 자가 보고 신뢰도 점수 (Self-reported Confidence) 및 강제 선택 (Forced-choice) 빈도를 활용.

3. 주요 기여 (Key Contributions)

1. DIVA 벤치마크 도입: 고해상도 시각적 디테일을 제거한 도식적 (Iconographic) 이미지를 통해 명사구의 관용적 의미를 평가하는 통제된 환경 제공.
2. 아키텍처 무관한 지표 개발: 차별적, 생성형, 폐쇄형 모델 모두에 적용 가능한 의미론적 정렬 간격 ($\Delta$) 과 편향 ($b$) 지표 제안.
3. 실증적 발견: 모델의 규모 (Scale) 만으로는 문자적 편향이 해결되지 않으며, 오히려 시각적 단순화 (Iconographic Abstraction) 가 모델의 추상적 추론 능력을 활성화한다는 것을 입증.

4. 실험 결과 (Results)

8 개의 최신 VLM 모델 (SigLIP, EVA-CLIP, InternVL3, GPT-5 등) 을 평가한 결과는 다음과 같습니다.

• 문자적 우월성 편향의 존재: 모든 모델이 고해상도 (Photo) 이미지에서는 문자적 해석을 선호하는 편향 ($b > 0$) 을 보였습니다. 모델 크기가 커져도 이 편향이 완전히 사라지지 않았습니다.
• 아이코노그래픽 효과 (Iconographic Effect): DIVA(도식적 이미지) 를 사용하면 모든 아키텍처에서 의미론적 정렬 간격 ($\Delta$) 이 유의미하게 감소했습니다.
  • 예: GPT-5 의 경우 $\Delta$ 가 0.065(Photo) 에서 0.021(Icon) 로 급격히 감소하여 거의 0 에 수렴했습니다.
  • 이는 고해상도의 사실적 디테일이 모델의 추론 능력을 방해하는 '인지적 간섭 (Cognitive Interference)'을 일으켰음을 시사합니다.
• 정확도 향상: 의미 (Sense) 가 명시적으로 주어지는 5 가지 선택 과제에서도 도식적 입력을 사용할 때 모든 모델군의 정확도가 크게 향상되었습니다 (예: GPT-5 는 78.5% → 91.3%).

5. 의의 및 결론 (Significance & Conclusion)

• 인지 기호학적 통찰: 이 연구는 VLM 이 '현실의 시뮬레이션'과 '상징적 코드'를 구분하는 데 어려움을 겪고 있음을 지적합니다. 고해상도 이미지는 모델로 하여금 물리적 사실성에 집착하게 만들어 추상적 의미 (관용구) 를 왜곡시킵니다.
• 해결 방향: 모델의 추상적 이해 능력을 향상시키기 위해서는 입력 시각 정보를 도식화 (Iconographic Abstraction) 하거나, 모델이 고해상도 렌더링 전에 도식적 기호를 '읽을' 수 있도록 훈련해야 함을 제안합니다.
• 미래 작업: 다국어 및 문화적 확장 (관용구의 문화적 차이), 그리고 '대조적 관용구 튜닝 (Contrastive Idiom Tuning)'을 통한 모델 개선 프레임워크 개발을 계획하고 있습니다.

요약하자면, 이 논문은 VLM 이 복잡한 시각적 디테일에 매몰되어 관용적 의미를 놓치는 문제를 해결하기 위해, 시각적 단순화 (Iconographic Abstraction) 가 오히려 모델의 의미론적 이해를 돕는다는 역설적인 사실을 발견하고 이를 정량적으로 증명했습니다.