Grounded Concreteness: Human-Like Concreteness Sensitivity in Vision-Language Models

기술 요약: 시각-언어 모델의 근거 있는 구체성 (Grounded Concreteness)

문제 제기
본 논문은 인지 과학과 인공지능의 핵심적인 긴장 관계를 다룬다: 즉, "의미"가 텍스트만으로 회복될 수 있는가, 아니면 지각적 근거(perceptual grounding)를 필요로 하는가? 거대 언어 모델(LLM)은 텍스트 분포로부터 학습하지만, 인간의 개념은 "구체성(concreteness)"이라는 점진적 차원을 가진다. 구체적인 단어(예: 사과)는 감각적 지각과 밀접하게 연결되어 있는 반면, 추상적인 단어(예: 정의)는 관계적이고 맥락 의존적이다. 저자들은 시각-언어 모델(VLM)이 멀티모달 사전 학습을 거침으로써, 텍-전용 LLM과 비교했을 때 언어적 구체성에 대해 더 인간과 유사한 민감도를 발달시키는지 조사한다. 이때 평가는 텍-전용 프롬프트를 사용하여 수행된다.

연구 방법론
본 연구는 시각적 근거(visual grounding)의 효과를 격리하기 위해 통제된 절제 설계(ablation design)를 채택한다.

• 모델 비교: 저자들은 메타(Meta)의 Llama 3.1 텍스트 전용 모델(8B 및 70B 파라미터)과 그에 대응하는 Llama Vision 3.2 모델(11B 및 90B 파라미터)을 쌍으로 비교한다. 비전 모델은 텍스트 모델을 백본(backbone)으로 사용하며, 멀티모달 데이터셋을 통해 학습되었다.
• 평가 프로토콜: 결정적으로, 모든 평가는 텍스트 전용 프롬프트를 사용하여 수행된다(추론 시 이미지를 제공하지 않음). 이는 성능 차이가 직접적인 시각적 입력 때문이 아니라, 멀티모달 사전 학습 과정에서 학습된 내부 표현으로부터 발생했음을 보장하기 위함이다.
• 3단계 분석: 저자들은 세 가지 상호 보완적인 수준에서 증거를 삼각 측량한다:
  1. 출력 행동 (Output Behavior): 인간의 규범(Brysbaert et al., 2014)에서 도출된 문장 수준의 구체성 점수에 따라 분류된 다양한 벤치마크(ARC, BoolQ, Winogrande 등)에서 질의응답(QA) 정확도를 측정한다.
  2. 임베딩 기하학 (Embedding Geometry): 저차원 공간(t-SNE)에서의 토큰 표현 조직을 분석하여, 토큰들이 구체성 수준에 따라 클러스터링되는지 테스트한다.
  3. 주의 역학 (Attention Dynamics): 주의 엔트로피(attention entropy)를 통해 맥락 의존성을 정량화한다. 심리언어학 이론에 기반하여, 추상적 토큰은 더 넓은 맥락(높은 엔트로피)을 필요로 하고, 구체적 토큰은 집중된 주의(낮은 엔트로피)에 의존한다는 가설을 세운다.
• 인간 정렬 (Human Alignment): 모델에 토큰 수준의 구체성 등급을 생성하도록 프롬프트를 제공하고, 이를 인간의 규범 분포와 대칭 KL 발산(symmetric KL divergence)을 사용하여 비교한다.

주요 결과
두 모델 규모(8B/11B 및 70B/90B) 모두에서, VLM은 텍스트 전용 모델에 비해 우수한 구체성 민감도를 보였다:

• QA 성능: VLM은 전반적으로 LLM보다 높은 성능을 보였으나, 질문의 구체성이 높아질수록 성능 격차가 유의미하게 벌어졌다. 이러한 이점은 지각 가능한 개체 및 공간 관계를 포함하는 질문에서 가장 두드러졌으며, 이는 시각적 근거가 구체적 의미론을 위한 스캐폴드(scaffold)를 제공함을 시사한다.
• 표현 기하학: t-SNE 투영에서, VLM의 토큰 표현은 텍스트 전용 LLM에서 보이는 확산된 분포와 달리, 매우 구체적인 단어들에 대해 더 조밀하고 연속적인 클러스터를 형성했다. 클러스터 내 분산에 대한 정량적 측정은 VLM이 구체적 토큰에 대해 더 낮은 분산(더 조밀한 클러스터링)을 달성함을 확인시켜 주었다.
• 주의 패턴: VLM은 토큰 구체성과 주의 엔트로피 사이의 강한 음의 상관관계를 나타냈다. VLM의 구체적 토큰은 낮은 엔트로피(더 집중된 주의)를 보였고, 추상적 토킨은 높은 엔로피를 보였다. 이러한 분리는 LLM보다 VLM에서 더 뚜렷하게 나타났으며, 특히 네트워크의 초기-중기 레이어에서 그러했다.
• 인간 정렬: VLM은 LLM보다 인간의 규범에 더 가깝게 일치하는 구체성 등급을 생성했다. 이러한 정렬은 인간의 구체성 등급이 높아짐에 따라 유의미하게 개선되었으나, LLM의 정렬 경향은 더 약하고 통계적으로 덜 신뢰할 수 있었다.

의의 및 주장
본 논문은 시각적 감독(visual supervision)이 학습 과정에서 더 인간과 유사한 구체성 민감도를 유도한다는 것을 통제된 방식으로 입증했다고 주장한다. 언어 백본을 일정하게 유지함으로써, 본 연구는 시각적 근거를 다음 사항의 인과적 요인으로 격리하여 규명한다:

1. 행동적 견고성: 구체적 개념에 대한 QA 성능 향상.
2. 표현 구조: 임베딩을 점진적 구체성을 반영하는 기하학적 구조로 조직화.
3. 처리 역학: 주의 메커니즘을 넓은 맥락에 덜 의존하고 구체적인 단어에 더 집중하도록 변화시킴(이중 부호화 및 근거 지각 이론(Paivio, 1990; Barsalou, 2008)과 일치).

저자들은 구체성을 근거 지각 관련 행동을 진단하기 위한 원칙적이고 해석 가능한 축으로 제시하며, 인지 이론과 계산적 진단 사이의 가교를 제공한다. 그들은 VLM이 단순히 전역적 성능을 높이는 것이 아니라, 지각적으로 근거가 있는 단어들에 대해 내부 표현과 판단을 우선적으로 교정한다고 주장한다.

한계점
저자들은 본 연구가 단일 모델 제품군(Llama)에 국한되어 있어 다른 아키텍처나 언어로의 일반화가 제한될 수 있음을 인정한다. 또한, 접근 불가능한 사전 학습 토큰 수로 인해 완전히 통제되지 않은 어휘 빈도(lexical frequency)가 잠재적 혼란 변수로 작용할 수 있다. 마지막으로, 본 분석은 최종 체크포인트에 집중되어 있어, 학습 과정 중 구체성 민감도의 발달 궤적은 탐구되지 않았다.