Quantification and object perception in Multimodal Large Language Models and human linguistic cognition

1. 연구 문제 (Problem)

• 배경: 양화 (Quantification, 예: '모든', '일부', '많은', '적은') 는 인간의 추상적 관계, 논리, 실용적 (pragmatic), 수치적 인지를 연결하는 핵심 언어 현상입니다.
• 문제점: (멀티모달) 대규모 언어 모델 (MLLMs) 은 양화 관련 작업에서 인간에 비해 성능이 떨어지는 것으로 알려져 있으나, 그 정확한 원인은 불명확합니다.
• 연구 격차: 기존 연구는 주로 영어에 국한되었으며, 양화의 세 가지 핵심 인간 인지 특성이 MLLM 아키텍처에서 어떻게 처리되는지, 그리고 모델 유형 (사고/추론 모델 vs 일반 지시 모델) 과 언어 간 차이가 있는지 체계적으로 분석한 연구가 부족했습니다.
• 핵심 질문:
  1. 왜 일부 MLLM 은 인간처럼 양화사를 사용하지 못하는가? (양화의 스케일 조직, 사용 범위 및 원형성, 수량 추정 편향 등)
  2. 수학적 능력이 다른 모델 (사고 모델 vs 일반 모델) 간에 성능 차이가 있는가?
  3. 언어 간 (영어, 그리스어, 러시아어, 스페인어, 이탈리아어, 카탈로니아어) 성능 패턴이 일관적인가?

2. 방법론 (Methodology)

• 실험 설계:
  • 자극물: 검은색 정사각형과 흰색 원이 무작위로 배치된 이미지 (512x512 캔버스). 정사각형의 수 (N) 와 원의 수 (100-N) 를 변화시킴.
  • 작업: 참가자 (인간 및 모델) 는 이미지의 정사각형 비율을 가장 잘 설명하는 양화사 ('몇 개', '일부', '많은', '대부분') 를 선택하고, 정사각형의 **대략적인 비율 (%)**을 추정하도록 요청받음.
  • 목표: 모델의 실패가 '수량 추정 능력 (이미지 내 객체 수 파악)'에 있는지, 아니면 '양화사와 비율 간의 매핑 (내부 의미론)'에 있는지 구분.
• 참가자:
  • 인간: 6 개 언어 (영어, 그리스어, 러시아어, 스페인어, 이탈리아어, 카탈로니아어) 로 총 240 명 (언어당 40 명).
  • 모델: 5 가지 MLLM 사용.
    • 사고 (Thinking/Reasoning) 모델: o4-mini, GLM-4.6V-thinking (강화 학습을 통해 긴 사고 체인 생성 훈련).
    • 지시 (Instruct/General-purpose) 모델: GPT-4o, Gemma 3, Molmo 2.
• 데이터 수집: 각 모델마다 40 회 실행, 총 4,560 건의 인간 응답과 모델 응답 분석 (불완전 응답 제외).

3. 주요 기여 (Key Contributions)

• 다국어 및 다모델 비교 분석: 양화 연구에 영어 외의 다양한 언어 (슬라브, 헬레니즘, 로망스, 게르만 어족 포함) 와 최신 사고 모델 (Reasoning models) 을 도입하여 비교 분석한 최초의 연구 중 하나.
• 인지적 메커니즘 분리: 모델의 오류가 '시각적 수량 인식 (Approximate Number System)' 문제인지, '의미론적/실용적 매핑 (Quantifier-Proportion Mapping)' 문제인지를 구분하여 분석.
• 양화사의 인간적 특성 평가: 양화사의 스케일 조직 (Scale ordering), 사용 범위 및 원형성 (Ranges of use & Prototypicality), 수량 추정 편향이라는 세 가지 인간 인지 특성을 MLLM 성능 지표로 구체화.

4. 결과 (Results)

A. 수량 추정 능력 (Approximate Number System)

• 인간: 이미지 내 정사각형 비율 추정에 높은 정확도 보임.
• 모델 비교:
  • 사고 모델 (Thinking): 인간과 유사한 높은 정확도 보임.
  • 지시 모델 (Instruct): 정사각형 비율이 50% 이상일 때 비율을 과소평가하는 경향이 강함.
  • 통계적 유의성: 사고 모델이 인간에 더 가깝고, 지시 모델은 인간과 유의미하게 다른 경향을 보임.

B. 양화사 생산 및 의미 매핑 (Production of Quantifiers)

• 스케일 조직 (Scale Ordering):
  • 인간: 대부분의 언어에서 <적은 (a few) < 일부 (some) < 많은 (many) < 대부분 (most)> 순서의 일관된 스케일 유지.
  • 사고 모델: 인간과 유사한 스케일 순서를 보이지만, 언어별 및 모델별 변이가 존재함 (예: GLM-4.6V 는 '많은'과 '일부'의 범위가 겹침).
  • 지시 모델: 인간과 다른 순서를 보임. 예를 들어, '대부분 (most)'이 '많은 (many)'보다 더 큰 비율을 나타내야 함에도 불구하고, GPT-4o 나 Gemma 3 에서는 '많은'이 더 높은 비율에 할당되거나 순서가 뒤섞임.
• 사용 범위 및 원형성 (Ranges & Prototypicality):
  • 인간: '대부분 (most)'의 원형적 사용 비율은 91-100% 구간.
  • 모델: 사고 모델과 지시 모델 모두 '대부분'의 원형적 비율을 51-70% 정도로 낮게 설정.
  • 범위 (IQR): 모델들은 인간에 비해 사용 범위가 너무 좁거나 넓게 분포하여, 양화사의 문맥적 임계값 (threshold) 을 정확히 설정하지 못함.
• 통계적 유의성: 모든 모델 유형에서 인간과 통계적으로 유의미한 차이가 존재. 특히 '많은 (many)'과 '일부 (some)'는 모든 언어와 모델에서 인간과 가장 큰 차이를 보임.

C. 언어적 일반화

• 모델은 언어 간에 인간과 동일한 패턴을 보이지 않음.
• 로망스 어군 (스페인어, 이탈리아어, 카탈로니아어) 내에서도 일관된 행동 패턴이 관찰되지 않아, 모델이 언어별 독립적인 표현을 가지고 있을 가능성이 높음.
• 영어가 가장 우수한 성능을 보인 언어가 아니었으며, '많은 (many)'은 모든 언어에서 모델에게 가장 어려운 양화사로 나타남.

5. 의의 및 결론 (Significance & Conclusion)

• 모델의 한계 규명: MLLM 의 양화 실패는 단순히 객체 인식 오류가 아니라, **분포 기반 의미론 (Distributional Semantics)**의 한계에서 기인함. 모델은 통계적 패턴은 학습하지만, 논리적이고 실용적인 양화사의 본질 (집합론적 정의, 문맥적 임계값, 인간적 원형성) 을 완전히 포착하지 못함.
• 사고 모델의 역할: 강화 학습 (RL) 을 통한 '사고 모델'은 수량 추정과 스케일 조직 면에서 일반 모델보다 인간에 가깝지만, 여전히 원형성 (Prototypicality) 과 사용 범위 측면에서는 인간과 차이가 있음. 이는 RL 이 논리적 추론은 향상시킬 수 있으나, 인간적 실용적 추론 (Scalar Implicature 등) 을 완전히 대체하지는 못함을 시사.
• 언어적 관점: 모델은 인간처럼 중심화된 개념 표현을 여러 언어로 외부화하는 것이 아니라, 언어별로 독립적인 신경/언어 지도를 가지고 있을 가능성이 높음.
• 미래 방향: 본 연구는 MLLM 을 '의미론적 및 실용적 에이전트'로 평가하는 기준을 마련하며, 모델의 인지적 타당성과 추론 능력을 이해하는 데 중요한 통찰을 제공함.

이 논문은 MLLM 이 인간의 언어 이해 깊이를 모방하는 데 있어 양화 (Quantification) 가 얼마나 엄격한 테스트베드인지 보여주며, 모델의 내부 표현이 인간 인지 메커니즘과 어떻게 다른지를 체계적으로 규명했습니다.