기술 요약: 언어 모델의 귀납적 추론에 대한 언어적 제약

문제 정의

인간의 인지는 범주에 대한 귀납적 추론 능력에 의존하며, 이 과정은 명제의 언어적 형태에 의해 크게 제약받는다. 발달 심리학 연구(Gelman et al., 2002)는 인간이 새로운 속성을 범주 구성원에게 확장할 때 세 가지 유형의 진술을 구별한다는 것을 입증했다:

1. 전칭 양화사 (Universal Quantifiers): "모든 곰은 daxable하다."
2. 일반론적 진술 (Generic Statements): "곰은 daxable하다." (무관사 복수형)
3. 부정칭 양화사 (Indefinite Quantifiers): "어떤 곰은 daxable하다."

인간은 귀납적 행동에서 일관된 단계적 패턴을 보인다: ALL(모든) > GENERIC(일반론) > SOME(어떤). "all"과 "some"의 논리적 제약은 명확하지만, 일반론(generics)의 지위는 이론적으로 복잡하다. 일반론은 반례에도 견고한 법칙적 일반화를 나타내지만, 언어적으로 명시적인 표지가 되어 있지 않기 때문이다.

본 논문이 다루는 핵심 문제는 범용 통계 학습기, 특히 시각-언어 모델(Vision Language Models, VLMs)이 인간과 유사하게 이러한 명제 유형을 구별하는 능력을 갖추고 있는지 여부이다. 즉, VLM이 단순히 표면 형태의 차이를 넘어 미묘한 언어적 단서(양화사 vs. 일반론)에 따라 귀납적 추론을 조절하는가 하는 점이다.

방법론

본 연구는 "종 간 공정성(species-fair)" 비교를 보장하기 위해 세 단계의 순차적 실험으로 구성된 Gelman et al. (2002)의 실험 설계를 VLM에 재현하였다.

1. 전제 조건 테스트 (Precondition Tests)

귀납적 추론을 테스트하기 전, 저자들은 후보 모델들이 두 가지 기본 전제 조건을 충족하는지 검증하였다:

• 범주 식별 (Category Identification): 모델이 이미지 내 특정 범주의 존재 또는 부재를 견고하게 식별할 수 있는지 테스트하였다. THINGS 데이터셋을 사용하여 모델에 긍정적 샘플과 부정적 샘플(유사성 기반, 분류학적, 무작위 샘별)을 질의하였다.
• 양화사 민감도 (Quantifier Sensitivity): 모델이 "all" 대 "some"의 범위를 이해하는지 테스트하기 위해 발달 심리학에서 영감을 얻은 새로운 벤치마크를 제작하였다. 이는 맥락(all/some), 질문 대상(all/some), 그리고 속성을 만족하는 개체의 비율을 변화시키는 6가지 조건을 포함하며, 두 가지 양상(시각+언어 및 언어 전용)으로 구성되었다.

2. 귀납적 추론 실험 (Inductive Inference Experiment)

전제 조건 테스트를 견고하게 통과한 모델(Qwen3-VL 4B 및 8B)만을 본 실험에 사용하였다.

• 자극 (Stimuli): 모델에게 새로운 속성(새로운 단어인 "daxable"이나 의사 과학 용어인 "T9 hormone" 사용)을 범주에 부여하는 전제를 제시하였다. 전제는 명제 유형(All, Some, Generic)에 따라 달라졌다.
• 과업 (Task): 모델은 특정 범주 구성원(이미지나 "나의 곰(my bear)"과 같은 소유 표현을 통해 제시됨)이 해당 새로운 속성을 가지고 있는지 판단하도록 요청받았다.
• 측정 (Measurement): 귀납적 일반화의 강도를 측정하기 위해 "예(Yes)" 응답의 상대적 확률($p_{rel}(Yes)$)을 계산하였다.

3. 사후 표현 분석 (Post-hoc Representation Analysis)

행동적 차이가 표면 형태의 인식에서 기인한 것인지, 아니면 더 깊은 의미론적 제약에서 기인한 것인지 결정하기 위해 저자들은 모델의 내부 벡터 표현을 분석하였다.

• 대조군 (Control): 어휘적 유사성에 의해 클러스터링이 발생하지 않도록 표면 형태의 변형(예: "all"을 "every"와 쌍을 이루게 하고, "some"을 "certain"과, 일반론을 부정 관사와 쌍을 이루게 함)을 도입하였다.
• 분석 (Analysis): Qwen3-VL-8B 모델의 다양한 레이어에 걸친 전제의 은닉 상태(hidden state) 표현에 대해 주성분 분석(PCA)을 수행하였다.

주요 결과

1. 전제 조건 성능

• 범주 식별: 대부분의 VLM은 긍정적 샘플에서는 높은 정확도를 보였으나, 유사성 기반의 부정적 샘플에서는 어려움을 겪었다. Qwen2.5-VL-7B와 Qwen3-VL-8B가 가장 높은 결합 정확도를 보였다.
• 양화사 민감도: 모델들은 일반적으로 "Some/Some" 조건에서 잘 수행하였다. 그러나 "All" 조건에서의 성능은 양상(modality)에 따라 차이를 보였으며, 많은 모델이 시각+언어 영역에서 어려움을 겪었다. 오직 Qwen3-VL 4B와 8B만이 모든 조건과 양상에서 완벽에 가까운 정확도를 보여 본 실험의 자격을 갖추었다.

2. 귀납적 추론 행동

선택된 VLM(Qwen3-VL 4B 및 8B)은 인간의 데이터와 행동적 일치를 보였다:

• 단계적 일반화: 특정 사례로 속성을 확장하는 확률은 ALL > GENERIC > SOME의 패턴을 따랐다.
• 양상 독립성 (Modality Independence): 이 패턴은 시각+언어와 언어 전용 양상 모두에서 유지되었으며, 이는 이러한 제약에 대한 일반적인 표현이 존재함을 시사한다.
• 유정성 효과 (Animacy Effects): "Generic" 전제는 무생물 범주에 대해 생물 범주보다 낮은 일반화 확률을 나타냈는데, 이는 일반론이 생물에 더 자주 적용된다는 언어적 관찰과 일치한다.

3. 내부 표현

모델의 은 lidden 상태에 대한 PCA 결과는 다음과 같다:

• 명제들이 단순히 표면 형태(예: "all"과 "every"가 순수하게 어휘적 차이만으로 "some" 및 "certain"과 구별되지 않음)에 의해 클러스터링되지 않았다.
• 대신, 표현들은 귀납적 제약에 따라 조직되었다. 중간 레이어(예: 18번 레이어)에서 근사 유의어인 명제들(예: "all" vs "every")은 서로 얽혔지만, 서로 다른 귀납적 범위(All vs. Some vs. Generic)를 가진 명제들은 분리되었다.
• 이러한 조직화는 모델이 명제의 단순한 어휘적 표면이 아니라, 일반화 범위에 관한 명제의 의미를 표현하고 있음을 시사한다.

주요 기여

1. 행동적 일치: 본 논문은 VLM이 인간의 귀납적 추론(Gelman et al., 2002)과 일치하는 방식으로 전칭, 일반론, 부정칭 명제를 구별할 수 있다는 증거를 제공한다.
2. 제약의 표현: 이러한 구분이 단순한 표면 형태의 유사성이 아닌, 귀납적 제약에 기반하여 모델의 내부 표현 공간에 인코딩되어 있음을 입증한다.
3. 발달 벤치마크: 저자들은 "all"과 "some"을 언어 및 시각+언어 양상 모두에서 테스트하기 위한 새로운 벤치마크를 공개하며, 모호한 양화사에 집중해 온 기존 문헌의 공백을 메운다.
4. 표면 형태에 대한 집중: 개념적 내용에 초점을 맞춘 이전 연구들과 달리, 본 연구는 개념적 내용은 일정하게 유지하면서 표면 형태의 변화(양화사)의 효과를 격리하여 조사하였다.

의의 및 주장

저자들은 자신들의 발견이 VLM이 인간의 인지적 제약을 반영하는 방식으로 명제를 조직한다는 것을 시사한다고 주장한다. 이는 일반론이 명시적 표지가 없고 의미론적으로 복잡하기 때문에 언어학자와 인지 과학자들에게 역사적으로 "수수께끼"였던 점을 고려할 때 매우 중요하다.

본 논문은 자신의 기여를 VLM과 인간 사이의 행동적 일치를 확립하는 것으로 겸손하게 규정한다. VLM이 철학적 의미에서 일반론을 "이해"한다거나 인간과 같은 인지를 가졌다고 주장하지 않는다. 대신, 두 시스템(인간과 VLM)이 어려운 문제(귀납적 제약 구별)를 해결하기 위해 유사한 기능적 제약을 충족함으로써 유사한 해결책을 제시한다면, 그들의 해결 방식은 기능적으로 유의미한 방식으로 유사할 수 있다고 상정한다(역변리 원칙(contravariance principle) 인용).

저자들은 결론적으로, (시각)LMs에 대한 기계적 분석이 일반론의 습득과 처리에 대한 통찰을 제공하여, 언어의 인지 심리학 분야의 오랜 문제에 대한 계산적 관점을 제시할 수 있을 것이라고 밝히며, 모델과 인간 사이의 훈련 데이터 규모 차이 및 단일 언어(영어) 연구라는 한계를 명시하였다.