💬 NLP

Repetition Without Exclusivity: Scale Sensitivity of Referential Mechanisms in Child-Scale Language Models

이 논문은 아동 지향 언어로 학습된 언어 모델이 새로운 단어를 기존 대상에 매핑하는 상호 배타성 (mutual exclusivity) 편향을 보이지 않고, 오히려 반복에 기반한 참조 추론을 보이며, 이는 상호 배타성 편향이 선천적이기보다는 구체화된 경험적 입력 구조에 의존할 수 있음을 시사합니다.

원저자: Jon-Paul Cacioli

게시일 2026-03-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jon-Paul Cacioli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧩 핵심 이야기: "이름 없는 물건" 찾기 게임

1. 아이들의 놀라운 능력 (상호 배타성)
아이들에게 익숙한 '개'와 낯선 '이상한 모양의 장난감'을 보여주고 "저게 다크야!"라고 말하면, 아이는 자연스럽게 "아! '다크'는 저 낯선 장난감을 말하는구나!"라고 생각합니다. 이미 이름이 있는 '개'는 제외하고, 이름이 없는 물건에 새 이름을 붙이는 거죠. 이를 **'상호 배타성 (Mutual Exclusivity)'**이라고 합니다.

2. 연구자의 의문
"그런데, 컴퓨터가 단순히 책이나 대화 내용 (글자) 만 보고 배운다면, 이 똑똑한 '이름 찾기 능력'을 스스로 터득할 수 있을까?"

연구진은 이 질문에 답하기 위해 45 개의 다양한 크기를 가진 AI 모델 (아기용 언어 모델) 을 훈련시켰습니다. 이 모델들은 아이들에게 듣는 말 (CDS) 만으로 배웠습니다.

🔍 실험 결과: 컴퓨터는 "반복"을 좋아한다!

결과는 놀랍게도 AI 는 아이들과 정반대 반응을 보였습니다.

아이들: "이건 이미 '개'라고 불리잖아? 그럼 '다크'는 저쪽 낯선 물건이겠지!" (새로운 물건으로 이동)
AI 모델: "방금 '개'라고 불렀잖아? 그럼 다음에도 '개'라고 부를 거야!" (이미 들은 단어로 반복)

💡 비유: "친구와의 대화"

아이의 방식: 친구가 "저기 새로운 친구가 왔어!"라고 하면, 그 친구를 가리킵니다.
AI 의 방식: 친구가 "저기 철수가 왔어"라고 했을 때, AI 는 "아, 철수구나!"라고 생각한 뒤, 다음 문장에서도 계속 "철수"라는 단어를 반복해서 예측합니다.

AI 는 새로운 것을 찾아내는 게 아니라, **이미 들은 말을 반복해서 기억하는 것 (반복 강화)**에 훨씬 능숙했습니다. 모델이 커지고 훈련을 더 많이 받을수록 이 반복 현상은 조금씩 줄어들었지만, 절대 아이들처럼 "새로운 물건으로 넘어가는" 방향으로 바뀌지 않았습니다.

🎨 왜 이런 차이가 생길까? (가장 중요한 부분)

이 연구의 핵심 결론은 **"눈 (시각) 이 없으면, 이름과 물건을 연결할 수 없다"**는 것입니다.

아이들과 시각적 AI: 아이들은 눈으로 '개'라는 사물을 보고, '개'라는 소리를 연결합니다. "개"라는 이름이 이미 붙어있으니, 새로운 이름은 다른 사물에 붙여야 한다는 걸 눈으로 확인합니다.
글자만 보는 AI: 이 모델들은 책장만 뒤적입니다. "개"라는 글자가 자주 나오고, "다크"라는 글자가 드물게 나온다는 통계적 패턴만 배웠을 뿐입니다. 글자만으로는 "이건 이미 이름이 있네, 저건 이름이 없네"를 구분할 **실제 사물 (Referent)**이 없기 때문입니다.

🌟 비유: "지도 없는 나침반"

시각적 학습: 나침반 (단어) 을 들고 지도 (실제 사물) 를 보며 "이곳은 A 지점, 저곳은 B 지점"을 정확히 구분합니다.
글자만 학습: 나침반만 들고 지도 없이 바람 (통계) 만 쫓아갑니다. 바람이 "A 지점" 쪽으로 많이 불었으니, 계속 A 지점으로 가려는 것입니다.

💡 이 연구가 우리에게 주는 교훈

글자만으로는 부족하다: AI 가 아이처럼 세상을 이해하고 단어를 배우려면, 단순히 책을 많이 읽는 것만으로는 부족할 수 있습니다. 실제 사물을 보고 (시각적 경험), 그 사물과 단어를 연결하는 과정이 필수적입니다.
AI 의 한계와 가능성: 현재 글자만 보는 AI 는 "반복"을 잘하지만, "새로운 것을 추측하는" 아이 같은 직관은 아직 부족합니다. 하지만 이는 AI 가 멍청해서가 아니라, 배운 데이터의 종류 (글자 vs 사물) 가 다르기 때문이라는 것을 보여줍니다.
새로운 진단 도구: 연구진은 "AI 가 진짜로 이해하는 건지, 아니면 단순히 글자 패턴만 흉내 내는 건지" 구별하는 새로운 검사법 (Context-Dependence Diagnostic) 을 개발했습니다. 이는 앞으로 AI 가 얼마나 똑똑한지 평가하는 데 큰 도움이 될 것입니다.

📝 한 줄 요약

"글자만 보고 배운 AI 는 '새로운 이름'을 찾아내는 아이의 직관을 가지지 못하며, 대신 '이미 들은 말'을 반복하는 습관을 들인다. 진정한 언어 이해를 위해서는 글자뿐만 아니라 '실제 세상 (시각)'을 함께 봐야 한다."

1. 연구 배경 및 문제 제기 (Problem)

상호 배타성 (Mutual Exclusivity, ME) 의 부재: 상호 배타성은 아동이 새로운 단어를 배울 때, 이미 이름이 붙은 대상이 아닌 새로운 대상에 그 단어를 매핑하려는 인지적 편향입니다. 이는 초기 어휘 습득의 핵심 메커니즘으로 알려져 있습니다.
기존 연구의 한계: 기존 계산 모델 연구에서 ME 가 관찰된 사례는 모두 시각적 기반 (grounded) 모델 (이미지, 객체 표현 등 참조 대상이 있는 모델) 에 국한되었습니다.
핵심 질문: 참조 대상 (referents) 이 전혀 없는 텍스트 전용 (text-only) 언어 모델이 아동 대상 언어 (Child-Directed Speech, CDS) 로만 학습되었을 때, 분포적 학습 (distributional learning) 만으로 ME 가 발생할 수 있는가?
BabyLM 패러다임의 공백: BabyLM 챌린지 등 아동 규모 데이터로 학습된 모델들의 평가는 주로 구문 (syntax) 이나 자연어 이해 (NLU) 에 집중되어 왔으며, 화용론적 참조 (referential pragmatics) 는 평가되지 않았습니다.

2. 방법론 (Methodology)

저자는 ME 를 **"참조 억제 (referential suppression)"**로 정의하고, 이를 검증하기 위해 체계적인 실험을 설계했습니다.

데이터셋: AO-CHILDES (미국 영어 아동 대상 언어, 약 400 만 토큰). 이 데이터셋은 명사 반복이 매우 빈번한 특징이 있습니다.
모델 아키텍처 및 규모:
- 확인 실험 (Confirmatory): GPT-2 아키텍처를 기반으로 한 45 개의 autoregressive 모델.
  - 크기: Small (2.9M), Medium (8.9M), Large (33.5M) 파라미터.
  - 학습 기간: 5, 10, 20 에포크.
  - 시드 (Seed): 각 조건당 5 개 (총 45 개 모델).
- 파일럿 (Pilot): BabyBERTa (Masked LM) 및 단일 AR 모델.
평가 배터리 (Evaluation Battery):
1. Familiar-Familiar Suppression Track (H1): 두 개의 익숙한 대상 중 하나를 명명했을 때, 그 명칭이 다음 문장에서 다시 나올 확률이 감소하는지 (ME) 또는 증가하는지 (반복 프라임) 확인.
2. Context-Dependence Diagnostic (H2): 진짜 ME 인지, 임베딩 유사성 (embedding similarity) 에 의한 인공적 현상인지 구분하기 위해, 문맥에 익숙한 단어가 있는지 없는지 (nonce tokens) 를 조작하여 테스트.
3. Dose-Response Track (H3): 반복 횟수 (0~3 회) 에 따라 프라밍 효과가 선형적으로 증가하는지 확인.
전제 등록 (Pre-registration): 파일럿 연구 결과를 바탕으로 실험 설계, 가설, 통계적 검정 방법을 사전에 등록하여 투명성을 확보했습니다.

3. 주요 결과 (Key Results)

모든 규모 (2.9M~33.5M 파라미터) 와 학습 기간에서 ME 는 발견되지 않았으며, 오히려 강력한 '반복 프라밍 (Repetition Priming)'이 관찰되었습니다.

ME 부재 및 반복 프라밍 (H1 확인):
- 9 개의 모든 실험 셀 (모델 크기 × 학습 기간) 에서 익숙한 단어가 재명명되었을 때, 해당 단어의 예측 확률이 감소하지 않고 오히려 증가했습니다 (Anti-ME).
- Anti-ME 비율은 85%~100% 사이였으며, 모든 셀에서 통계적으로 유의미했습니다 ( $p < 2.4 \times 10^{-13}$ ).
- 언어 모델링 능력 (Perplexity, PPL) 이 향상될수록 프라밍 효과는 약화되었으나, 절대 0 을 넘어 ME(억제) 로 반전되지는 않았습니다.
맥락 의존성 진단 (H2 확인):
- 문맥에 익숙한 단어가 포함된 조건보다, 익숙한 단어가 없고 비어있는 단어 (nonce) 만 있는 조건에서 'ME 와 유사한' 패턴이 더 강하게 나타났습니다.
- 이는 ME 가 실제 참조 해소가 아니라, 임베딩 공간에서의 유사성에 기인한 인공적 현상임을 시사합니다.
용량 - 반응 관계 (H3 부분 확인):
- 반복 횟수가 증가함에 따라 프라밍 효과가 증가하는 경향은 모든 모델에서 관찰되었으나, 가장 성능이 좋은 모델 (Large, 20 에포크) 에서 엄격한 단조성 (strict monotonicity) 은 다소 약화되었습니다. 이는 모델이 담화 수준의 통계 (주제 전환 등) 를 학습했기 때문으로 해석됩니다.
PPL 과 프라밍의 상관관계:
- Perplexity 와 프라밍 크기 간에 음의 상관관계 ( $\rho = -0.533$ ) 가 있었습니다. 즉, 모델이 언어를 더 잘 학습할수록 반복 프라밍은 줄어들지만, 0 을 넘어 양의 값 (ME) 으로 전환되는 지점은 관측되지 않았습니다.

4. 핵심 기여 및 발견 (Key Contributions)

텍스트 전용 모델의 ME 부재 증명: 아동 규모 데이터와 텍스트 전용 아키텍처만으로는 상호 배타성 (ME) 이 발생하지 않으며, 대신 CDS 의 높은 명사 반복 통계에 기반한 '반복 프라밍'이 우세함을 처음 체계적으로 입증했습니다.
맥락 의존성 진단 도구 (Context-Dependence Diagnostic): 프롬프트 기반 평가에서 관찰되는 화용론적 효과가 실제 추론인지, 단순한 임베딩 유사성 아티팩트인지 구분하는 재사용 가능한 방법론을 제시했습니다.
Grounded Cognition (지각 기반 인지) 이론의 지지: ME 는 단어 - 참조 대상 매핑이 필요하며, 이를 위해서는 텍스트 이상의 **참조 대상 (referents) 이 존재하는 환경 (Grounding)**이 필수적일 수 있음을 시사합니다. 이는 베이즈 어휘 학습 이론 (referent set 필요) 과도 일치합니다.
BabyLM 평가의 새로운 지평: 구문 및 NLU 를 넘어, 화용론적 참조 능력 평가가 아동 규모 모델 연구에 필수적임을 강조했습니다.

5. 의의 및 결론 (Significance & Conclusion)

구조적 한계: 텍스트 전용 분포 학습은 CDS 의 통계적 특성 (반복) 을 학습하여 참조 추적 (reference tracking) 을 수행할 수는 있지만, 참조 대상이 없는 환경에서는 배타성 (exclusivity) 을 학습할 수 없습니다.
선천성 vs 경험: 이 연구는 ME 가 선천적 언어 기제 (nativist) 가 아니라, **입력 데이터의 구조 (참조 대상의 유무)**에 의존하는 경험적 현상임을 시사합니다.
미래 방향: 텍스트 전용 모델의 한계를 극복하고 진정한 참조 능력을 획득하기 위해서는 다중 모달 (multimodal) 접근법 (텍스트 + 이미지/객체) 이 필요하다는 결론을 내립니다.

요약하자면, 이 논문은 "아동용 텍스트만으로 학습된 언어 모델은 새로운 단어를 배울 때 기존 단어를 배제하는 (ME) 능력이 없으며, 오히려 반복되는 단어를 더 잘 예측하는 (Repetition Priming) 성향을 보이며, 이는 참조 대상 (Grounding) 이 부재하기 때문"임을 통계적으로 엄밀하게 증명했습니다.