💬 NLP

Filling in the Mechanisms: How do LMs Learn Filler-Gap Dependencies under Developmental Constraints?

이 논문은 발달적 제약 하에 훈련된 언어 모델이 'wh-질문'과 '주제화' 간에 공유된 메커니즘을 학습할 수 있음을 보이지만, 인간과 유사한 일반화를 달성하기 위해서는 훨씬 더 많은 데이터가 필요함을 규명하여 언어 습득 모델에 언어 특이적 편향을 도입할 필요성을 강조합니다.

원저자: Atrey Desai, Sathvik Nair

게시일 2026-04-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Atrey Desai, Sathvik Nair

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍎 핵심 비유: "빈 자리 찾기 게임"

이 연구의 핵심은 **'필러 - 갭 (Filler-Gap) 의존성'**이라는 개념입니다. 이를 **'빈 자리 찾기 게임'**이라고 상상해 보세요.

상황: "누가 (Who) 선생님이 ___ 를 좋아했나요?"라는 문장이 있습니다.
게임: '누가 (Who)'라는 단어는 문장 앞쪽에 있지만, 실제로는 문장 끝의 **'빈 자리 (___)'**와 연결되어 있습니다.
과제: AI 는 이 '누가'와 '빈 자리'가 서로 연결되어 있다는 것을 알아내야 합니다.

인간 아이들은 이 규칙을 아주 어릴 때 (18 개월~3 세) 자연스럽게 배웁니다. 하지만 AI 는 이 규칙을 배우기 위해 엄청난 양의 데이터가 필요한지, 그리고 인간과 같은 방식으로 배우는지 확인해 보려고 했습니다.

🧪 실험 내용: "어린아이용 책상" vs "성인용 도서관"

연구자들은 두 가지 종류의 문장을 사용했습니다.

자주 나오는 문장 (Wh-questions): "무엇을 했니?" 같은 질문문. (아이들이 매일 듣는 말)
드물게 나오는 문장 (Topicalization): "그 책, 선생님이 읽었어."처럼 주제를 먼저 내세우는 문장. (아이들이 거의 듣지 않는 말)

연구진은 **BabyLM(베이비 LM)**이라는 모델을 사용했습니다. 이 모델은 **인간 어린이가 12 살까지 듣는 말의 양 (약 1 억 단어)**만큼만 학습했습니다. 이는 기존 거대 AI(수조 단어 학습) 와 달리, 인간 발달 단계에 맞춘 실험입니다.

그리고 **DAS(분산 정렬 검색)**라는 도구를 썼는데, 이는 AI 의 뇌속에서 "빈 자리 찾기 규칙"이 실제로 존재하는지, 그리고 다른 문장에도 적용되는지를 찾아내는 'X-레이' 같은 역할을 합니다.

🔍 주요 발견: 놀라운 결과들

1. "인간은 빨라요, AI 는 느려요" (발달 시간의 불일치)

인간: 1~2 세면 이 규칙을 깨닫습니다.
AI: 12 살 아이만큼의 데이터를 줘도, 규칙을 제대로 깨우치는 데는 훨씬 더 많은 시간이 걸렸습니다.
비유: 인간은 스스로 배우는 천재지만, AI 는 외우기만 하는 학생 같습니다. 인간은 적은 경험으로 규칙을 추리하지만, AI 는 수많은 예시를 반복해서 외워야만 비슷한 패턴을 찾아냅니다.

2. "문장마다 다른 뇌" (구문 특이성)

AI 는 자주 나오는 질문문 (Wh-questions) 과 드문 문장 (Topicalization) 을 서로 다른 규칙으로 배우는 경향이 있었습니다.
비유: 인간은 "이건 '빈 자리 찾기'라는 하나의 큰 규칙이야!"라고 생각하지만, AI 는 "질문문용 빈 자리 찾기"와 "주제선언문용 빈 자리 찾기"를 서로 다른 게임으로 따로따로 외우고 있었습니다. 서로 연결이 잘 안 되는 것입니다.

3. "의외의 방향" (전송의 비대칭성)

연구진은 "자주 나오는 문장 (Wh) 에서 드문 문장 (Topic) 으로 규칙이 전달될 것"이라고 예상했습니다.
결과: 오히려 드문 문장 (Topic) 에서 자주 나오는 문장 (Wh) 으로 규칙이 더 잘 전달되었습니다.
비유: 드문 문장을 배울 때 AI 가 "아, 이건 빈 자리 찾기구나!"라고 깨닫고, 그 규칙을 자주 나오는 문장에 적용하는 식이었습니다. (이는 AI 가 인간과 다른 방식으로 학습하고 있음을 보여줍니다.)

4. "비슷한 단어일수록 잘 연결됨" (어휘 부스트)

문장에 나오는 주체가 '사람'일 때와 '사물'일 때, 유사한 경우에 규칙 전이가 더 잘 일어났습니다.
비유: "선생님이 누가를 좋아했나?"와 "선생님이 누가를 좋아했나?"(사람 대 사람) 는 연결이 잘 되지만, "선생님이 누가를 좋아했나?"와 "선생님이 무엇을 좋아했나?"(사람 대 사물) 사이에는 연결이 약했습니다.

💡 결론: AI 는 인간이 될 수 있을까?

이 연구는 중요한 메시지를 남깁니다.

"단순히 많은 데이터를 주고 '다음 단어 예측'만 시키면, AI 는 인간처럼 언어를 배우지 못한다."

인간은 **선천적인 언어 학습 장치 (인도적 편향)**를 가지고 태어나서 적은 데이터로도 복잡한 규칙을 깨닫습니다. 하지만 AI 는 데이터 양이 인간을 훨씬 능가해야 비슷한 수준의 일반화를 이룹니다.

요약하자면:
AI 는 문법 규칙을 배우는 데 있어 인간과 완전히 다른 방식을 사용합니다. 인간은 "원리"를 이해하지만, AI 는 "방대한 예시"를 외우는 식입니다. 따라서 진짜 인간처럼 언어를 배우는 AI 를 만들려면, 단순히 데이터를 더 주는 것뿐만 아니라 **인간의 언어 학습 방식을 모방한 특별한 설계 (편향)**가 필요하다는 것이 이 논문의 결론입니다.

1. 연구 문제 (Problem)

배경: 인간은 '채우기 - 간격 의존성 (Filler-Gap Dependency)' (예: "What did the student make _?"에서 'What'과 빈칸 사이의 연결) 과 같은 문법적 구조를 다양한 구문 (wh-질문, 관계절, 주제화 등) 에서 공유되는 추상적인 메커니즘으로 학습합니다.
쟁점: 기존 연구 (Boguraev et al., 2025) 는 대규모 언어 모델 (수십억 파라미터, 웹 규모 데이터) 이 이러한 공유 표현을 학습할 수 있음을 보였습니다. 그러나 이는 인간이 평생 동안 접하는 데이터 양과 질을 반영하지 못합니다.
핵심 질문: 인간 발달 단계 (유아기~청소년기) 에 해당하는 제한된 양의 데이터 (BabyLM 규모) 로 훈련된 모델이 인간처럼 다양한 구문 간에 공유되는 채우기 - 간격 의존성의 인과적 표현 (causal representation) 을 학습할 수 있는가? 만약 가능하다면, 언제, 그리고 어떤 조건에서 나타나는가?

2. 방법론 (Methodology)

가. 데이터 및 모델

모델: BabyLM-100M (GPT-2-small 아키텍처 기반).
데이터: BabyLM Strict-100M 코퍼스 (영국 국어 코퍼스, CHILDES, 어린이 TV 자막 등 포함). 약 1 억 토큰으로, 영어권 어린이가 12 세까지 접하는 언어 입력량을 모방합니다.
체크포인트: 훈련 과정 중 100 만 토큰 (1M) 에서 1 억 토큰 (100M) 까지 다양한 단계의 모델 체크포인트를 분석하여 발달 궤적을 추적했습니다.

나. 실험 설계 (구문)

고빈도 구문: Wh-질문 (예: "Who did the teacher like _?"). 어린이 언어 입력에 흔함.
저빈도 구문: 주제화 (Topicalization, 예: "The author, the teacher liked _."). 어린이 언어 입력에 거의 없음.
변수: 생동성 (Animate: 'who', 'the author' / 무생물 Inanimate: 'what', 'the book').

다. 분석 기법: 분산 정렬 탐색 (DAS, Distributed Alignment Search)

목적: 모델의 내부 표현 공간에서 '채우기 존재 (Filler-Present)'라는 개념을 인과적으로 조작하여, 모델이 해당 의존성을 어떻게 표현하는지 확인.
과정:
1. 학습: 소스 문장 (Filler 있음) 과 베이스 문장 (Filler 없음) 의 내부 표현 차이를 학습하여 1 차원 서브스페이스 (방향 벡터 $a$ ) 를 찾음.
2. 개입 (Intervention): 베이스 문장의 표현에 학습된 벡터를 주입하여, 모델의 다음 토큰 예측이 소스 문장의 패턴 (빈칸 기대) 으로 변하는지 확인.
3. 지표: ODDS 점수 사용. 개입 후 모델 예측이 소스 문장 (Filler 있음) 쪽으로 얼마나 강하게 이동하는지 측정. 양의 값이 클수록 인과적 효과가 강함.

라. 실험 조건

국소화 (Localization): 동일 구문 내 학습 및 테스트 (Wh→Wh, Topic→Topic).
전이 (Transfer): 구문 간 학습 및 테스트 (Wh→Topic, Topic→Wh).

3. 주요 결과 (Results)

가. 발달 궤적 (Developmental Trajectory)

학습 데이터 양의 영향: 채우기 - 간격 의존성의 인과적 효과 (ODDS) 는 훈련 토큰 수에 따라 단조 증가했습니다.
발달 불일치: 100M 토큰 (청소년 수준) 에서는 강력한 효과 (MAX ODDS ≈ 10.6) 가 관찰되었으나, 인간 어린이가 의존성을 습득하는 시기 (약 18 개월~5 세, 10M 토큰 미만) 에서는 효과가 매우 약하거나 거의 없었습니다.
- 결론: 모델은 인간과 유사한 양의 데이터로는 추상적 규칙을 학습하지 못하며, 인간보다 훨씬 많은 데이터가 필요합니다.

나. 구문 특이성 (Construction Specificity)

국소화 vs 전이: 동일 구문 내에서의 학습 효과 (Wh→Wh) 가 구문 간 전이 효과 (Wh→Topic) 보다 통계적으로 유의미하게 높았습니다.
의미: 모델은 하나의 추상적인 '채우기 - 간격' 규칙을 학습하기보다, 구문별 (construction-specific) 및 항목별 (item-sensitive) 로 의존성을 학습하는 경향이 있습니다.

다. 전이 방향성 (Transfer Asymmetry)

예상과 반대: 저빈도 (Topic) 에서 고빈도 (Wh) 로의 전이 (Topic→Wh) 가 고빈도에서 저빈도로의 전이 (Wh→Topic) 보다 더 강력하게 나타났습니다.
해석: Wh-질문은 매우 흔하여 모델이 구문 특이적인 표현을 학습한 반면, 주제화는 드물기 때문에 학습될 때 더 일반화된 메커니즘을 반영했을 가능성이 있습니다. (단, 더 많은 데이터로 훈련된 후기 모델에서는 이 경향이 약화됨).

라. 어휘 부스팅 효과 (Lexical Boost)

생동성 일치: 학습과 테스트 시 생동성 (Animate/Inanimate) 이 일치할 때 전이 효과가 더 강했습니다. 이는 Boguraev et al. (2025) 의 '어휘 부스팅' 가설을 지지합니다.

4. 주요 기여 (Key Contributions)

발달적 관점의 검증: 기존 대규모 모델 연구 결과를 발달적으로 타당한 데이터 (BabyLM) 로 확장하여, 인간 학습자와 모델 학습 간의 '데이터 효율성' 격차를 실증적으로 확인했습니다.
인과적 해석 도구 적용: DAS 를 사용하여 모델의 내부 표현이 실제로 문법적 의존성을 인과적으로 부호화하는지, 그리고 그것이 구문 간에 공유되는지 확인했습니다.
학습 메커니즘 규명: 모델이 인간처럼 "하나의 추상적 규칙"을 학습하는 것이 아니라, 데이터 빈도와 항목에 민감하게 반응하는 개별적인 표현들을 점진적으로 학습함을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

언어 습득 모델링의 시사점: 순전히 다음 단어 예측 (Next-word prediction) 만으로는 인간과 유사한 입력 데이터 양으로 문법적 일반화를 달성할 수 없습니다. 이는 인간 언어 습득이 도메인 일반적 통계 학습 메커니즘과 언어 특유의 귀납적 편향 (Inductive Biases) 의 결합임을 시사합니다.
모델의 한계: 현재 LMs 는 인간보다 훨씬 많은 데이터 (초인간적 입력량) 를 필요로 하며, 학습된 표현이 인간처럼 완전히 추상화되지 않고 구문과 항목에 따라 분산되어 있습니다.
미래 방향: 언어 습득을 더 정확하게 모델링하기 위해서는 모델 아키텍처에 명시적인 언어적 편향을 도입하거나, 학습 가능한 가설 공간을 제한하는 연구가 필요합니다. 또한, 다양한 언어와 더 복잡한 문법적 제약 (Island constraints) 에 대한 연구가 필요합니다.

요약: 이 연구는 "데이터 양이 제한된 환경에서 LMs 가 인간처럼 문법적 일반화를 학습하는가?"라는 질문에 대해, "학습은 일어나지만, 인간보다 훨씬 많은 데이터가 필요하며, 학습된 표현은 인간처럼 추상적이고 공유되지 않고 구문/항목에 따라 분산되어 있다" 는 결론을 내렸습니다. 이는 언어 습득 연구에서 모델의 발달적 타당성을 평가할 때 데이터 양과 학습 타이밍을 고려해야 함을 강조합니다.