💬 NLP

A Unified Assessment of the Poverty of the Stimulus Argument for Neural Language Models

이 논문은 신경 언어 모델이 선천적인 통사적 편향 없이도 제한된 데이터로부터 구조 의존적 일반화를 습득할 수 있는 반면, 아이들보다는 효율성이 떨어지며 인간과 같은 학습에 완전히 도달하기 위해서는 인지적으로 동기 부여된 추가적인 귀납적 편향이 필요함을 보여주는 통합 벤치마크인 \poshbench를 소개한다.

원저자: Xiulin Yang, Arianna Bisazza, Nathan Schneider, Ethan Gotlieb Wilcox

게시일 2026-08-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiulin Yang, Arianna Bisazza, Nathan Schneider, Ethan Gotlieb Wilcox

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수십 년 동안, 인간이 어떻게 언어를 배우는지에 대한 연구에는 하나의 핵심적인 수수께끼가 괴롭혀 왔습니다. 아이들은 종종 혼란스럽고 불완전한 언어의 흐름에 둘러싸여 있음에도 불구하고, 다섯 살이 될 때쯤이면 복잡하고 보이지 않는 문법 규칙들을 숙달합니다. 아이들은 어떤 문장이 불가능한 것인지 배우는데, 이는 성인이 "그것은 틀렸다"라고 말하거나 금지된 구절의 목록을 보여준 적이 없음에도 불구하고 이루어집니다. 아이들이 받는 제한적이고 무질서한 데이터와 그들이 습득하는 정교한 지식 사이의 이 간극은 "자극의 빈곤(poverty of the stimulus)"이라고 알려져 있습니다. 수 세대 동안 언어학자들이 옹호해 온 전통적인 설명은, 인간은 문법을 위한 특별하고 선천적인 청사진, 즉 뇌에게 어떤 규칙이 가능하고 어떤 것이 불가능한지를 알려주는 내장된 가이드를 가지고 태어난다는 것입니다. 이 논리에 따르면, 이러한 생물학적 우위를 갖추지 못한다면 입력되는 정보는 단순히 아이가 말하는 법을 가르치기에 너무 빈약하다는 것입니다.

최근 몇 년 동안 인공지능은 이 아이디어를 테스트할 새로운 방법을 제시했습니다. 과학자들은 방대한 양의 텍스트를 읽으며 학습하는 신경망이라는 컴퓨터 프로그램을 구축했습니다. 이 기계들은 문장에서 다음 단어를 예측하는 데 매우 능숙해졌으며, 명시적으로 규칙을 배우지 않고도 종종 인간의 문법을 모방합니다. 이러한 성공은 논쟁을 불러일다: 만약 기계가 단지 읽는 것만으로 복잡한 문법을 배울 수 있다면, 아마도 "자극의 빈곤"은 환상이며, 입력되는 정보는 사실 강력한 학습자라면 무엇이든 파악할 수 있을 만큼 충분히 풍부한 것이 아닐까 하는 점입니다. 그러나 이 비교에는 결정적인 결함이 남아 있었습니다: 컴퓨터는 수십억 개의 단어를 먹고 자라는 반면, 인간 아이는 그보다 훨씬 적은 양의 언어에 노 노출된다는 점입니다. 이 문제를 해결하기 위해, 연구자들은 기계가 아이와 동일한 양의 제한된 데이터만으로도 아이와 같은 어려운 규칙들을 배울 수 있는지 확인해야 했습니다.

조지타운 대학교와 흐로닝언 대학교의 연구팀은 POSH-BENCH라는 새로운 테스트 환경을 만들어 이 질문에 답하고자 했습니다. 그들은 오랫동안 선천적 지식의 가장 강력한 증거로 여겨져 온 네 가지 특정 문법 퍼즐에 집중했습니다. 여기에는 의문문을 만들 때 처음 들리는 조동사가 아니라 주요 보조 동사를 이동시키는 법을 배우는 방식, 특정 문장 구조가 단어의 이동을 차단한다는 것을 아는 법, 복잡한 문장에서 대명사가 누구를 지칭하는지 이해하는 법, 그리고 "want to"가 "wanna"로 축약되는 규칙을 다루는 미묘한 규칙 등이 포함됩니다. 연구진은 다섯 살까지 노출되는 언어의 규모인 1,000만 단어에서 5,000만 단어 사이의 범위를 아우르며, 아이의 언어 환경을 모방하도록 설계된 방대한 텍스트 라이브러리를 구축했습니다. 이는 현대의 컴퓨터 모델들이 보통 소비하는 양보다 수백만 배 더 작은 규모입니다.

연구팀은 이 아이 규모의 데이터로 세 가지 유형의 서로 다른 컴퓨터 모델을 훈련시켰습니다. 하나는 많은 현대 AI 도구의 기반이 되는 표준 신경망이었고, 다른 하나는 이전 방식의 네트워크였으며, 세 번째는 단어의 즉각적인 이력을 살펴보는 단순한 통계 모델이었습니다. "빈곤" 논거를 더욱 철저히 테스트하기 위해, 그들은 특정 문법 규칙의 예시를 의도적으로 모두 제거한 버전의 훈련 데이터를 만들었습니다. 이는 아이가 해당 규칙의 직접적인 예시를 전혀 듣지 못한 상황을 시뮬레이션한 것으로, 학습자가 언어의 나머지 부분으로부터 전적으로 간접적인 단서에만 의존하도록 강제하는 것입니다.

결과는 놀랍고도 미묘했습니다. 연구진은 고급 신경망이 제한된 아이 규모의 데이터로부터 이러한 어려운 문법 규칙들을 실제로 학습할 수 있다는 것을 발견했으며, 직접적인 예시가 없는 경우에도 그러했습니다. 모델들은 무작위 확률보다 유의미하게 높은 성과를 보였는데, 이는 입력되는 정보가 생각만큼 빈약하지 않으며, 강력한 학습 기계는 사전 프로그래밍된 문법 가이드 없이도 깊은 구조적 패턴을 추출할 수 있음을 시사합니다. 그러나 이야기는 거기서 끝나지 않았습니다. 기계들이 규칙을 배울 수는 있었지만, 인간 아이보다 훨씬 덜 효율적으로 학습했습니다. 데이터의 양이 증가함에 따라 기계의 성능도 향상되었으나, 여섯 살 아이의 속도와 정확도를 결코 따라잡지 못했습니다. 기계의 학습 곡선과 아이 사이의 간격은 여전히 넓게 유지되었으며, 이는 입력 정보가 학습 가능할지라도, 인간의 학습을 돕는 '다른 무언가'가 존재함을 나타냅니다.

연구진은 인간의 뇌가 작동하는 방식에서 영감을 얻은 특정 "편향(biases)"—즉 정신적 지름길—을 추가하는 것이 기계가 이 간극을 좁히는 데 도움이 될 수 있는지 테스트했습니다. 그들은 모델들에게 격차를 줄 수 있는 출발점을 제공하기 위해, 형식 논리 퍼즐로 훈련시키거나, 인간처럼 문장 구조에 주의를 기울이도록 강제하거나, 아이의 발달하는 작업 기억을 모방하여 기억을 제한하는 등의 시도를 했습니다. 이러한 변화들은 모델들의 전반적인 언어 이해 능력을 향와시켜 일반적인 테스트에서 더 견고하고 정확하게 만들었습니다. 그러나 결정적으로, 이러한 편향들이 자극의 빈곤 논거의 핵심인 특정하고 어려운 규칙들을 배우는 데 일관되게 도움을 주지는 못했습니다. 일반적인 문법에는 도움이 되었던 편향들이 아이들이 그토록 쉽게 마스터하는 특정 퍼즐들을 해결해주지는 못했던 것입니다.

이 연구는 결론적으로 이 논쟁이 단순한 "예" 또는 "아니오"로 결정되지 않았음을 시사합니다. 연구 결과는 아이들이 받는 입력 정보가 복잡한 문법을 습득하기에 충분하며, 이는 선천적인 규칙만이 유일한 경로라는 생각에 도전하는 것입니다. 그러나 기계가 여전히 인간의 효율성을 따라잡기 위해 고군투쟁한다는 사실은 인간의 학습이 단순히 통계적 패턴 매칭 이상의 것을 포함하고 있음을 시사합니다. 이는 아이들이 이 연구에서 테스트된 구조적 편향을 넘어서는 학습 메커니즘이나 제약 조건을 가지고 있음을 의미합니다. 인간의 뇌는 단순히 받는 데이터로부터 배우는 것이 아니라, 현재의 인공지능이 아직 완전히 재현하지 못한 독특하게 효율적인 방식으로 그 데이터로부터 배웁니다.

기술적 요약: 신경 언어 모델에 대한 자극의 빈곤 논쟁의 통합적 평가

문제 정의

자극의 빈곤(Poverty of the Stimulus, PoS) 가설은 아이들이 올바른 문법 규칙과 가능한 다른 대안들을 구별하기에는 너무 희소한 입력을 받음에도 불구하고 복잡한 언어적 일반화를 습득한다는 점을 상정한다. 이 논증은 전통적으로 학습자가 성공하기 위해서는 선천적이고 도메인 특화된 편향(생득주의)을 지녀야 함을 시사한다. 그러나 현대의 신경 언어 모델(LM)은 인상적인 통사적 역량을 보여주며 이러한 필요성에 도전하고 있다.

PoS 가설을 테스트하려는 기존의 계산 연구들은 세 가지 결정적인 한계에 직면해 있다:

규모의 불일치: 모델들은 종종 아이들의 다섯 살 때까지의 누적 언어 노출량(약 1,000만~5,000만 단어)을 초과하는 데이터 크기(1억 단어 이상)로 훈련되거나, 발달 단계와 일치하지 않는 데이터셋을 사용한다.
통합된 평가의 부재: 기존 연구들은 종종 개별 현상을 일관되지 않은 프로토콜을 사용하여 고립된 상태로 조사하며, 이는 현상 간의 교차 비교를 방해한다.
검증되지 않은 귀납적 편향: 인지적으로 동기 부여된 귀납적 편향이 단순히 광범위한 통사적 역량을 높이는 것인지, 아니면 PoS 현상에 대한 일반화 능력을 구체적으로 개선하는지는 여전히 불분명하다.

결과적으로, 신경 학습자가 발달적으로 타당한 입력을 통해 훈련될 때 인간만큼 신뢰성 있게 PoS 현상을 습득할 수 있는지, 그리고 기계와 인간 사이의 효율성 격차를 메우기 위해 선천적인 것과 유사한 편향이 필요한지는 명확하지 않다.

방법론

POSH-BENCH 벤치마크

저자들은 발달적으로 타당한 조건 하에서 신경 학습자를 평가하기 위해 설계된 통합 벤치마크인 POSH-BENCH를 도입한다. 이는 다음으로 구성된다:

훈련 데이터: 아이의 노출량에 근접하는 세 가지 규모(1,000만, 3,000만, 5,000만 단어)와 1억 단어 확장판을 포함한다. 코퍼스(BABY-BASE)는 아동의 입력 장르 다양성을 모사하기 위해 구어 전사 데이터(CHILDES, OpenSubtitles 등)와 단순화된 텍스트(TinyStories, Simple English Wikipedia)를 혼합하였다.
증거 조작: 직접적인 증거의 역할을 테스트하기 위해, 저자들은 대상 현상에 대한 모든 직접적인 긍정적 증거를 제거한 BABYZ를 만들고, 자연스러운 빈도로 직접 증거를 재삽입한 **BABY+**를 만들었다. WIKI 코퍼스는 성인 대상 베이스라인 역할을 한다.
평가 스위트: 9개의 하위 범주를 가진 4가지 전형적인 PoS 현상을 다루며, 각 하위 범주당 500개의 최소 쌍(minimal pairs)을 사용한다:
1. Yes/No 의문문 형성: 구조 의존적 보조사 이동을 테스트함.
2. Islands 제약(Island Constraints): 필러-갭 의존성(Complex NP, Wh-, Adjunct islands)에 대한 제한을 테스트함.
3. 결속(Binding): 재귀 대명사에 대한 원리 A 제약(국부성 및 c-command)을 테스트함.
4. Wanna-축약(Wanna-Contraction): want to의 축약에 대한 구조적 제한을 테스트함.

모델 및 훈련

본 연구는 세 가지 모델 클래스를 훈련하고 평가한다:

Transformer: 자기회귀 목적 함수를 사용하는 GPT-2 아키텍처 (1,000만 규모를 위한 mini, 더 큰 규모를 위한 small).
LSTM: 각 데이터 규모에 최적화됨.
n-gram: Kneser-Ney 평활화(smoothing)를 적용한 5-gram 모델 베이스라인.
귀납적 편향 (실험 3): 저자들은 세 가지 인지적으로 동기 부여된 편향을 테스트한다:
1. 약한 계층적 편향(Weak Hierarchical Bias): 섞인 k-Dyck 언어로 사전 훈련.
2. 강한 구조적 편향(Strong Structural Bias): 의존 구문 분석을 사용하여 주의(attention)를 유도하는 Tree-Planted Transformers (TPT).
3. 동적 최신성 편향(Dynamic Recency Bias): 훈련 초기에는 장거리 주의를 억제하고 시간이 지남에 따라 이를 완화하는 작업 기억 시뮬레이션.

평가 지표

성능은 최소 쌍에서의 정확도(더 낮은 퍼플렉시티를 가진 문장을 선택)로 측정된다. 유의성은 $\chi^2$ 검정과 베이지안 혼합 효과 모델을 사용하여 데이터 규모, 소스, 필터링의 효과를 분석함으로써 우연(50%)에 대해 평가된다.

주요 결과

1. 제한된 입력으로부터의 일반화 (실험 1)

Transformers: 직접적인 긍정적 증거가 없는 경우(BABYZ)에도 1,000만 단어 정도의 적은 양으로 PoS 현상에서 우연 이상의 정확도를 달성한다. 이는 간접적인 증거가 일부 계층적 일반화에 충분함을 시사한다.
LSTMs 및 n-grams: 현저히 약한 성능을 보인다. LSTM은 일관된 일반화를 위해 5,000만 단어 이상의 데이터가 필요하며, n-gram은 1억 단어에서도 종종 우연 이하의 성능을 보인다.
하위 범주별 차이: Transformer는 1억 단어에서도 특정 하위 범주(예: 의문문 형성에서의 목적격 관계절, Complex NP islands)에서 어려움을 겪으며, 이는 해당 현상들이 나중에 습득되는 발달 궤적을 반영한다.

2. 입력 유형 및 증거의 효과 (실험 2)

데이터 규모: 데이터 크기가 증가함에 따라 Transformer와 LSTM 모두에서 일반화 능력이 일관되게 향상된다.
입력 도메인: 발달적으로 타당한 데이터(BABY)로 훈련된 모델이 결속(Binding), 의문문 형성(Question Formation), Wanna 현상에 대해 성인 대상 텍스트(WIKI)보다 높은 성능을 보인다. 이는 성인 텍나 텍스트가 항상 구문에 더 우월하다는 발견과 상반되며, 아동 대상의 다양성이 특정 PoS 학습에 도움이 됨을 시사한다.
직접 증거: 희소한 직접 긍정 증거(<0.3%)의 존재는 성능을 일관되게 향상시키지 않는다. 일부 사례(예: LSTM의 Wanna)에서는 직접 증거를 제거했을 때(BABYZ) 오히려 결과가 더 좋았는데, 이는 필터링된 코퍼스가 구문 복잡성을 줄였거나 남은 단서들의 상대적 두드러짐을 변화시켰을 가능성이 있다.

3. 귀납적 편향 (실험 3)

광범위한 역량 vs 특정 역량: 광범위한 벤치마크(BLiMP, Zorro, SCaMP)에서 성능을 크게 향상시키는 편향이 PoS 특화 일반화로 반드시 이어지지는 않는다.
- Tree-Planted Transformers (TPT): 광범위한 벤치마크에서 가장 강한 이득을 보였고 결속(Binding) 및 의문문 형성(Question Formation)에서 특정 이득을 보였으나, Island 제약에 대한 성능 개선에는 실패했다.
- Dyck 사전 훈련 + 동적 최신성: Island 제약에 특화되어 도움을 주었으나 다른 현상에는 도움이 되지 않았다.
결론: 어떤 단일 편향도 모든 현상에 대해 모델과 인간 학습자 사이의 효율성 격차를 좁히지 못했다. 편향은 보편적으로 적용되기보다는 현상 특이적인 것으로 보인다.

의의 및 주장

본 논문은 통일된 발달 기반 프레임워크를 사용하여 여러 모델 클래스와 데이터 규모에 걸쳐 PoS 논증을 체계적으로 조사한 첫 번째 연구이다. 저자들은 다음과 같이 주장한다:

내재적 구문의 필요성에 대한 도전: 신경 모델은 명시적인 구조적 편향 없이도 놀라울 정도로 제한된 입력(1,000만 단어)으로부터 구조 의존적 일반화를 습득할 수 있으며, 이는 자극이 선천적 제약 없이는 학습을 지원하기에 너무 빈약하다는 주장에 도전한다.
효율성 격차: 이러한 현상들을 습득함에도 불구하고, 신경 모델은 인간 학습자보다 데이터 효율성이 낮다. 모델은 1억 단어에서도 약 75%의 정확도에서 정체되는 반면, 아이들은 훨씬 적은 데이터로 6세까지 약 90%의 정확도에 도달한다.
현재 편향의 한한계: 인지적으로 동기 부여된 귀납적 편향은 광범위한 통사적 역량을 개선하지만, PoS 현상에 대한 효율성 격차를 일관되게 메우지는 못한다. 서로 다른 편향이 서로 다른 현상에 이득을 주는 것은, 인간다운 습득이 현재의 아키텍처에 구현되지 않은 다수의 메커니즘이나 제약의 조정된 배치를 필요로 함을 시사한다.
입력의 역할: 입력의 질과 유형이 중요하다. 아동 대상 데이터는 특정 영역에서 구문 복잡성이 낮음에도 불구하고, 성인 텍스트보다 특정 PoS 일반화에 더 효과적인 것으로 보인다.

저자들은 분포 학습(distributional learning)이 강력하지만, 인간과 같은 학습 효율성을 달eric하기 위해서는 본 연구에서 탐구한 통계적 학습 및 구조적 제약을 넘어서는 메커니즘이 필요할 것이라고 결론짓는다. 저자들은 생득주의를 완전히 부정하는 것이 아니라, "죽이기 어려운" 생득주의 교리가 이전보다 더 미묘한 경험적 테스트를 필요로 한다는 점을 시사한다.