💬 NLP

Children, but not language models, show accelerating returns in word learning

이 논문은 아이들이 새로운 언어적 경험을 할 때마다 점점 더 효율적으로 변하며 단어 학습에서 가속되는 수익을 보이는 반면, 언어 모델은 아동 지향적 발화로 학습하더라도 스케일링 법칙과 일치하는 일정한 비례적 수익만을 보여준다는 점을 밝히고 있다.

원저자: Michael C. Frank

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael C. Frank

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간의 언어는 느리고 비틀거리는 시작과 함께 출발한다. 생후 첫 1년 동안 아이는 익숙한 사람이나 사물의 이름에 불과한 아주 적은 수의 단어만을 배울 수도 있다. 그러다 놀라운 일이 일어난다. 학습의 속도가 극적으로 변하는 것이다. 몇 년이라는 짧은 시간 안에, 그 아이는 수백 개의 단어를 습득하며 단순한 명칭에서 복잡한 문장으로 넘어가는 속도가 마치 마법처럼 빨라진다. 수십 년 동안 과학자들은 이 폭발적인 성장의 메커니즘을 이해하기 위해 노력해 왔다. 그들은 그 비밀이 아이들이 매일 듣는 단어의 흐름을 어떻게 처리하느냐에 있다고 오랫동안 의심해 왔다. 지배적인 생각은 학습이 꾸준하고 선형적인 과정이라는 것이었다. 즉, 아이가 더 많은 말을 들을수록 일정한 속도로 더 많이 배운다는 것이다. 만약 이것이 사실이라면, 아이의 어휘는 물이 양동이에 일정한 속도로 뚝뚝 떨어지며 채워지는 것처럼 성장할 것이다.

최근 몇 년 사이, 언어 모델이라고 불리는 강력한 컴퓨터 프로그램들이 이 과정을 연구하는 새로운 방법으로 등장했다. 이 시스템들은 방대한 양의 텍스트를 통해 훈련되며, 문장에서 다음에 올 단어를 예측하는 법을 배운다. 이 모델들은 특정 양의 데이터로 훈련될 수 있기 때문에, 연구자들은 이를 활용해 학습이 어떻게 작동하는지에 대한 이론들을 테스트할 수 있다. 그러나 당혹스러운 격차가 발견되었다. 기초적인 수준의 언어 기술에 도달하기 위해서조차, 이 컴퓨터 모델들은 수조 개의 단어가 담긴 훈련 데이터를 필요로 한다. 반면, 인간 아이는 불과 수백만 개의 단어를 들은 후 첫 수천 개의 단어를 습득한다. 이 거대한 데이터 요구량의 차이는 인간과 기계가 근본적으로 다른 방식으로 학습하고 있음을 시사하지만, 지금까지는 그 차이가 시간에 따라 정확히 어떻게 나타나는지에 대한 명확한 수학적 설명이 없었다.

한 연구자가 이 차이를 직접 측정하기 위해 나섰다. 그는 어휘 성장에 초점을 맞추어, 아이들이 시간이 지남에 따라 특정 단어를 어떻게 배우는지 추적하고 그 패턴을 컴퓨터 모델이 동일한 단어를 배우는 방식과 비교했다. 연구자는 부모가 아이의 연령별 발화 가능 단어를 보고한 상세한 기록을 사용하여 수천 명의 아이들로부터 데이터를 수집했다. 또한, 컴퓨터가 유아에게 전달되는 것과 같은 종류의 입력을 받도록 아이를 대상으로 한 대화 녹음본으로 컴퓨터 모델을 훈련시켰다. 이 두 집단을 나란히 분석함으로써, 연구자는 학습이 꾸준한 축적 과정이라는 기존의 관점이 인간에게는 틀렸다는 것을 발견했다.

연구 결과, 아이들은 일정한 속도로 배우지 않는다는 것이 밝혀졌다. 대신, 그들의 학습 능력은 가속화된다. 처음에 아이는 어떤 단어를 말하기 위해 그 단어를 수백 번 들어야 할 수도 있다. 하지만 아이가 성장하고 어휘가 확장됨에 따라, 새로운 단어를 배우기 위해 필요한 노출 횟수는 훨씬 줄어든다. 유아는 "책(book)"이라는 단어를 말하기 전까지 수천 번 들을 수도 있지만, 미취학 아동은 동물원에서 "아이벡스(ibex)"라는 단어를 단 몇 번만 듣고도 다음 날 바로 반복할 수 있다. 연구자는 이러한 가속화가 실재하며 측정 가능한 현상임을 발견했다. 아이가 나이가 들수록, 새로운 언어적 경험 하나하나의 가치는 더욱 높아진다. 그들은 이전의 한 시간보다 현재의 한 시간 동안 더 많은 대화를 통해 더 많은 것을 배운다. 컴퓨터 모델들은 아이를 대상으로 한 대화 데이터를 사용해 훈련되었음에도 불구하고, 이러한 가속화를 보여주지 않았다. 그들은 이미 알고 있는 양과 상관없이 새로운 단어를 배우기 위해 동일한 양의 데이터를 필요로 하며, 일정하고 변하지 않는 속도로 학습했다.

이러한 차이는 왜 컴퓨터 모델보다 적은 데이터만으로도 아이들이 유창한 화자가 될 수 있는지를 설명해 준다. 컴퓨터 모델은 '수익 체감(constant returns)'의 원리에 따라 작동한다. 즉, 새로운 단어를 배울 때마다 동일한 양의 훈련 데이터가 비용으로 발생한다. 그러나 아이들은 '수익 체증(increasing returns)'을 얻는다. 연구자는 이 가속화가 단순히 부모가 아이가 자람에 따라 말하는 방식이 변했기 때문인지, 아니면 아이의 학습 능력 자체의 내부적 변화인지 테스트했다. 데이터는 후자임을 시사했다. 아이들의 뇌는 들리는 소리로부터 의미를 추출하는 능력이 향상되는 것처럼 보였는데, 아마도 이미 알고 있는 단어들을 활용해 새로운 단어를 파악하는 법을 배우기 때문인 것으로 보인다.

이 연구 결과는 언어 학습이 단순히 시간이 지남에 따라 증거를 축적하는 문제라는 생각을 뒤흔든다. 대신, 그 과정은 역동적이다. 연구자는 각 새로운 단어의 "가치"가 연령에 따라 증가하는 모델이 실제 아이들의 데이터를 완벽하게 설명하는 반면, 가치가 일정하게 유지되는 모델은 그렇지 않다는 것을 보여주었다. 이러한 가속화는 단순한 세부 사항이 아니라, 인간과 기계 학습 사이의 근본적인 차이다. 컴퓨터 모델들도 결국 단어들을 배웠지만, 인간 아이가 가진 것과는 다른 경직성을 띠며 학습했다. 이 연구는 인간 언어의 비밀이 우리가 받는 데이터의 양에만 있는 것이 아니라, 성장함에 따라 그 데이터를 사용하는 우리의 능력이 어떻게 개선되는지에 있다는 통찰을 제공한다. 이는 인간의 인지 과정을 이해하고, 언젠가 아이처럼 효율적으로 학습할 수 있는 인공 시스템을 구축하는 데 있어 새로운 방향을 제시한다.

기술 요약: 아이들은 언어 모델과 달리 단어 학습에서 가속되는 수익을 보인다

문제 제기
아이들은 유아기에 어휘를 빠르게 습득하며, 시간이 지남에 따라 학습이 가속화되는 '어휘 급증(vocabulary spurt)' 현상을 보인다. 반면, 아동 대상 발화(child-directed speech)로 학습된 대규모 언어 모델(LM)조차도 기본적인 언어 능력을 갖추기 위해 기초적인 수준의 데이터보다 수십 배 더 많은 데이터를 필요로 한다. 기존의 모델들은 어휘 성장을 증거 축적 과정으로 설명하지만, 그 기저의 메커니즘이 일정한 수익(선형적 축적)을 의미하는지, 아니면 가속되는 수익(각 경험의 단위가 이전보다 더 많은 학습을 이끌어내는 경우)을 의미하는지는 여전히 불분명하다. 본 연구는 아동과 언어 모델 사이의 '데이터 격차'를 규명하기 위해, 두 체계 모두에서 학습 데이터를 함수로 하여 단어 학습을 정량적으로 특징짓는다.

방법론
저자는 아동의 어휘 성장을 설명하기 위해 심리측정학적 '가속 축적기(accelerating accumulator)' 모델을 개발하였으며, 이를 언어 모델의 학습 궤적과 비교하였다.

아동 모델링: 본 연구는 다섯 가지 데이터셋(미국 영어, 노르웨이, 일본; 총 $N_{total} = 1841$ 명의 아동, 연령 8~36개월)의 MacArthur-Bates 의사소통 발달 척도(CDI)로부터 얻은 종단적 항목 수준 데이터를 활용하였다. 저자는 아동의 잠재적 능력 $\theta_i(t)$ 가 시간 $t$ 에서 다음과 같이 정의되는 Rasch 기반 모델을 공식화하였다:
$\theta_i(t) = \xi_i + \kappa_i \log(t/a_0) + \log(H)$
여기서 $\xi_i$ 는 기초 학습 효율성을 나타내며, $\kappa_i$ 는 가속 지수이다. 만약 $\kappa = 1$ 이면, 이 모델은 선형적 수익을 갖는 '순수 축적기(pure accumulator)'를 나타내며, $\kappa > 1$ 이면 이후의 경험이 더 많은 학습을 가져오는 가속 축적기를 나타낸다. 저자는 개별적인 효율성이나 가속성이 결여된 절제된 버전(ablated versions, M0–M2)과 비교하여 이 모델(M3)을 적합시키기 위해 베이지안 추론(Stan)을 사용하였다.
언어 모델 분석: 아동과 비교하기 위해, 저자는 CHILDES 아카이브의 아동 대상 발화 24M 단어로 학습된 GPT-2-small 모델을 학습시켰다. 저자는 개별 단어의 서프라이절(surprisal, 음의 로그 확률) 궤적에 시그모이드 함수를 적합시켜 언어 모델의 학습 곡선을 추정하였다. 경험의 로그 스케일 상에서 이 시그모이드의 기울기를 언어 모델의 $\kappa$ 에 상응하는 값으로 간주하였다.
지표: 본 연구는 가속 지수( $\kappa$ )의 분포를 비교하고, '비례 수익(proportional returns)'(손실 감소량과 남은 초과 손실의 비율)을 계산하였다.

주요 결과

아동의 가속 축적: 가속 축적기 모델(M3)은 다섯 가지 데이터셋 모두에서 아동의 성장 궤적에 가장 잘 부합하였으며, 가속성이 없는 모델들보다 유의미하게 우수한 성능을 보였다(LOO ELPD 개선치 > 760). 추정된 모집단 가속 지수 $\kappa$ 는 모든 데이터셋에서 약 10.6에서 13.3 사이로, 1보다 확연히 컸다. 이는 아이들의 학습 효율성이 연령에 따라 극적으로 증가함을 나타낸다. 즉, 아이들이 단어를 배우기 위해 필요한 노출 횟수는 발달함에 따라 기하급са적으로 감소한다.
언어 모델의 일정한 수익: 이와 극명하게 대조적으로, 언어 모델은 가속의 증거를 보이지 않았다. 언어 모델의 단어당 $\kappa$ 추정치는 아동 대상 발화를 사용했는지 혹은 표준 코퍼스를 사용했는지와 관계없이 순수 축적기 값인 1.0 근처에 밀집되어 있었다.
비례 수익: 새로운 데이터에 대한 비례 수익 분석 결과, 아동은 증가하는 수익(동일한 경험이 발달 후기에 더 많은 학습을 유발함)을 보이는 반면, 언어 모델은 표준 스케일링 법칙( $L = E + B/D^\beta$ )과 일치하는 일정한 비례 수익을 보여주었다.
데이터 효율성: 본 연구는 아이들이 세 살까지 약 3,000만~4,000만 단어의 입력만으로 수백 개의 단어를 배우는 반면, 언어 모델은 일반적으로 수조 개의 단어를 필요로 한다는 점을 강조한다. 아동 학습의 가속적 특성은 이러한 거대한 데이터 효율성 격차에 대한 유력한 설명 후보로 제시된다.

의의 및 주장
본 논문은 인간 학습자와 현재의 언어 모델 사이의 근본적인 이질성을 식별했다고 주장한다. 즉, 아이들은 경험의 가치가 시간이 지남에 따라 증가하는 가속 메커니즘을 사용하여 학습하는 반면, 언어 모델은 일정한 비례 수익을 가지고 학습한다는 것이다.

메커니즘: 저자는 아동의 가속이 처리 속도, 기억력, 그리고 '학습하는 법을 배우는 능력'(기존 지식을 사용하여 새로운 의미를 더 효율적으로 추론하는 능력)의 발달적 변화에서 기인할 수 있다고 제안한다.
한계: 저자는 자신의 증거가 인과적 조작이 아닌 통계적 모델 적합 및 비교에 기반하고 있음을 명시적으로 밝힌다. 또한, 모델이 부모 보고 데이터(CDI)에 의존하고 있으며, '가속' 파라미터가 인지 과정에 대한 완전한 기계론적 설명이라기보다는 성장 곡선에 대한 통계적 기술임을 인정한다.
향-후 방향: 저자는 인공 시스템에서 가속되는 수익이 나타날 수 있는 조건을 이해하는 것이 향후 연구의 핵심 목표라고 상정한다. 이는 표준적인 사전 학습(pre-training)이 아이들의 성장하는 추론 능력의 유사체를 제공하지 못할 수 있음을 시사하며, 아동과 언어 모델 사이의 가설을 연결하기 위해서는 추가적인 발전이 필요함을 시사한다.

본 연구는 아동의 가속되는 수익의 성격을 규명하고, 이를 인공 시스템에서 재현하는 방법을 결정하는 것이 인지 과학 및 머신러닝 분야의 주요 연구 과제가 되어야 한다고 결론짓는다.

유사한 논문