💬 NLP

Bringing Up a Bilingual BabyLM: Investigating Multilingual Language Acquisition Using Small-Scale Models

이 논문은 통제된 실험 환경에서 훈련된 소규모 언어 모델을 통해 다중 언어 학습이 단일 언어 학습에 비해 지연이나 본질적인 어려움을 초래하지 않으며, 다양한 노출 방식 간에도 큰 차이가 없음을 보여줍니다.

원저자: Linda Zeng, Steven Y. Feng, Michael C. Frank

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

원저자: Linda Zeng, Steven Y. Feng, Michael C. Frank

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 연구의 핵심: "혼란스러운 두 언어, AI 는 어떻게 배울까?"

세상에는 한 집에서 엄마는 영어로, 아빠는 스페인어로 말을 걸며 자라는 아이들이 많습니다. 과거에는 "두 언어를 동시에 배우면 아이가 언어를 섞어서 혼란스러워하거나, 발달이 느려지지 않을까?"라고 걱정했습니다. 하지만 실제로는 아이들은 잘 자라납니다.

이 연구팀은 **"왜 그런지, 어떤 조건이 가장 좋은지"**를 실험적으로 증명하기 위해, 실제 인간 대신 **작은 언어 모델 (AI)**을 실험 대상으로 삼았습니다. 마치 실험실에서 쥐를 키우듯, AI 에게 완벽하게 통제된 언어 환경을 만들어주며 학습시켰습니다.

🏗️ 실험 방법: AI 에게 어떤 '식단'을 주었나?

연구팀은 AI 에게 1 억 단어 (약 100M 단어) 규모의 데이터를 먹였습니다. 이때 데이터의 '구성'을 다르게 바꿔가며 4 가지 상황을 만들었습니다.

영어만 먹인 그룹 (단어 언어): 영어만 1 억 단어. (비유: 영어만 하는 집)
스페인어만 먹인 그룹: 스페인어만 1 억 단어.
혼합 식단 그룹 (이중 언어): 영어 5 천만 단어 + 스페인어 5 천만 단어.
- 상황 A: 엄마는 영어, 아빠는 스페인어만 말함. (엄마 - 영어, 아빠 - 스페인어)
- 상황 B: 누가 말하든 영어와 스페인어가 섞여 나옴. (무작위)
- 상황 C: 문장마다, 혹은 단어마다 두 언어가 섞여 나옴. (코드 스위칭)

🔍 실험 결과: "혼란? 전혀 없었습니다!"

AI 가 두 언어를 배운 후, 영어와 스페인어 실력을 시험해 보았습니다. 결과는 놀라웠습니다.

혼란은 없었다: 두 언어를 동시에 배운 AI 는 한 언어를 배울 때 실력이 떨어지지 않았습니다. 오히려 두 언어를 모두 잘 구사했습니다.
배우는 방식은 중요하지 않았다: "엄마는 영어, 아빠는 스페인어"로 딱 나누어 주는 방식이든, "무작위로 섞어서" 주는 방식이든, AI 의 학습 결과에는 큰 차이가 없었습니다.
혼합이 오히려 도움이 될 수도: 두 언어가 섞여 있는 데이터를 학습한 AI 는 두 언어 간의 연결고리 (예: '사과'와 'manzana'가 같은 뜻임을 이해) 를 더 잘 파악했습니다.

💡 창의적인 비유로 이해하기

이 결과를 쉽게 이해하기 위해 두 가지 비유를 들어보겠습니다.

1. 🎨 그림 그리기 비유 (색상과 혼란)

과거의 우려는 **"빨간 물감과 파란 물감을 한 그릇에 섞으면, 그림을 그릴 때 색이 탁해져서 못 그리게 되지 않을까?"**였습니다.
하지만 이 연구는 **"아니요, 두 물감을 섞어주면 오히려 더 다양한 색 (보라색, 주황색 등) 을 만들어낼 수 있고, 각각의 물감 본연의 능력도 떨어지지 않는다"**는 것을 증명했습니다. AI 는 두 언어가 섞여 있어도 각 언어의 규칙을 명확하게 구분해 내는 능력을 가지고 있었습니다.

2. 🏃‍♂️ 운동선수 비유 (훈련 방식)

한 선수가 "오전에는 축구, 오후에는 농구"를 하는 것과 "아침에는 축구, 저녁에는 농구"를 하는 것, 혹은 "축구와 농구를 섞어서 하는 것" 중 어떤 것이 더 나을까요?
연구 결과는 **"어떤 훈련 방식을 쓰든, 선수는 두 종목 모두에서 실력이 늘었다"**는 것입니다. 오히려 두 운동을 섞어서 훈련하면 (코드 스위칭), 두 종목 사이의 공통된 원리 (예: 팀워크, 공간 감각) 를 더 잘 이해하게 되어 전체적인 운동 신경이 좋아지는 경향이 있었습니다.

📝 결론: 부모님과 교육자에게 주는 메시지

이 연구는 **"두 언어를 동시에 배우는 것은 아이에게 해롭지 않다"**는 사실을 AI 를 통해 다시 한번 확인시켜 주었습니다.

엄마는 영어, 아빠는 스페인어로 딱 나누어 말해줘야 한다는 '엄격한 규칙'은 사실 필수가 아닙니다.
언어가 섞여 있어도 (코드 스위칭) 아이 (또는 AI) 는 자연스럽게 구분해 내고, 오히려 두 언어를 연결하는 능력을 키울 수 있습니다.
중요한 것은 언어 자체의 통계적 패턴을 학습하는 것이며, 두 언어가 섞여 있다고 해서 학습 시스템이 붕괴되거나 혼란을 겪지는 않는다는 것입니다.

한 줄 요약:

"두 언어를 섞어서 가르쳐도 아이는 혼란스러워하지 않으며, 오히려 두 언어를 모두 잘 배우는 '통통한' 두뇌를 가질 수 있습니다. 너무 걱정하지 마세요!"

이 논문은 **"Bilingual BabyLM: Small-Scale Models 를 이용한 다국어 언어 습득 연구 (Bringing Up a Bilingual BabyLM: Investigating Multilingual Language Acquisition Using Small-Scale Models)"**로, Linda Zeng, Steven Y. Feng, Michael C. Frank 에 의해 작성되었습니다. 이 연구는 언어 모델 (Language Models) 을 통제된 통계적 학습자 (controlled statistical learners) 로 활용하여, 다국어 환경이 언어 습득에 미치는 영향을 체계적으로 분석한 것입니다.

아래는 논문의 문제 제기, 방법론, 주요 기여, 결과 및 의의에 대한 상세한 기술적 요약입니다.

1. 문제 제기 (Problem)

전 세계적으로 다국어 가정에서 자라는 어린이는 매우 흔하지만, 다국어 노출이 아동의 언어 발달에 어떤 영향을 미치는지에 대한 논쟁은 여전히 지속되고 있습니다.

주요 논쟁: 다국어 학습이 언어 습득 지연, 언어 혼란 (confusion), 또는 학습 어려움을 초래하는가? 아니면 오히려 인지적 이점을 제공하는가?
연구의 한계: 기존 연구는 대부분 상관관계 분석에 의존합니다. 아동에게 무작위로 다국어 환경을 할당할 수 없으며, 언어별 입력 데이터의 양, 내용, 사회적 맥락을 완벽하게 통제하기 어렵기 때문에 인과관계를 규명하기가 매우 어렵습니다.
목표: 이러한 한계를 극복하기 위해, **소규모 언어 모델 (Small Language Models, SLMs)**을 사용하여 다양한 다국어 노출 조건을 정밀하게 통제하고 시뮬레이션함으로써, 다국어 입력이 통계적 학습자에게 미치는 영향을 규명하고자 합니다.

2. 방법론 (Methodology)

2.1 데이터 구축 (Training Data)

합성 데이터 (Synthetic Data): GPT-4 를 활용하여 1 억 단어 (100M words) 규모의 대화형 데이터셋을 생성했습니다. 이는 'TinyDialogues' 코퍼스를 기반으로 하며, 부모 (엄마/아빠) 와 아동 (2, 5, 10, 15 세) 간의 자연스러운 대화를 시뮬레이션합니다.
언어 쌍: 영어 (English) 와 스페인어 (Spanish) 를 선택했습니다. 두 언어는 어휘적 유사성이 높고, 다국어 연구에서 널리 사용되며, LLM 이 고품질의 번역 및 코드 스위칭 텍스트를 생성할 수 있기 때문입니다.
조건별 데이터 구성:
1. Monolingual Topline: 영어 1 억 단어 또는 스페인어 1 억 단어 (상한선).
2. English Baseline: 영어 5 천만 단어 (랜덤 또는 화자별).
3. Multilingual (Bilingual): 영어 5 천만 단어 + 스페인어 5 천만 단어.
  - Random: 화자와 언어가 무작위로 매칭됨.
  - By-speaker: "한 화자 - 한 언어 (One Speaker-One Language)" 정책 적용 (예: 엄마는 영어, 아빠는 스페인어).
4. Code-switching:
  - Sentence-level: 문장 단위로 영어와 스페인어가 교차.
  - Word-level: 문장 내부 (단어 단위) 에서 영어와 스페인어가 혼합 (Poplack 의 제약 조건 준수).

2.2 모델 학습 (Model Training)

모델 아키텍처: GPT-2 Small (124M 파라미터) 을 기본 모델로 사용했습니다. 추가 실험으로 GPT-2 Mini (39M) 와 GPT-BERT (하이브리드 아키텍처) 도 사용했습니다.
토크나이저: 다국어 데이터의 어휘 다양성을 고려하여, 각 조건별로 별도의 BPE 토크나이저 (80k 어휘 크기) 를 학습시켰습니다.
학습 설정: 20 에포크, 학습률 $1 \times 10^{-4}$ , Adam 옵티마이저 등을 사용했습니다.

2.3 평가 (Evaluation)

학습된 모델의 성능을 다음 지표들을 통해 평가했습니다.

Perplexity (PPL): 언어 예측 불확실성 측정 (영어 및 스페인어 검증 데이터).
Grammar (Zorro): 문법적 유능성 평가 (13 가지 구문 현상).
Word Similarity (WS): 의미 지식 평가 (영어 및 스페인어 단어 유사성, 교차 언어 유사성 X-WS).
제어 변수: 평가 데이터의 어휘를 학습 데이터의 어휘와 일치시켜 OOV(Out-of-Vocabulary) 문제를 통제했습니다.

3. 주요 결과 (Key Results)

3.1 다국어 학습의 효과 (RQ1)

혼란 없음: 다국어 모델은 모국어 (영어) 성능에서 단어가 없거나 오히려 약간 향상된 결과를 보였습니다. 즉, 다국어 학습이 제 1 언어 습득을 저해하거나 "혼란"을 초래하지 않았습니다.
이중 언어 능력: 다국어 모델은 제 2 언어 (스페인어) 에서도 강력한 성능을 보였으며, 모국어 모델과 유사한 수준의 문법 및 의미 능력을 습득했습니다.

3.2 노출 구조의 영향 (RQ2)

구조적 차이 미미: "화자별 분리 (One Speaker-One Language)", "무작위 혼합", "코드 스위칭" 등 다양한 노출 구조 간에 학습 결과에 뚜렷한 차이가 발견되지 않았습니다.
코드 스위칭: 문장 단위 또는 단어 단위의 코드 스위칭 조건에서도 모델은 두 언어를 효과적으로 학습했으며, 오히려 교차 언어 단어 유사성 (X-WS) 평가에서 단일 언어 모델보다 더 나은 통합된 표현 공간을 형성했습니다.

3.3 규모와 데이터 양의 영향 (RQ3)

모델 규모: 모델 크기를 줄여도 (39M) 다국어 학습의 이점과 혼란 부재라는 경향은 유지되었습니다.
데이터 양: 학습 데이터 양을 1 억 단어에서 2 천만 단어로 줄이면 전반적인 성능은 하락하지만, 다국어 조건과 단일어 조건 간의 상대적 순위는 유지되었습니다.
데이터 비율: 영어와 스페인어의 노출 비율 (75-25, 90-10 등) 을 변화시켜도 모국어 학습에 부정적인 영향은 없었으며, 균형 잡힌 비율이 교차 언어 학습에 가장 유리한 것으로 나타났습니다.

3.4 표현 공간 분석

임베딩 시각화 결과, 다국어 모델의 어휘 공간은 두 언어가 완전히 분리된 것이 아니라 **혼합 (Mixed)**된 형태를 보였습니다. 특히 코드 스위칭 조건에서는 두 언어의 표현 공간이 더욱 밀접하게 통합되는 경향이 관찰되었습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

통제된 실험 환경 제공: 인간 아동 연구에서는 불가능한 무작위 통제 실험을 언어 모델을 통해 수행함으로써, 다국어 입력의 통계적 속성이 학습 결과에 미치는 인과적 영향을 규명했습니다.
혼란 가설 (Confusion Hypothesis) 반박: 다국어 환경이 언어 혼란을 유발하거나 발달 지연을 초래한다는 기존 우려에 대해, 통계적 학습자 관점에서는 그러한 부정적 효과가 존재하지 않음을 강력하게 시사합니다.
교육적 함의: "한 화자 - 한 언어"와 같은 엄격한 분리 전략이 필수적이지 않을 수 있음을 시사합니다. 자연스러운 코드 스위칭이나 혼합된 입력 환경도 다국어 학습에 큰 장애물이 되지 않습니다.
BabyLM 패러다임 확장: 소규모 언어 모델을 이용한 다국어 학습 연구의 새로운 기준을 제시하며, 인지과학의 오래된 질문들을 계산적 테스트베드를 통해 탐구하는 방법론을 정립했습니다.

결론

이 연구는 다국어 입력이 통계적 학습자에게 본질적인 도전을 제기하지 않으며, 다양한 노출 구조 하에서도 모델이 두 언어를 효과적으로 습득할 수 있음을 보여줍니다. 이는 인간 학습자의 다국어 습득이 통계적 원리에 기반할 가능성을 지지하며, 다국어 교육 및 양육 환경에 대한 새로운 관점을 제공합니다.