💬 NLP

Lost but not erased: Finding traces of a forgotten language in neural speech models

이 연구는 제2외국어로 학습된 신경 언어 모델에 잊힌 모국어의 흔적이 남아 있음을 입증하며, 이는 언어 습득에서의 결정적 시기 효과가 가소성의 성숙적 상실이 아니라 기초적인 표상들의 고착화에서 기인함을 시사한다.

원저자: Peter Plantinga, Charlotte Moore, Peter W. Donhauser, Krista Byers-Heinlein, Denise Klein

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

원저자: Peter Plantinga, Charlotte Moore, Peter W. Donhauser, Krista Byers-Heinlein, Denise Klein

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

언어는 흔히 어린 시절의 특정 시기 내에 학습되어야 하는 기술, 즉 뇌가 새로운 소리와 패턴을 동일한 용이함으로 흡수하는 능력을 상실하게 되는 생물학적 마감 기한이 존재하는 데드라인이라고 생각되곤 한다. '결정적 시기'로 알려진 이 개념은, 만약 아이가 생애 초기에 모국어 사용을 중단한다면 그 언어는 뇌의 성숙에 의해 지워져 영원히 사라진다는 것을 시사한다. 그러나 이러한 단순한 삭제에 이의를 제기하는 사람들도 있다. 태어난 가족과 떨어져 새로운 나라에서 자라게 된 국제 입양아들은 첫 번째 언어를 말하거나 이해하는 능력을 완전히 상실하곤 한다. 성인이 되었을 때, 그들은 그 언어에 대한 의식적인 기억조차 없다. 하지만 세심한 테스트를 통해, 이들이 한 번도 들어본 적이 없는 사람들보다 출생 언어를 훨씬 더 빠르게 재학습할 수 있다는 사실이 밝혀졌다. 잊힌 지식이 놀라운 속도로 돌아오는 이 현상은, 그 언어가 진정으로 삭제된 것이 아니라 단지 숨겨졌을 뿐임을 시사한다. 과학자들을 오랫동안 괴롭혀온 질문은 바로 이것이다. 이것이 인간의 뇌가 이러한 흔적을 보존하는 특별하고 시간 제한적인 생물학적 메커니즘을 가지고 있기 때문인가, 아니면 인간이나 인공지능을 불문하고 학습 시스템이 기초를 구축하는 방식의 결과인가?

이를 조사하기 위해 연구자들은 인공지능, 구체적으로는 음성을 인식하도록 설계된 컴퓨터 모델로 눈을 돌렸다. 이 모델들은 생물학적이지 않다. 이들은 인간처럼 성장하거나 나이가 들거나 성숙하지 않는다. 대신, 이들은 순수하게 데이터 노출을 통해 학습하며, 이는 경험의 효과와 생물학적 효과를 분리하기 위한 완벽한 도구가 된다. 과학자들은 이 모델들에게 독일어와 같은 하나의 언어를 이해하도록 훈련시킨 다음, 갑작스럽게 프랑스와 같은 완전히 다른 언어로 훈련 데이터를 전환했다. 이 설정은 국제 입양아의 경험을 모방하여, 모델이 첫 번째 언어를 포기하고 두 번째 언어를 숙달하도록 강제했다. 예상대로, 모델들은 첫 번째 언어를 인식하는 능력을 빠르게 상실하여 무작위 추측과 구별할 수 없는 수준까지 떨어졌으며, 동시에 새로운 언어에는 매우 능숙해졌다. 표면적으로는 첫 번째 언어가 사라진 것처럼 보였으며, 이는 인간 입양아들과 마찬가지였다.

그러나 연구자들이 모델의 내부 구조를 들여다보았을 때, 첫 번째 언어가 사라지지 않았음을 발견했다. 모델의 아키텍처는 낮은 층은 기본적인 세부 사항을 처리하고 높은 층은 복잡한 의미를 처리하는 다층 건물과 유사하게 층으로 구성되어 있다. 연구자들은 잃어버린 언어의 흔적이 남아 있지만, 그것이 네트워크의 가장 낮고 기초적인 층들에 거의 전적으로 집중되어 있다는 것을 발견했다. 이 초기 층들은 단어나 문장으로 결합되기 전의 기초적인 소리 패턴, 즉 말의 가공되지 않은 구성 요소들을 처리하는 역할을 한다. 모델이 새로운 언어를 배우기 위해 수천 시간을 보낸 후에도, 이 하위 층들은 여전히 원래 언어의 통계적 지문을 보유하고 있었다. 복잡한 문법과 어휘를 다루는 상위 층들은 완전히 덮어쓰여졌지만, 토대는 완고하게 변하지 않은 채 남아 있었다.

이 숨겨진 흔적들이 실제로 유용한지를 테스트하기 위해, 연구자들은 모델들에게 잃어버린 언어를 재학습하도록 요청했다. 초기 노출을 경험했던 모델들은 한 번도 들어본 적이 없는 모델들보다 첫 번째 언어를 훨씬 더 빠르게 재학습할 수 있었다. 실제로, 그들은 약 14% 적은 단계만으로 높은 정확도에 도달했다. 이 속도 우위는 그 흔적들이 단순히 수동적인 잔여물이 아니라 기능적이라는 것을 증명했다. 모델들은 본질적으로 오래된 기초적인 소리 지도를 사용하여 새로운 언어 기술을 구축함으로써 앞서 나갈 수 있는 출발점을 얻은 것이다. 결정적으로, 연구자들이 빠른 학습 모델의 가장 낮은 층을 첫 번째 언어를 배운 적이 없는 모델의 층으로 교체했을 때, 속도 우위는 사라졌다. 이는 이 혜택이 구체적으로 그 초기 단계의 견고한 층들로부터 왔음을 확인시켜 주었다.

연구는 또한 이러한 지속적인 흔적을 만들기 위해 초기 노출이 얼마나 오랫동안 지속되어야 하는지를 탐구했다. 그들은 이 효과가 단순히 "길수록 좋다"는 문제가 아님을 발견했다. 대신, 흔적은 모델이 첫 번째 언어를 배우는 동안 강해졌다가, 일정량의 시간이 지난 후 정점에 도달하고, 훈련이 너무 오래 지속되면 서서히 감소하기 시작했다. 이는 이러한 기초적인 표현들이 자리 잡기 위한 최적의 창(window)이 존재하며, 그 이후에는 변화에 저항하며 안정화된다는 것을 시사한다. 연구자들은 이러한 행동이 특별한 생물학적 시계나 성숙의 마감 기한을 필요로 하지 않는다고 주장한다. 대신, 이는 학습 시스템이 작동하는 방식의 자연스러운 결과로 보인다. 일단 시스템이 안정적인 기초를 구축하면, 그 위에 구축된 모든 것을 불안정하게 만들지 않고서는 그 기초를 완전히 다시 쓰는 것이 매우 어려워진다.

이러한 발견은 언어 학습의 결정적 시기에 대한 새로운 관점을 제공한다. 결정적 시기는 닫히는 생물학적 창이라기보다, 초기 경험을 지우는 것의 어려움이 단순히 시스템 자체의 구조에서 비롯된 결과일 수 있다. 초기 학습은 모든 미래 학습을 지원하는 내구성이 있는 저수준의 비계(scaffold)를 만든다. 입력값이 변할 때, 시스템은 높은 수준의 기능을 새로운 언어에 적응시키지만, 기초적인 층들은 남아 과거의 흔적을 보존한다. 이는 국제 입양아들에게서 보이는 '절약(savings)' 효과가 인간 생물학의 미스터리가 아니라, 학습 그 자체의 일반적인 속성일 수 있음을 의미한다. 언어는 삭제되는 것이 아니라, 시스템이 그 위에 무언가를 구축하도록 요청받을 때 드러나기를 기다리며 기초 깊숙한 곳에 묻혀 있는 것이다.

기술 요약: 잊혀진 언어의 흔적 찾기: 신경 음성 모델에서 발견된 잊혀진 언어의 흔적

문제 제기
국제 입양아는 초기 언어 노출을 연구하기 위한 자연스러운 실험 환경을 제공한다. 이들은 생애 초기에 모국어( $L_{pre}$ )에 대한 접근성을 상실하고, 새로운 언어( $L_{post}$ )를 빠르게 습득하며, 결국 $L_{pre}$ 에 대한 의식적인 기억 없이도 $L_{post}$ 에 대해 원어민 수준의 숙련도를 보인다. 그러나 행동 연구에 따르면, $L_{pre}$ 의 음운론적 대조를 재학습하는 속도가 빨라지거나 특정 뇌 활성화 패턴이 나타나는 등의 현상을 통해 $L_{pre}$ 의 흔적이 지속된다는 것이 밝혀졌다. 이러한 현상은 흔히 높은 신경 가소성을 동반하는 생물학적 시기(critical period)와 관련이 있다고 여겨지지만, 이러한 효과가 생물학적 성숙에서 기인하는 것인지 아니면 일반적인 학습 역학에서 기인하는 것인지는 불분명하다. 기존의 인공지능 연구는 고차원적인 텍스트나 컴퓨터 비전 작업에 집중해 왔으며, 네트워크 내의 어느 지점에서 이러한 "결정적 시기" 효과가 발생하는지는 국지화하지 못했다. 본 연구는 잊혀진 언어 흔적의 지속과 그에 따른 재학습 이점이 생물학적 성숙과 무관하게, 딥 뉴럴 네트워크의 계층적 학습 역학에 의해 설명될 수 있는지 질문한다.

연구 방법론
저자들은 CommonVoice 데이터셋(영어, 프랑스어, 독일어)의 가공되지 않은 음성 스펙트로그램을 사용하여 최첨단 자동 음성 인식(ASR) 모델(12개의 인코더 레이어와 6개의 디코더 레이어를 가진 Conformer 아키텍처, 약 1억 9백만 개의 파라미터)을 활용하였다.

입양 시뮬레이션: 국제 입양아의 경험을 모사하기 위해, 모델( $M_a$ )을 특정 기간(3.4k ~ 8.4k 업데이트) 동안 사전 입양 언어( $L_{pre}$ )로 학습시킨 후, 갑작스럽게 사후 입양 언어( $L_{post}$ )로 전환하였다. 결정적으로, "냉각(cooldown)" 효과를 방지하기 위해 학습률을 일정하게 유지하였다. 이는 흔적의 지속이 최적화 스케줄이 아닌 학습 역학에 의한 것임을 보장하기 위함이다.
대조 조건: 연구는 $M_a$ $M_{a}$ 를 다음 모델들과 비교하였다:
- $M_{pre}$ : $L_{pre}$ 로만 학습된 모델.
- $M_{post}$ : $L_{post}$ 로만 학습된 모델.
- $M_{ctrl}$ : 특정 언어 가족의 전이(transfer)인지 혹은 특정 $L_{pre}$ 의 흔적인지를 테스트하기 위해 다른 언어(예: 영어 $\to$ 프랑스어)로 전환된 입양 모델.
분석 파이프라인:
- 행동 추적: 다음 토큰 예측 정확도와 단어 오류율(WER)을 모니터링하여 $L_{pre}$ 숙련도의 상실과 $L_{post}$ 습득을 확인하였다.
- 음소 선형 프로브(Phonemic Linear Probes): 동결된 인코더 레이어에 선형 분류기를 학습시켜 정렬된 음소를 예측함으로써, 유지된 음운론적 변별 능력을 테스트하였다.
- 표상 유사성 분석(RSA): 홀드아웃(held-out) $L_{pre}$ 샘플들에 대한 내부 표상의 코사인 유사도 행렬을 계산하였다. RSA를 통해 $M_a$ 의 기하학적 구조를 $M_{pre}$ 및 $M_{post}$ 와 비교하여 지속적인 구조적 흔적을 탐지하였다.
- 재학습 실험: 모델이 $L_{pre}$ 를 70% 정확도 임계값까지 재학습하는 데 필요한 단계를 측정하였다.
- 메커니즘 국지화: $M_a$ 의 초기(전-음소 단계) 또는 후기(음소/후-음소 단계) 레이어를 $M_{post}$ 의 레이어와 교체하는 레이어 스플라이싱(layer-splicing) 실험을 수행하여 재학습 이점의 근원을 격리하였다.

주요 결과

행동 모사: 입양 모델( $M_a$ )은 $L_{pre}$ 정확도의 급격한 하락을 보이는 동시에 $L_{post}$ 를 빠르게 습득하였으며, 결국 단일 언어 모델인 $M_{post}$ 와 구별할 수 없을 정도의 숙련도에 도달하였다. 이는 인간 입양아의 행동 프로필을 그대로 반영한다.
흔적의 국지화:
- 음소 프로브: $M_a$ 는 $M_{post}$ 에 비해 $L_{pre}$ 음소를 변별하는 데 유의미한 우위를 보였으나, 이 이점은 가장 낮은 단계인 전-음소(pre-phonemic) 레이어(1~4번)와 초기 음소 레이어에 집중되어 있었다. 이 이점은 상위 레이어에서는 사라졌다.
- RSA: $L_{post}$ 학습을 통한 수천 번의 업데이트 이후에도 $M_a$ 내에 $L_{pre}$ 의 표상 흔적이 지속되었다. 이러한 흔적은 초기 인코더 레이어(1~4번)에 엄격히 국지화되어 있었다. $M_a$ 와 $M_{pre}$ 사이의 유사성은 교차 언어 베이스라인보다 유의미하게 높은 수준에서 안정화되었으며, 이는 지속적인 기하학적 흔적을 나타낸다.
- 최적의 창(Optimal Window): 이러한 흔적의 크기는 사전 학습 기간에 따라 선형적으로 증가하지 않았다. 흔적은 특정 구간(약 5.0k~6.7k 업데이트)에서 정점에 도달한 후 서서히 감소하였으며, 이는 기초적인 정착(entrenchment)을 위한 최적의 시기가 존재함을 시사한다.
기능적 절약 효과(Functional Savings Effect): $M_a$ 는 $M_{post}$ 모델보다 14.3% 빠르게, 그리고 특정 $L_{pre}$ 노출이 없는 대조 모델( $M_{ctrl}$ )보다 12.8% 빠르게 $L_{pre}$ 를 재학습하였다. 이는 유지된 흔적에 의해 구동되는 "절약 효과"를 확인시켜 준다.
메커니즘적 인과관계: $M_a$ 의 초기(전-음소) 레이어를 $M_{post}$ 의 레이어로 교체했을 때, 재학습 이점이 유의미하게 감소하였다. 이는 저수준의 전-음소 표상이 가속화된 재학습의 주요 동인임을 확인해 준다.

의의 및 주장
본 논문은 국제 입양아에게서 관찰되는 "결정적 시기" 효과가 반드시 높아진 가소성을 가진 생물학적 시기를 필요로 하는 것은 아니라고 주장한다. 대신, 이러한 효과는 **계층적 학습 시스템 내에서의 기초적 표상의 정착(entrenchment)**으로부터 발생할 수 있다.

계층적 정착: 저자들은 초기 학습이 고차원 범주를 위한 통계적 토대가 되는 저수준의 전-음소 표상을 구축한다고 제안한다. 이러한 기초 구조를 수정하는 것은 전체 계층을 불안정하게 만들 위험이 있기 때문에, 이들은 변화에 저항하며(정착됨), 반면 고차원 표상은 더 쉽게 덮어쓰여질 수 있다.
생물학을 넘어선 경험: 본 연구는 고정된 가소성(생물학적 성숙 없음)을 가진 시스템이 결정적 시기의 핵심 현상들(의식적 접근의 상실, 저수와 표상의 지속, 재학습 시의 절약 효과)을 재현할 수 있음을 보여준다.
결정적 시기의 재정의: 저자들은 결정적 시기 효과가 생물학적 성숙에 의한 고유한 제약이라기보다, 학습 시스템이 밑바닥에서부터 위로 표상을 구축하는 일반적인 속성일 수 있다고 제안한다. 따라서 경험적 설명은 결정적 시기 현상에 대한 귀무 가설(null hypothesis)로 간주되어야 하며, 생물학적 성숙 주장은 학습 역학만으로 생성할 수 있는 효과를 초과하는 효과를 입증해야 한다.
시사점: 이러한 메커니즘적 이해는 경험의 순서(커리큘럼)가 지속적인 잠재 구조를 형성하는 데 중심적인 역할을 한다는 점을 시사하며, 이는 명시적인 숙련도가 상실되더라도 초기 몰입 교육이나 헤리티지 언어 유지와 같은 교육 전략에 대한 잠재적 경로를 제공한다.

본 논문은 결론적으로, 인간 발달에서 생물학적 요인을 배제하는 것은 아니지만, 학습 역학만으로도 국제 입양아에게서 관찰되는 초기 언어 노출의 지속적이고 결과적인 흔적을 생성하기에 충분하다는 계산적 개념 증명을 제공한다.

유사한 논문