The Holistic Storage of Verb+Up Phrases in Text-based and Audio-based Language Models

기술적 요약: 텍스트 기반 및 오디오 기반 언어 모델에서의 Verb+Up 구문의 총체적 저장(Holistic Storage)

문제 제기
언어학의 중심 논쟁 중 하나는 계산(새로운 표현을 생성하기 위해 추상적 규칙을 적용하는 것)과 저장(메모리로부터 총체적 표현을 인출하는 것) 사이의 절충 관계에 관한 것입니다. 인간의 언어 처리 과정은 분명 이 두 가지를 모두 활용하지만, 어떤 요인이 형태를 계산하게 하고 어떤 요인이 저장하게 만드는지에 대한 동인은 명확히 이해되지 않았습니다. 사용 기반 이론(Usage-based theories)은 고빈도 및 고예측성 다어구 단위(multi-word units)가 총체적으로 저장된다고 제안하며, 이는 인간 심리언어학(예: 고빈도 구동사에서 파티클 탐지가 느려지는 현상)에서 입증된 바 있습니다. 그러나 대규모 언어 모델(LLM)과 자동 음성 인식(ASR) 모델이 이와 유사한 총체적 표현을 발달시키는지 여부는 불분명합니다. 즉, 이 모델들은 빈번한 구문을 위해 암기를 활용하는가, 그리고 이러한 저장 메커니즘이 서로 다른 양상(텍스트 대 오디오)과 모델 규모 전반에 걸쳐 나타나는가 하는 점입니다.

연구 방법론
본 연구는 Verb+up (V+up) 구문의 총체적 저장을 테스트하기 위해 세 가지 텍스트 기반 모델과 한 가지 오디오 기반 모델의 내부 표현을 조사합니다.

1. 조사된 모델:
   • 텍스트 기반 LLM: 인간의 노출량과 유사한(1억 5천만 토큰) BabyLM v3 코퍼스로 학습된 125M, 350M, 1.3B 파라미터의 세 가지 자기회귀 모델과, Dolma v1.7로 학습된 더 큰 7B 파라미터 모델(OLMo-3 7B)을 대상으로 합니다.
   • 오디오 기반 모델: 음성 오디오로 학습된 인코더-디코더 ASR 모델인 Whisper-small입니다.
2. 실험 설계:
   • 분류기 접근법: 로지스틱 회귀 분류기를 사용하여, 문장 내에서 독립적인 전치사로 나타나는 토큰 up의 임베딩을 동일한 문장 내 다른 토크들과 구별하도록 학습시켰습니다.
   • 테스트: 이 분류기들을 빈도(원시 코퍼스 횟수)와 예측성(특정 동사 뒤에 up이 등장할 로그-오즈)이 다양한 V+up 구문(예: pick up)에 적용했습니다.
   • 지표: 분류기의 로짓(logit) 점수는 독립형 up 표현과의 유사성을 나타냅니다. 낮은 로짓 점수는 구 내에서의 up 표현이 독립형 형태로부터 분리되었음을 의미하며, 이는 총체적 저장을 시사합니다.
   • 실험:
     • 실험 1: 전치사로서의 up만을 테스트했습니다.
     • 실험 2: 의미적 백화 현상(semantic bleaching)만이 분리의 유일한 원인인지 확인하기 위해 up을 서브워드 단위(예: update와 같이 단어에 포함된 경우)로 테스트했습니다.
     • 실험 3: Whisper-small에 동일한 방법론을 적용하여, 인코더와 디코더 양쪽에서 추출한 음성 오디오 세그먼트의 표현을 분석했습니다.
3. 분석: 빈도, 예측성 및 은닉층(hidden layers)에 따른 로짓 점수를 분석하기 위해 베이지안 혼합 효과 회귀(Bayesian mixed-effects regression)와 일반 가법 모델(GAMs)을 사용했습니다.

주요 기여

• 오픈 소스 모델: 저자들은 인간 규모의 언어 학습 연구를 촉진하기 위해 2,000만 토큰마다 체크포인트를 생성하며 BabyLM v3 코퍼스로 학습된 세 가지 자기회귀 모델을 학습시켜 공개했습니다.
• 교차 양상 증거: 본 연구는 총체적 구문 저장이 텍스트 기반 LLM과 ASR 모델 모두에서 나타남을 입증함으로써, 빈도 및 예측성에 의해 유도되는 표현이 다양한 양상에 걸쳐 발생함을 보여줍니다.
• 규모와 용량: 연구는 모델 크기에 따른 효과를 구분합니다. 빈도 효과는 모든 크기에서 견고하게 나타나지만, 예측성에 대한 민감도는 규모가 커짐에 따라 강화됩니다. 이는 단순 빈도를 넘어 공생 통계(co-occurrence statistics)를 포착하기 위해서는 더 큰 표현 용량이 필요함을 시사합니다 않습니다.

결과

• 총체적 저장: 모든 모델에서 총체적 저장의 증거가 발견되었습니다. 고빈도 및 고예측성 V+up 구문은 유의미하게 낮은 분류기 로짓 점수를 보였으며, 이는 구 내에서의 up 표현이 독립형 토큰으로부터 분리되었음을 나타냅니다.
• 빈도 대 예측성:
  • 빈도: 모든 모델과 크기에서 강력하고 일관된 부(-)의 효과가 관찰되었습니다.
  • 예측성: 효과는 작은 모델(BabyLMs)에서는 약했으나, 더 큰 모델(OLMo-3 7B)에서는 점진적으로 더 강하고 낮은 값을 나타냈습니다. 이는 예측성에 대한 민감성을 갖추기 위해서는 더 큰 모델 용량이 필요함을 시사합니다.
• 층 역학(Layer Dynamics): 더 큰 모델의 경우, 표현의 분리(총체적 저장)는 초기 은닉층에서 나타났습니다. 반면 작은 모델에서는 이 효과가 후기 층에서만 나타났습니다.
• 오디오 양상: Whisper-small은 인코더와 디코더 모두에서 유사한 패턴을 보였습니다. 고빈도 및 고예측성 구문은 텍스트 기반 결과와 마찬가지로 낮은 로짓 점수를 나타냈습니다. 인코더의 동작은 음향적 가변성을 추상화하여 텍스트 기반 모델과 유사한 표현을 형성함을 시사합니다.
• 서브워드 견고성: 실험 2는 up이 서브워드 단위로 취급될 때도 이러한 효과가 지속됨을 확인하였으며, 이를 통해 의미적 백화 현상이 분리의 유일한 설명이 아님을 입증했습니다.

의의 및 주장
본 논문은 이러한 발견이 총체적 저장이 저장된 항목과 계산된 규칙 사이의 이분법적 구분이 아니라, 빈도와 예측성에 의해 구동되는 점진적 현상이라는 사용 기반 이론을 뒷받침한다고 주장합니다.

• 인간 규모의 학습: 인간의 노출량과 유사한 데이터량(BabyLMs)으로 학습된 모델에서 총체적 저장이 나타난다는 것은, 이러한 저장이 대규모 메모리화의 결과가 아니라 분포적 패턴으로부터 학습하는 과정에서 발생하는 자연스러운 결과임을 시사합니다.
• 표현의 연속체: 층별 결과는 총체적 저장이 스펙트럼으로 이해되어야 함을 시사합니다. 표현은 하위 층에서는 구성적(compositional)일 수 있으나, 상위 층으로 갈수록 점점 더 총체적으로 변할 수 있으며, 큰 모델일수록 이러한 분리가 더 일찍 나타납니다.
• 트랜스포머의 유용성: 본 연구는 트랜스포머 구조를 인간과 유사한 저장 패턴의 메커니즘을 조사하기 위한 생산적인 프레임워크로 위치시키며, 행동 데이터만으로는 제공할 수 없는 수준의 기계적 세부 사항(내부 표현)을 제공합니다.

저자들은 본 연구가 영어와 V+up 구성에 국한되어 있다는 점을 언급하며 겸허한 태도를 유지하였으며, 향후 연구에서는 단순히 최종 체크포인트가 아닌 학습 역학의 함수로서 총체적 저장의 출현을 조사할 필요가 있다고 밝혔습니다.