Large Language Models as Proxies for Theories of Human Linguistic Cognition

기술 요약: 인간 언어 인지 이론의 대리물로서의 대규모 언어 모델(LLM)

문제 제하
본 논문은 인간 언어 인지(Human Linguistic Cognition, HLC) 연구에서 대규모 언어 모델(LLM)의 역할을 다룬다. 이 논문은 현재의 LLM이 그 자체로 HLC에 대한 최선의 이론이라고 상정하는 "LLM 이론"(예: Piantadosi 2023)을 비판하며, 해당 관점이 역량 대 수행(competence vs. performance), 문법성 대 확률성(grammaticality vs. likelihood), 그리고 계층적 구조에 관한 특정한 귀납적 도약(inductive leaps)과 같은 인간 인지의 근본적인 차이를 설명하지 못한다고 주장한다.

대신, 본 논문은 "대리물 관점(Proxy View)"을 조사한다. 이 가설은 현재의 LLM이 그 자체로는 HLC에 대한 좋은 이론은 아닐지라도, 아직 밝혀지지 않은 제3의 이론($H_3$)에 대한 대리물 역할을 할 수 있다고 제안한다. $H_3$는 생성 언어학의 강한 선천적 편향($H_1$)은 결여되어 있으나, 인간의 언어 습득과 유형론적 패턴을 설명할 수 있는 상대적으로 언어 중립적인 이론으로 구상된다. 핵심적인 문제는 $H_3$가 현재 명시되지 않았기에 경험적으로 평가하기 어렵다는 점이다. 저자들은 현재의 LLM이 언어 중립적인 $H_3$가 현실적인 코퍼스로부터 언어 지식을 성공적으로 습득하거나 교차 언어적 유형론적 비대칭성을 설명할 수 있는지 테스트하는 방법론적 도구로서 기능할 수 있는지 묻는다.

연구 방법론
저자들은 아동 대상 발화(CHILDED, BabyLM)로 훈련된 소규모 모델부터 수십억 개의 토큰으로 훈련된 거대 모델(BERT, GPT-2, LLaMA-3.2)에 이르는 여덟 가지 LLM 제품군을 사용하여 대리물 관점을 두 가지 주요 실험 프레임워크를 통해 평가한다.

1. 자극과의 정렬 (귀납적 도약의 습득):

   • 과업: 저자들은 LLM이 "자극의 빈곤(Poverty of the Stimulus, APS)"으로부터 유도하기 어렵다고 주장되는 특정 언어적 일반화를 습득할 수 있는지 테스트한다.
   • 현상: 세 가지 특정 통사적 현상이 테스트되었다:
     • Across-the-Board (ATB) 이동.
     • Parasitic Gaps (PG).
     • That-trace 효과 (TTE).
   • 지표: "최소 쌍(minimal pair)" 방법론을 사용하여, 모델에게 문법적인 문장과 비문법적인 문장 쌍을 제시하였다. 성공의 기준은 관대하게 설정되었다: 모델이 결정적인 토큰 영역에서 비문법적인 것보다 문법적인 지속(continuation)에 더 높은 확률을 할당하는 것을 의미한다.
   • 논리: 만약 LLM(대리물로서의 $H_3$)이 발달적으로 현실적인 코퍼스이나 방대한 코퍼스로 훈련된 후에도 문법적인 옵션을 선호하지 못한다면, 이는 언어 중립적인 $H_3$ 역시 이러한 패턴을 습득하는 데 실패할 것임을 시사하며, 따라서 선천적 편향($H_1$)에 대한 APS 논거를 강화한다.

2. 교차 언어적 증거 (유형론적 비대칭성):

   • 과업: 저자들은 LLM이 "실제 존재하는(attested)" 언어를 "존재하지 않는(unattested, 변형된)" 언어보다 더 쉽게 학습하는지 조사한다. 만약 언어 중립적인 $H_3$가 왜 특정 언어 유형이 존재하지 않는지를 설명할 수 있다면, 대리물인 LLM은 존재하지 않는 변형을 학습하기 더 어려워야 한다.
   • 설정: Kallini 등(2024)의 연구를 바탕으로, 저자들은 영어, 이탈리아어, 러시아어, 히브리어 코퍼스와 이들의 변형된 버전으로 트랜스포머를 훈련시켰다.
   • 변형 방식:
     • 부분 역전(Partial-reverse): 무작위 인덱스에서 문장 구간을 역전시킴.
     • 전체 역전(Full-reverse): 전체 문장을 역전시킴.
     • 인덱스 교체(Switch-indices): 특정 인덱스(0과 2)에서 토큰을 교체함.
     • 토큰 점프(Token-hop): 동사로부터 고정된 선형 거리 내에 마커를 삽입함(선형적 계산이 필요함).
   • 지표: 훈련 중 검증 퍼플렉시티(Validation perplexity). 낮은 퍼플렉시티는 학습이 더 용이함을 나타낸다.

주요 결과

• 통사적 일반화의 습득:

  • LLM들은 ATB, PG, TTE에 대한 최소 쌍에서 문법적인 문장을 비문법적인 문장보다 선호하는 경향을 일반적으로 보이지 않았다.
  • 수십만 년의 인간 노출량에 해당하는 데이터로 훈련된 거대 모델인 LLaMA를 제외하고, 모든 모델은 압도적으로 비문법적인 옵션을 선호했다.
  • 이러한 실패는 만약 LLM이 $H_3$의 대리물이라면, $H_3$ 역시 현실적인 입력으로부터 이러한 복잡한 계층적 의존성을 습득하는 데 실패할 가능성이 높으며, 따라서 APS의 선천적 언어 편향 논거를 약화시키지 못함을 시사한다.

• 유형론적 비대칭성:

  • 결과는 실제 존재하는 언어가 존재하지 않는(변형된) 언어보다 배우기 쉽다는 아이디어를 일관되게 지지하지 않았다.
  • 부분 역전 변형은 베이스라인보다 학습하기 어려웠으므로 (특정 사례에 대해) 대리물 관점을 지지했으나, 다른 변형들은 모순된 결과를 냈다.
  • 전체 역전, 인덱스 교체, 토큰 점프의 경우, 모델들은 종종 실제 존재하는 베이스라인보다 비존재(변형된) 버전을 더 쉽게 학습하거나 유의미한 차이를 보이지 않았다.
  • 특히, "토큰 점프" 변형(계층적 일반화 대신 선형적 계산을 따르는 방식)은 때때로 실제 존재하는 베이스라인보다 더 쉽게 학습되었다.

주요 기여

• 방법론적 명료화: 본 논문은 "LLM 이론"과 구별되는 "대리물 관점"을 명확히 기술함으로써, LLM이 그 자체로 이론이 되지 않더라도 중립적 이론을 평가하는 도구로 기능할 수 있음을 분명히 하였다.
• 경험적 평가: 본 논문은 이론적 추측을 넘어 습득 및 유형론에 관한 구체적인 실험을 통해 대리물 관점을 평가하는 예비적 경험 테스트를 제공한다.
• 부정적 증거: 본 연구는 현재의 조건과 모델 하에서, LLM이 언어 중립적인 이론이 핵심적인 언어 현상이나 유형론적 패턴을 설명할 수 있다는 증거를 제공하지 못함을 보여준다.

의의 및 주장
본 논문은 현재의 LLM이 대리물 관점을 지지하지 않는다고 결론짓는다. 모델이 인간과 같은 귀납적 도약을 근사하지 못한다는 점(방대한 데이터에도 불구하고)과 유형론적 패턴 학습이 일관되지 않다는 점은, LLM이 성공적인 언어 중립적 이론에 대한 부적절한 대리물임을 시사한다.

저자들은 대리물 관점이 타겟 이론($H_3$)이 명시적으로 정의되지 않았기 때문에 직접적으로 유용하기에는 "너무 모호하다"는 점을 강조한다. 본 논문은 대리물 관점의 지지자들이 명시적인 이론적 세부 사항을 제공하고, LLM의 성능이 어떻게 생성적 대안보다 해당 이론을 구체적으로 지지하는지 입증하라는 "간청"의 성격을 띤다. 저자들은 자신들의 부정적 결과가 특정 모델과 현상에 국한된 것임을 언급하며 신중한 태도를 유지하며, 다른 모델이나 더 명시적인 이론을 사용한 향후 연구가 다른 결론을 낼 수 있음을 인정한다. 그러나 현재의 증거에 기반할 때, LLM은 기존 언어 이론의 변화 필요성을 시사하지 않는다.