Measuring Form and Function in Language Models

기술적 요약: 언어 모델의 형태와 기능 측정

문제 제기
대규모 언어 모델 (LLM) 에 대한 현재 평가는 주로 분류 작업 (예: 최소 쌍에 대한 문법성 판단) 에 의존하며, 이는 종종 언어 지식의 기능적 및 담화 수준 측면을 포착하지 못합니다. 또한, 이러한 분류 기반 벤치마크는 LLM 을 아동 언어 습득과 비교할 때 엄격한 기준 (ground truth) 이 부족합니다. 어린아이는 신뢰할 수 있는 메타언어적 판단을 제공할 수 없기 때문입니다. 'BabyLM'이 initiative 는 아동과 비교 가능한 데이터 효율적 모델을 구축하려 하지만, LLM 의 외부 행동을 아동의 자연주의적 산출 데이터와 어떻게 엄격하게 비교할 것인지에 대한 방법론적 격차가 존재합니다. 구체적으로, LLM 이 생산적인 문법 체계를 보유하고 있는지 아니면 단순히 입력 덩어리를 암기하는 것인지, 그리고 문장의 잘 형성됨을 넘어 적절한 의사소통 기능을 위해 언어를 활용하는지 여부는 여전히 불분명합니다.

방법론
저자들은 아동 언어 연구의 정량적 지표를 LLM 평가에 적용하는 프레임워크를 제안하며, 아동이 초기에 정확히 습득하는 영역인 영어 관사 (the vs. a/an) 에 초점을 맞춥니다. 이 방법론은 세 가지 핵심 요소로 구성됩니다.

1. 문맥적 대안 선택 (CAC) 프롬프팅:
   모델에게 문장을 분류하도록 요청하는 대신, 저자들은 심리언어학의 'cloze' 작업에서 유래한 프롬프팅 방식을 사용합니다. 맨체스터 말뭉치 (Manchester Corpus) 에 있는 아동의 발화 내 모든 관사 - 명사 (D×N) 자리에 대해, 모델은 이전 전체 담화 문맥을 제시받고 관사를 예측하도록 요청받습니다. 이는 단일 이진 레이블이 아닌 선택지 (the vs. a) 에 대한 확률 분포를 유도하며, 아동이 사용한 것과 동일한 문맥에서 모델의 내부 기대치를 분석할 수 있게 합니다.

2. 형식적 생산성 벤치마크 (중첩 테스트):
   진정한 문법적 생산성과 기계적 암기를 구분하기 위해, 이 논문은 Yang(2013) 에 기반한 통계적 테스트를 사용합니다. 이 테스트는 관사가 명사와 독립적으로 결합하는 생산적 문법을 가정할 때, 주어진 크기 ($S$) 의 말뭉치와 어휘 ($N$) 에 대해 예상되는 '중첩' (both the 와 a 와 함께 나타나는 명사 유형의 비율) 을 계산합니다. 이 테스트는 명사 빈도에 대한 Zipf 의 법칙과 특정 명사가 하나의 관사를 선호하는 경향을 반영하는 집계된 '편향' ($b$) 을 포함합니다. 모델의 경험적 중첩이 이러한 통계적 속성에서 유도된 예상 중첩과 유의미하게 다르지 않다면, 해당 모델은 형식적 생산성을 나타낸 것으로 간주됩니다.

3. 담화 - 기능적 벤치마크 (참조 전이 확률 - TPR):
   기능적 지식을 평가하기 위해, 저자들은 화자가 대화 턴을 거치면서 주제 명사가 일정하게 유지될 때 관사를 변경할 확률로 정의된 TPR 을 측정합니다. 이 지표는 담화 내 정관사와 특관사의 적절한 사용을 포착합니다. 모델의 TPR 은 대화에서 보호자의 이전 발화와 비교하여 모델이 선택한 확률적 관사를 계산함으로써 산출됩니다. 이는 성인 간 대화에서 설정된 기준선과 아동의 경험적 TPR 과 비교됩니다.

주요 기여

• 방법론적 혁신: CAC 프롬프팅의 도입은 아동의 신뢰할 수 없는 메타언어적 판단이 필요하지 않은 자연주의적 산출 데이터를 사용하여 LLM 과 아동을 직접 비교할 수 있게 합니다.
• 이중 벤치마크 평가: 이 논문은 모델의 훈련 데이터에 접근할 필요가 없는 두 가지 독립적인 벤치마크—형식적 생산성 (구문) 과 담화 - 기능적 적절성 (화용)—를 확립하여, 이는 어떤 언어 표본에도 적용 가능합니다.
• 경험적 분석: 이 연구는 이러한 벤치마크를 통해 45 개의 언어 모델 (BabyLM 기준, 수상자 및 참조 모델 포함) 을 평가하여 2~3 세 아동에 대한 모델 성능의 세밀한 관점을 제공합니다.

결과
이 평가는 LLM 의 언어 능력의 서로 다른 측면 간에 유의미한 분리가 있음을 드러냅니다.

• 형식적 생산성: 23 세 아동이 접근 가능한 양 (약 1,000 만2,000 만 단어) 과 비교 가능한 데이터로 훈련된 많은 모델들이 형식적 중첩 테스트를 통과합니다. 이는 그들이 단순히 관용구를 암기하는 것이 아니라 관사와 명사를 생산적으로 결합하는 법을 학습했음을 시사합니다.
• 담화 기능: 어린아동의 데이터와 비교 가능한 데이터로 훈련된 모델 중 어느 것도 TPR 테스트를 통과하지 못했습니다. 그들의 TPR 값은 인간 기준선보다 유의미하게 높아, 참조 제한이나 담화 문맥을 고려하지 않고 관사를 확률적으로 선택함을 나타냅니다.
• 대규모 모델: 1 억 단어와 300 억 단어로 훈련된 두 개의 모델만이 두 벤치마크를 모두 통과했습니다. 1,560 억 단어로 훈련된 한 모델은 TPR 테스트는 통과했으나 중첩 테스트에서는 실패했습니다.
• 정확도 vs. 능력: 여러 모델이 최대 가능도 (MLE) 관사 선택에서 높은 정확도 (아동과 약 89% 일치) 를 달성했음에도 불구하고 TPR 과 중첩 테스트에서는 실패했습니다. 이는 높은 분류 정확도가 성인 수준의 언어 능력이나 생산적 문법과 동일하지 않음을 확인시켜 줍니다.

의의 및 주장
이 논문은 발달적으로 타당한 데이터로 훈련된 현재 LLM 이 2~3 세 인간 아동이 보여주는 언어 지식의 전체 스펙트럼을 아직 나타내지 못한다고 주장합니다. 구체적으로, 모델들은 형식적 구문 생산성을 학습할 수는 있지만, 언어 사용의 기능적, 담화 수준 제약에는 어려움을 겪습니다. 저자들은 능력의 한 측면 (예: 예측 정확도 또는 형식적 구문) 을 최적화하는 것이 다른 측면 (예: 담화 기능) 의 습득을 보장하지 않는다고 주장합니다.

이 연구는 아동 언어 연구가 LLM 을 인지 모델로 평가하는 데 필요한 프레임워크를 제공함을 보여주는 방법론적 기여로 기능합니다. 저자들은 관사 사용과 같은 초기 습득 이정표가 이 분야에 중요한 점검 지점으로 작용하며, LLM 이 인간 언어 습득을 진정으로 모델링하기 위해서는 다른 학습 궤적이나 데이터 효율성이 필요할 수 있음을 강조합니다. 이 논문은 겸손하게 결론을 내리며, 일부 매우 큰 모델이 벤치마크를 충족하지만 성공이나 실패의 원인은 여전히 불분명하며, 지시 미세 조정 (instruction tuning) 과 인간 피드백을 통한 강화 학습 (RLHF) 이 이러한 특정 언어 기준과 어떻게 상호작용할지에 대한 추가 조사가 필요하다고 지적합니다.