기술 요약: 검은색 큰 상자: 대규모 언어 모델의 형용사 어순 선호도 추적

문제 제기

명사구 내의 형용사 어순(예: large wooden box vs. wooden large box)은 이진적인 문법적 제약이 아니라, 등급화되고 맥락에 민감한 선호도를 특징으로 하는 복잡한 언어적 현상을 나타낸다. 이는 이론 언어학에서 광범위하게 연구되어 왔으나, 여러 상호작는 요인(의미론, 화용론, 정보 이론)에 대한 의존성 때문에 그 메커니즘을 포착하기가 어렵다. 또한 가장 우수한 다요인 모델조차 인간의 선호도를 약 71%만 설명할 수 있다는 점도 문제다.

본 논문은 대규모 언어 모델(LLM)이 이러한 "연성(soft)" 단어 순서 선호도를 어떻게 습득하고 활용하는지 조사한다. 핵심 연구 질문은 LLM의 형용사 어순 선호도가 분포 학습(표면적 공생 패턴의 암기)에 의해 구동되는지, 아니면 일반화 가능한 맥락 민감적 언어 행동의 발현에 의해 구동되는지의 정도이다. 구체적으로 저자들은 다음과 같은 질문을 던진다:

1. LLM의 형용사 어순 선호도는 훈련 데이터의 빈도에 어느 정도 영향을 받는가?
2. 모델은 직접 암기한 것을 넘어 보지 못한 형용사 조합으로 일반화하는가?
3. 문장 맥락은 이러한 선호도에 어떻게 영향을 미치며, 어떤 특정 단서가 이를 유도하는가?

방법론

저자들은 The Pile 코퍼스로 훈련된 Pythia 제품군(70M에서 12B 파라미터 범위)을 사용하여 체계적인 경험적 분석을 수행한다. 본 연구는 미세한 수준에서 학습 역학을 분석하기 위해 중간 훈련 체크포인트를 활용한다.

데이터 및 지표

• 평가 코퍼스 (CAP): 본 연구는 BabyLM 100M 코퍼스에서 파생된 *형용사 쌍 코퍼스(Corpus of Adjective Pairs, CAP)*를 사용한다. 여기에는 두 개의 형용사가 명사를 수식하는 9,396개의 문장과 그 "교체된(swapped)" 대응 문장들이 포함되어 있다.
• 지표:
  • AOP-∆: 자연스러운 순서($A_1A_2N$)와 교체된 순서($A_2A_1N$) 사이의 로그 확률 차이로, 고립된 상태와 맥락이 있는 상태 모두에서 계산된다.
  • AOP-%: 모델이 자연스러운 순서를 선호하는 항목의 비율 (AOP-∆ > 0).
• 분포 분석: 저자들은 모델 예측과 훈련 데이터 빈도를 직접 비교하기 위해 Infini-gram을 사용하여 The Pile로부터 정확한 n-gram 통계(단어, 바이그램, 트리그램)를 추출한다.
• 일반화 테스트: 암기 대 일반화를 평가하기 위해, 저자들은 훈련 중에 0회 등장한(unseen) 형용사 쌍과 1~10회 이상 등장한 형용사 쌍에 대한 모델 성능을 중간 체크포인트를 사용하여 분석한다.
• 맥락 분석:
  • 무작위 맥락: 실제 문장 맥락과 무작위 맥락에 대한 기댓값을 비교하여 "맥락적 이득(contextual gain)"을 정량화한다.
  • 특징 속성(Feature Attribution): **통합 기울기(Integrated Gradients)**를 사용하여 특정 형용사 순서에 대한 모델의 선호도에 기여하는 맥락 내 특정 토큰들을 식별한다. 이들은 품사(POS) 태그로 매핑되어 전역적 패턴을 식별하는 데 사용된다.

주요 기여 및 결과

1. 습득 역학 및 모델 크기

• 성능: 언어 모델은 자연스럽게 발생하는 형용사 순서에 대해 강력하고 일관된 선호도를 보인다. 맥락적 AOP-%는 모델 크기에 따라 증가하며, 85.0%(70M)에서 91.7%(12B)까지 상승한다.
• 학습 단계: 중간 체크포인트 분석 결과, 세 가지 뚜렷한 습득 단계가 드러난다:
  1. 초기화(Initialization): AOP 판단이 아직 형성되지 않음.
  2. 습득(Acquisition): AOP 판단의 급격한 형성; 형용사 순서에 대한 민감도가 조기에 나타남(전체 훈련의 약 1.5% 시점).
  3. 공고화(Consolidation): 판단이 안정화되고 맥락의 역할이 강화됨.
• 토큰 수준 국소화: 자연스러운 순서와 교체된 순서 사이의 가장 큰 확률 차이는 두 번째 형용사 토큰에서 발생한다. 그러나 맥락은 첫 번째 형용사의 확률에도 즉각적으로 영향을 미치는데, 이는 맥락이 구절의 시작부터 선호도를 형성함을 시사한다.

2. 훈련 데이터 통계의 역할

• 빈도와의 상관관계: 모델의 AOP-∆와 훈련 데이터의 바이그램 빈도 사이에는 강한 상관관계가 있다. 단순 바이그램 통계는 모델 행동의 상당 부분(바이그램 수에 대한 86.8%의 예측 정확도)을 설명한다.
• 암기의 한계: 바이그램 통계가 매우 예측력이 높지만, 모델 성능을 완전히 설명하지는 못한다. 트리그램 통계(형용사-형용사-명사)는 더 낮은 예측 정확도(76.7%)를 보이며, 모델은 특정 트리그램이 훈련 데이터에서 드물거나 보이지 않는 경우에도 여전히 높은 성능을 유지한다.

3. 암기를 넘어선 일반화

• 제로샷 성능: 분포 통계의 강력한 영향력에도 불구하고, 모델은 견고한 일반화 능력을 보여준다. 훈련 중에 한 번도 보지 못한(0회 등장) 형용사 쌍에 대해서도 모델은 여전히 높은 AOP-% 점수(일부 분할에서 ~85%에 도달)를 달ей한다.
• 해석: 이는 모델의 행동이 단순히 관찰된 순서를 암기하는 것으로 환원될 수 없음을 나타낸다. 모델은 다른 형용사 순서로부터 학습된 패턴을 활용하여 보지 못한 조합으로 일반화한다.

4. 맥락의 역할

• 맥락적 이득: 문장 맥락을 추가하면 AOP 예측이 크게 향상된다. 67.6%의 사례에서 맥락은 AOP-∆ 점수를 높인다.
• 의미론적 vs 무작위: 실제 맥락은 65.1%의 사례에서 예측을 개선하는 반면, 무작위 맥락은 39.6%의 사례에서만 예측을 개선한다. 이는 언어적 신호의 존재 자체가 아니라 맥락의 의미론적 내용이 동인임을 확인시켜 준다.
• 영향의 원천: 특징 속성은 두 가지 주요 맥락적 영향원을 식별한다:
  1. 국소적 결합 단서(Local Collocational Cues): 형용사 구 바로 앞에 오는 한정사, 부사, 전치사가 강력한 동인으로 작용한다(예: 특정 형용사 유형과 자주 함께 나타나는 한정사).
  2. 이전의 의미론적 단서: 문장 앞부분에 등장하는 형용사와 명사는 의미적 유사성에 기반하여 어순에 편향을 준다. 상위 점수를 기록한 맥락 형용사들은 구의 두 번째 형용사보다 첫 번째 형용사와 더 높은 코사인 유사도를 보인다.

의의 및 주장

본 논문은 언어 모델을 인간의 형용사 순서 선호도를 설명하는 이론이 아니라, 단어 순서 선호도에 영향을 미치는 정보의 원천을 조사하기 위한 경험적 도구로 위치시킨다.

• 표면 통계 그 이상: 본 연구는 LLM이 훈련 데이터 빈도(분포 학습)에 크게 의존하면서도, 단순한 공생 관계의 암기를 넘어서는 일반화 능력을 보여준다는 점을 입증한다.
• 맥락 민감성: 연구는 LLM이 형용사를 고립된 상태로 다루는 전통적인 이론적 설명과 달리, 풍부한 문장 맥락을 활용하여 등급화된 선호도를 해결한다는 점을 강조한다.
• 방법론적 기여: 특징 속성을 통한 행동 분석을 결합함으로써, 저자들은 단어 순서 선호도를 조절하는 구체적인 맥락적 단서(국소적 결합 및 원거리 의미론적 단서)를 식별하였다. 이러한 발견은 특히 "연성" 언어적 제약에서 맥락의 역할과 관련하여 인간 언어 처리 연구에 새로운 길을 제시한다.
• 한계: 저자들은 자신들의 연구 결과가 영어에 국한되며, 인간의 언어 행동에 대한 완전한 설명적 계보를 구성하는 것은 아님을 인정한다. 또한 인간에게서 나타나는 암기와 일반화 사이의 절충 관계는 추가적인 데이터가 필요한 미결 과제임을 언급한다.

요약하자면, 본 논문은 LLM이 형용사 순서 선호도를 어떻게 습득하는지에 대한 행동적 특성을 규명하며, 이를 훈련 데이터 통계, 일반화 메커니즘, 그리고 구체적인 맥락적 단서의 결합으로 추적함으로써 단어 순서 연구를 위한 프레임워크를 제공한다.