More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs

기술적 요약: 더 정렬되었지만 덜 다양한가? 두 세대 LLM 의 문법과 어휘 분석

문제 제기
대규모 언어 모델 (LLM) 이 언어적 차원에서 인간 작가와 점점 더 비교되고 있지만, 이러한 차이를 정량화하는 견고한 방법은 여전히 미흡한 상태입니다. 구체적으로, 지시 튜닝 (instruction tuning) 과 인간 피드백을 통한 강화 학습 (RLHF) 이 모델 출력의 문법적 및 어휘적 다양성에 미치는 영향은 잘 이해되지 않고 있습니다. 기존 연구는 기본 모델이 인간 텍스트와 다르다는 것을 입증했지만, 새로운 지시 튜닝 세대가 인간과 그 이전 세대 모델과 비교하여 어떻게 다른지는 명확하지 않습니다. 본 연구는 더 나은 정렬과 일관성을 위해 설계된 최신 LLM 이 구문적 및 어휘적 다양성을 희생했는지 여부를 조사함으로써 이 격차를 해소합니다.

방법론
저자들은 견고성과 일반화 가능성을 보장하기 위해 표준 NLP 작업 기반 지표를 아닌 형식 언어학적 프레임워크를 사용합니다.

• 프레임워크: 본 연구는 Head-Driven Phrase Structure Grammar(HPSG) 와 English Resource Grammar(ERG) 를 활용합니다. 통계적 파서나 Universal Dependencies 와 달리, ERG 는 모든 잘 형성된 영어 문장에 구조를 제공하도록 설계된 결정론적이며 포괄적인 차트 파서로, 희귀한 언어 현상과 파싱 가능성을 분석할 수 있게 합니다.
• 데이터셋:
  • 인간 텍스트: 뉴욕 타임스 (NYT) 의 두 가지 다른 시기의 리드 문단: 2023 년 (기존 연구에서 사용됨) 과 2025 년 (신규 수집).
  • LLM 텍스트: 두 세대 모델을 비교했습니다:
    • 구세대 (2023 년 이전): 2023 년 10 월 이전에 훈련된 기본 모델 (LLaMA 7B/13B/30B/65B, Falcon 7B, Mistral 7B).
    • 신세대 (2024 년): 2024 년까지 훈련된 지시 튜닝 모델 (Qwen 2.5, Mistral 7B v0.3, GPT-4o, LLaMA 3.3).
  • 생성 프로토콜: 2025 년 인간 데이터의 경우, LLM 에게 NYT 헤드라인과 리드 문단의 처음 세 단어를 프롬프트로 주어 합성 리드를 생성하도록 했습니다. 지시 튜닝 모델은 완료 작업을 시뮬레이션하기 위해 명시적인 시스템/사용자 프롬프트가 필요했습니다.
• 지표: 다양성은 생태학적 및 정보 이론 지수를 사용하여 정량화되었습니다:
  • Shannon-Wiener 지수 ($H'$): 분포의 풍부함과 균일성을 측정합니다.
  • Simpson 지수 ($D$): 무작위로 선택된 두 토큰이 서로 다른 범주에 속할 확률을 측정합니다.
  • 이러한 지표는 구문 유형(구문 구조 구성) 과 어휘 유형(단어 제약에 대한 복잡한 HPSG 표현으로, 표면 어휘와 구별됨) 에 적용되었습니다.

주요 기여

1. 시계열 비교: 기존 연구가 단일 세대 LLM 과 인간을 비교한 것과 달리, 본 연구는 두 세대 LLM(기본 모델 대 지시 튜닝 모델) 을 두 시점의 인간 글쓰기 샘플과 직접 대조합니다.
2. 형식 언어학적 분석: HPSG/ERG 의 사용은 NLP 작업 수행이나 포괄적인 품사 태깅에 내재된 편향을 피하고, 구문과 어휘를 분석하기 위해 언어학적으로 근거를 둔 이론 독립적 방법을 제공합니다.
3. 다양성 지표 적용: 구문 구조에 Shannon 및 Simpson 지수를 적용함으로써 모델 세대에 따른 스타일적 변화를 체계적으로 추적할 수 있는 방법을 제시합니다.

결과

• 인간 텍스트의 안정성: 2023 년과 2025 년 영어 뉴스 텍스트는 구문적 및 어휘적 다양성 지표 모두에서 놀라운 안정성을 보여주어, 전문 저널리즘에서 일관된 다양성 균형을 유지하고 있음을 나타냅니다.
• LLM 의 편차:
  • 구문적 다양성: 최신 지시 튜닝 모델 (2025 년) 은 구세대 기본 모델 (2023 년) 에 비해 구문적 다양성이 현저히 감소했습니다. 구세대 모델은 인간의 다양성에 더 가까웠으나, 신세대 모델은 수식어와 결합을 포함하는 구성 (예: 수식어가 있는 명사구) 을 선호하는 반면 이름과 날짜와 같은 구체적인 세부 사항은 피했습니다.
  • 어휘적 다양성: 감소는 어휘적 다양성에서 더욱 두드러졌습니다. 놀랍게도, 구세대 LLM(2023 년) 은 인간 텍스트와 신세대 모델을 모두 능가하는 가장 높은 어휘적 다양성을 보였습니다. 신세대 모델 (2025 년) 은 가장 낮은 어휘적 다양성을 보였으며, "기본" 어휘 유형 (형용사, 일반 명사, 타동사) 에 의존하고 구체적인 지시어를 피했습니다.
  • 문장 부호: 신세대 모델은 인간 작가와 구세대 모델에 비해 문장 부호 사용의 다양성이 현저히 낮았으며, em-dash, 세미콜론, 따옴표 생성이 적었습니다.
• 파싱 가능성과 길이:
  • 신세대 모델은 인간 텍스트보다 15~30% 더 긴 문장을 생성한 반면, 구세대 모델은 인간 텍스트보다 짧았습니다.
  • 길이가 증가했음에도 불구하고, 신세대 LLM 출력은 파싱이 더 쉬웠으며(성공률 약 99% 에 근접), 인간 텍스트나 구세대 LLM 출력보다 더 적은 계산 자원을 필요로 했습니다. 이는 신세대 모델이 문법의 가장 예측 가능한 부분에 정렬된 구조적으로 규칙적이고 간결한 문장을 생성하는 반면, 인간 텍스트는 더 복잡하고 예측 불가능한 현상을 유발함을 시사합니다.

의의와 주장
본 논문은 지시 튜닝이 일관성과 프롬프트 준수를 향상시키지만, 모델 출력의 표현 범위를 축소하는 부작용이 있다고 주장합니다. 이러한 발견은 정렬 패러다임이 스타일적 통제와 사실적 안전성 (구체적인 이름/날짜 회피 및 환각이 일어나기 쉬운 구조 감소로 입증됨) 을 위해 어휘적 및 구문적 다양성을 희생한다는 트레이드오프를 시사합니다.

저자들은 더 크고 새로운 모델이 전문 뉴스 저널리즘에서 인간 언어 행동으로 수렴하는 것이 아니라, 오히려 인간과 초기 기본 모델보다 더 공식적이고 덜 다양해지며 이탈하고 있다고 결론지었습니다. 이는 지시 튜닝이 언어 능력에 미치는 영향과 이러한 능력을 정렬을 훼손하지 않고 복원할 수 있는지 여부에 대한 향후 연구의 필요성을 강조합니다. 본 연구는 영어 뉴스 텍스트로 범위가 제한적이지만, 방법론은 광범위하게 적용 가능하나 현재 다른 언어에 대한 광범위한 HPSG 문법의 가용성 부족으로 제한됨을 명시합니다.