How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework

기술적 요약: 대규모 언어 모델은 인간과 얼마나 유사한가? 레지스터 인식 언어 평가 프레임워크

문제 제기
현재 대규모 언어 모델 (LLM) 연구는 사실적 정확성과 작업 수행 벤치마크 (예: MMLU, 도메인 특화 QA) 를 중점적으로 우선시하지만, LLM 이 생성한 텍스트가 언어적 수준에서 인간 언어와 얼마나 유사한지에 대한 근본적인 질문은 여전히 미흡하게 탐구되고 있습니다. 코퍼스 언어학적 관점에서 인간 언어 생산은 본질적으로 맥락 의존적이며, 서로 다른 의사소통 맥락 (레지스터) 은 언어적 특징의 특정 빈도와 공출현 패턴을 만들어냅니다. 텍스트가 사실적으로 정확하더라도 목표 레지스터의 패턴을 따르지 못하면 언어적으로 '부자연스러울' 수 있습니다. 기존 탐지 방법들은 종종 모델 임베딩 (인간이 해석할 수 없음) 에 의존하거나, 모델이 상황적 맥락에서 레지스터를 추론하는 대신 명시적인 레지스터 예시에 조건부로 주어졌을 때 레지스터 정렬을 적절히 측정하지 못합니다.

방법론
저자들은 인간-reference 코퍼스의 언어적 특징 분포와 해당 LLM 생성 코퍼스 간의 두 표본 문제로 인간 유사성을 평가하는 레지스터 인식 평가 프레임워크를 제안합니다.

1. 데이터 생성 및 암시적 레지스터 조건부 설정:

   • 다섯 가지 서로 다른 영어 레지스터를 선정했습니다: 구어 대화 (BNC2014Spoken), 학술적 글쓰기 (S2ORC_ACL), 지시적 온라인 텍스트 (wikiHow), 창의적 글쓰기 (WritingPrompts), 뉴스 보도 (XSum).
   • 인간 참조 코퍼스를 수집하고 메타데이터를 활용하여 자연어 프롬프트를 구성했습니다.
   • 핵심적으로, 이 프레임워크는 암시적 레지스터 조건부 설정을 사용합니다: 프롬프트는 레지스터별 텍스트 예시를 포함하지 않고 상황적 맥락을 설명함으로써 모델이 목표 스타일을 추론하도록 강제합니다.
   • 8B 에서 70B 파라미터에 이르는 7 개의 오픈소스 지시 튜닝 모델 (Llama 3, Qwen 3, Gemma 3, Apertus 포함) 을 제로샷 (zero-shot) 및 퓨샷 (few-shot) 설정에서 평가했습니다.

2. 특징 추출:

   • 이 프레임워크는 코퍼스 언어학에서 레지스터 간 변이를 분석하는 표준인 Biber(1988) 가 제시한 67 개의 어휘 - 문법 및 담화 특징을 활용합니다.
   • 비교 가능성을 보장하기 위해 텍스트를 400 개의 어휘 토큰 길이로 표준화했습니다.

3. 거리 측정 지표 (MMD):

   • 인간 코퍼스와 합성 코퍼스 간의 불일치는 RBF 커널을 사용하는 재현 커널 힐베르트 공간 (RKHS) 내의 **최대 평균 불일치 (Maximum Mean Discrepancy, MMD)**를 사용하여 정량화합니다.
   • MMD 는 두 분포의 평균 임베딩 사이의 거리를 측정합니다. 값이 0 이면 두 분포가 동일함을 의미합니다.
   • 기준선을 설정하기 위해 저자들은 인간 코퍼스의 두 불교합 부분표본 간의 MMD($MMD_{human-human}$) 를 계산하여 95% 신뢰 구간 (CI) 을 생성합니다. 만약 LLM 의 거리가 이 CI 의 상한선을 초과한다면, 이는 인간 언어 패턴으로부터 통계적으로 유의미한 편차를 나타냅니다.

주요 기여

• 레지스터 인식 프레임워크: 작업별 지표를 넘어 MMD 를 활용한 언어적 특징의 분포적 차이를 기반으로 인간 유사성을 평가하는 방법.
• 오픈소스 구현: Biber 의 67 개 특징을 사용한 코드, 생성 설정, 결과 공개.
• 종합적 벤치마크: 프롬프트 안정성과 퓨샷 생성 효과에 대한 절제 연구 (ablation study) 를 포함한 다섯 가지 레지스터에 걸친 7 개 모델의 비교 분석.

결과

• 보편적 편차: 모든 테스트 설정에서 모든 LLM 은 인간 기준선 (인간 - 인간 CI 초과) 과 크게 편차된 언어적 특징 분포를 생성했습니다.
• 레지스터 의존성: '인간 유사성'에 따른 모델 순위는 레지스터마다 일관되지 않습니다. 예를 들어, Qwen 모델은 구어 대화, 창의적 글쓰기, 뉴스 분야에서 가장 우수하게 수행된 반면, Apertus 70B 는 학술적 글쓰기와 지시적 텍스트에서 인간 기준선에 가장 근접했습니다.
• 모델 크기와 성능: 인간 유사성은 모델 크기에 의해 결정되지 않습니다. 레지스터에 따라 작은 모델 (예: Qwen 8B) 이 더 큰 모델 (예: Llama 70B) 과同等하거나 더 나은 성능을 보이는 경우가 많습니다.
• 특정 언어적 편향:
  • 모델들은 일반적으로 인간에 비해 현재 분사구 (Present Participle Clauses) 와 명사화 (Nominalizations) 를 과도하게 사용했습니다.
  • 모델들은 더 긴 단어를 생성하는 경향이 있었고, 관형형 형용사 (Attributive Adjectives) 를 더 빈번하게 사용했습니다.
  • 모델들은 다섯 개 레지스터 중 네 개에서 인간에 비해 언어적 특징의 변이가 감소된 모습을 보였습니다.
• 프롬프트 안정성: 절대적 거리 값은 프롬프트 문구에 따라 변했지만, 모델 간 상대적 순위는 일관되게 유지되었습니다 (상관관계 $\ge$ 0.985).
• 퓨샷 효과: 퓨샷 예시를 제공하는 것은 일반적으로 인간 분포와의 거리를 줄였으나, 그 효과는 미미했으며 때로는 해로웠습니다 (예: 구어 대화에서 Llama 8B 의 경우).

의의 및 주장
본 논문은 인간 유사성이 레지스터 의존적 속성이며 레지스터 민감성을 가지고 평가되어야 한다고 주장합니다. 레지스터 간 결과를 집계하면 체계적인 차이를 흐리게 만들며, 한 맥락에서 '가장 인간과 유사한' 모델로 순위가 매겨진 모델이 다른 맥락에서는 그렇지 않을 수 있습니다.

저자들은 그들의 프레임워크가 투명하고 해석 가능한 지표 (해석 가능한 인간 특징에 대한 MMD) 를 제공하며, 향후 연구에서 LLM 의 언어 생산 개선을 위해 최적화될 수 있다고 주장합니다. 생성된 텍스트와 대표적 레지스터 샘플 간의 MMD 를 최소화함으로써, 모델들은 의사소통 목적에 언어적으로 적합한 텍스트를 생성하고 특징의 좁은 분포로 '모드 붕괴 (mode collapsing)'되는 것을 피하도록 장려될 수 있습니다. 이 연구는 현재 LLM 들이 크기와 아키텍처에 관계없이 특정 레지스터 내 인간 언어의 전체적 변이와 특정 공출현 패턴을 체계적으로 재현하지 못한다고 결론지었습니다.