기술 요약: 지시 튜닝된 모델은 인간보다 로컬(Local)하게 인간의 구문론적 구조를 더 많이 재사용한다

문제 제기

구문론적 수렴(Syntactic convergence)—화자가 대화 상대방에게 맞추기 위해 자신의 문법적 구성을 조정하는 경향—은 인간의 대화에서 잘 알려진 현상이며, 일반적으로 의식적인 인지 아래에서 구조적 프라이밍(structural priming) 메커니즘을 통해 작동한다. 거대 언어 모델(LLM)이 이제 일상적인 대화 상대가 되었으나, 이들이 인간의 기준점과 비교했을 때 인간 사용자에게 방향성을 가진 구문론적 수렴을 보이는지는 여전히 미해결 과제로 남아 있다. 구체적으로, LLM이 이전 인간 차례(turn)의 문맥 자유 문법(CFG) 규칙을 인간보다 더 많이 재사용하는지, 그리고 이러한 행동이 모델 제품군, 파라미터 규모, 그리고 훈련 방식(사전 학습(pretrained) vs. 지시 튜닝(instruction-tuned))에 따라 어떻게 달라지는지는 불분명하다.

방법론

본 연구는 Blevins 등[2026]의 데이터를 기반으로 한 **치환 패러다임(substitution paradigm)**을 활용한다. 여기서 LLM이 생성한 차례가 기존의 인간-인간 대화(DailyDialog 코퍼스) 중 한 화자의 차례를 대체한다. 이 설정은 동일한 대화 위치에서 모델의 출력물과 원래의 인간 응답을 직접 비교할 수 있게 한다.

데이터 및 모델

• 코퍼스: 707개의 쌍방향 영어 대화(6번째 차례부터 끝까지로 제한), 모델당 1,901개의 매칭된 위치 확보.
• 모델: 두 가지 제품군(Llama-3.1/3.2 및 Gemma-3)에 걸친 1B에서 70B 파라미터 규모의 16개 오픈 웨이트 모델. 각 제품군은 사전 학습(PT) 버전과 지시 튜닝(IT) 버전을 모두 포함한다.
• 조건:
  1. HUMAN (인간): 인간 프라임($p_i$)에 대한 원래의 인간 응답($h_i$).
  2. ACTUAL (실제): 인간 프라임($p_i$)에 대한 모델 생성물($m_i$).
  3. RANDOM (무작위): 다른 대화에서 샘플링된 관련 없는 인간 프라임($\tilde{p}_i$)에 대한 모델 생성물($m_i$).

측정 파이프라인

• 구문 주석(Syntactic Annotation): benepar를 사용하여 발화를 파싱하고 문맥 자유 문법(CFG) 생성 규칙을 추출했다. 적격한 규칙은 비단항(non-unary) 규칙이며 인간 코퍼스 내에서 두 번 이상 나타난 규칙이다.
• 지표:
  • 총 자연스러운 출력 정렬(Total Natural-Output Alignment): 타겟과 실제 프임 간의 CFG 규칙 중첩도.
  • Actual-vs-Random 증분(Actual-vs-Random Increment): 실제 대화 프라임과 무관한 프라임 사이에서 발생하는 추가적인 중첩량.
  • 조건부 재사용 성향(Conditional Reuse Propensity): 타겟 규칙 세트의 크기를 일정하게 유지할 때의 중첩 오즈(odds).
• 통계 모델링: 각 모델별로, 그리고 아키텍처 쌍별로 통합하여 로지스틱 혼합 효과 모델(GLMM)을 적합시켰다. 랜덤 절편(random intercept)은 위치와 규칙의 변동을 반영한다. 공변량으로는 규칙 빈도와 프라임의 구조적 크기를 포함했다.
• 탐색적 분석: 모델과 인간의 이전 차례 간 유사성을 비교하기 위해 TF-IDF 코사인 유사도(어휘적)와 L2-정규화된 문장 임베딩 코사인 유사도(의미적)를 계산했다.

주요 결과

1. 베이스라인 이상의 보편적 구문 재사용 (RQ1)

모든 모델(16개 전원)은 무관한 프라임보다 실제 선행 인간 차례와 더 높은 CFG 규칙 중첩을 보였다. Actual-versus-random 계수는 $\beta = 0.706$에서 $1.453$사이였으며 ($p \le 6.5 \times 10^{-31}$), 이는 평가된 모든 모델이 방향성을 가진 구문론적 수렴을 보임을 확인시켜 준다.

2. 인간 베이스라인 대비 지시 튜닝 정렬 (RQ2)

• 자연스러운 출력: 모든 지시 튜닝 모델은 매칭된 인간 응답보다 더 큰 실제-프라임 중첩을 보였다 ($\beta = 0.398$ ~ $0.796$). 사전 학습 모델은 인간 베이스라인에 더 가까웠으며, 결과는 엇갈렸다 (4개는 유의미하게 양수였으나, 4개는 0과 구별되지 않음).
• 아키텍처 쌍: 8개의 매칭된 아키텍처 쌍 모두에서, 지시 튜닝된 모델이 사전 학습된 모델보다 더 높은 실제-프라임 재사용을 보였다.
• "구조" 혼란 변수(The "Structure" Confound): 이러한 결과를 분해했을 때, 지시 튜닝된 모델은 더 많은 적격한 구문 구조(더 큰 타겟 규칙 세트)를 가진 응답을 생성하며, 이는 본질적으로 더 많은 중첩 기회를 제공한다.
  • Actual-vs-Random 증분: 지시 튜닝된 모델은 사전 학습 모델에 비해 실제 프라임으로부터 얻는 증분 효과가 더 작았다 ($\beta = -0.310$).
  • 조건부 재사용: 타겟 규칙 세트 크기를 고정했을 때, 지시 튜닝의 이점은 역전되었다. 사전 학습 모델이 가용 규칙을 재사용하는 경향이 더 강하게 나타났다 (IT vs. PT의 경우 $\beta = -0.505$).

3. 빈도 프로필 (RQ3)

• 규칙 빈도: 모든 모델에서 실제-대-무작위 증분은 저빈도 규칙에서 더 크게 나타났다.
• 분기되는 프로필: 인간과 사전 학습 모델은 빈도와 음의 상호작용을 보였다 (희귀 규칙에 대한 더 강한 프라이밍). 지시 튜닝 모델은 더 다양한 빈도 상호작용을 보였으며, 일부는 양의 상호작용을 보여 규칙 재사용에 대한 가중치를 두는 방식이 다름을 시사했다.

4. 어휘 및 의미적 유사성 (RQ4)

• 16개 모델 모두 매칭된 인간 응답보다 선행 차례와 더 높은 어휘적, 의미적 유사성을 보였다.
• 지시 튜닝 모델은 사전 학습 모델보다 일관되게 더 높은 평균 의미적 유사성을 가진 응답을 생성했다. 어휘적 유사성 결과는 아키텍처 쌍에 따라 이질적이었다.

의의 및 주장

본 논문은 광범-한 구성 목록과 모델 변형에 걸쳐 인간-LLM 대화에서의 방향성 국소 구문론적 수렴을 측정한 첫 번째 사례라고 주장한다.

• 수렴의 메커니즘: 연구 결과는 지시 튜닝이 모델을 국소적 "반응성(responsiveness)"에 최적화하여, 선행 차례와의 더 높은 총체적 정렬을 유도한다는 것을 시사한다. 그러나 이는 순수한 규칙 재사용 능력의 증가라기보다, 더 많은 구문 구조를 포함하는 응답을 생성함으로써 발생하는 측면이 크다.
• 문체론(Stylometry)과의 조화: 지시 튜닝된 모델이 특정 문체적 특징에서는 수렴이 덜할 수 있다는 기존 연구(Blevins et al. [2026])와 본 연구의 결과를 조화시킨다. 본 연구는 이것이 높은 구조적 정렬을 유지하면서도 새로운 내용을 도입하려는 경향(출력 복잡도 증가)을 반영할 수 있음을 시사한다.
• 정렬 위험에 대한 시사점: 본 연구는 언어적 정렬이 초개인화된 생성과 결합하여 부적응적 신념 형성에 기여할 수 있다는 "증폭 나선(amplification spiral)" 가설(Augustin et al. [2026])과 관련된 국소적 언어 구성 요소를 구체화한다. 데이터는 LLM, 특히 지시 튜닝된 모델이 인간 사용자에게 강력하고 측정 가능한 구문론적 적응을 보인다는 점을 확인시켜 준다.
• 심리언어학적 통찰: 모든 모델(작은 규모의 사전 학습 모델 포함)에서 나타나는 빈도 의존적 프라이밍 효과(희귀 규칙에서 더 강함)는, 다음 토큰 예측(next-token prediction)의 근본적인 속성으로서 국소적 구문 환경에 대한 민감성을 시사한다. 이는 인간의 오류 기반 암묵적 학습과 유사할 수 있으나, 논문은 이를 위한 추가적인 기제 연구가 필요하다고 명시한다.

결론적으로, 지시 튜닝된 모델은 자연스러운 출력에서 인간의 구문을 더 강하게 정렬시키지만, 이러한 정렬은 구조적 기회의 증가와 인간 및 사전 학습 모델과는 구별되는 독특한 빈도 가중 메커니즘을 모두 포함하는 복합적인 현상이다.