Technische Samenvatting: Instructie-getunede Modellen Hergebruiken Lokale Menselijke Syntaxis Meer Dan Mensen Zelf

Probleemstelling

Syntactische convergentie—de neiging van sprekers om hun grammaticale constructies aan te passen om overeen te komen met hun gesprekspartners—is een goed gedocumenteerd fenomeen in de menselijke dialoog, dat doorgaans onder het bewuste bewustzijn opereert via structurele priming-mechanismen. Hoewel Large Language Models (LLMs) inmiddels routinematige gesprekspartners zijn, blijft het een open vraag of zij een analoge directionele syntactische convergentie vertonen naar menselijke gebruikers in vergelijking met menselijke baselines. Specifiek is het onduidelijk of LLMs de context-vrije grammatica (CFG) regels van voorafgaande menselijke beurten meer hergebruiken dan mensen doen, en hoe dit gedrag varieert tussen modelfamilies, parameterschalen en trainingsregimes (pre-trained versus instructie-getuned).

Methodologie

De studie maakt gebruik van een substitutieparadigma gebaseerd op gegevens van Blevins et al. [2026], waarbij door LLM gegenereerde beurten de beurten van één spreker vervangen in bestaande mens-mens dialogen uit het DailyDialog corpus. Deze opzet maakt een directe vergelijking mogelijk tussen modeloutputs en de oorspronkelijke menselijke reacties op identieke conversatieposities.

Data en Modellen

• Corpus: 707 dyadische Engelse gesprekken (beperkt tot beurten 6–einde), wat resulteert in 1.901 gematchte posities per model.
• Modellen: Zestien open-weight modellen uit twee families (Llama-3.1/3.2 en Gemma-3), variërend van 1B tot 70B parameters. Elke familie bevat zowel pre-trained (PT) als instructie-getunede (IT) varianten.
• Condities:
  1. HUMAN: De oorspronkelijke menselijke reactie ($h_i$) op een menselijke prime ($p_i$).
  2. ACTUAL: De modelgeneratie ($m_i$) op een menselijke prime ($p_i$).
  3. RANDOM: De modelgeneratie ($m_i$) op een niet-gerelateerde menselijke prime ($\tilde{p}_i$) afkomstig uit een ander gesprek.

Meetpipeline

• Syntactische Annotatie: Uitingen werden geparsed met behulp van benepar om Context-Vrije Grammatica (CFG) productieregels te extraheren. In aanmerking komende regels waren niet-unair en kwamen meer dan één keer voor in het menselijke corpus.
• Metrieken:
  • Totale Natuurlijke Output-Alignment: Overlap van CFG-regels tussen de doel- en de werkelijke prime.
  • Actual-versus-Random Increment: De toegevoegde overlap die toe te schrijven is aan de werkelijke conversatie-prime versus een ongerelateerde prime.
  • Conditionele Hergebruik-neiging: De kans op overlap wanneer de omvang van de doel-regelset constant wordt gehouden.
• Statistische Modellering: Logistische gemengde effecten modellen (GLMMs) werden gefit voor elk model en gepoold over architectuurparen. Random intercepts hielden rekening met variatie tussen posities en regels. Covariaten omvatten regel-frequentie en de structurele grootte van de prime.
• Exploratieve Analyses: TF-IDF cosinus-gelijkenis (lexicaal) en L2-genormaliseerde sentence embedding cosinus-gelijkenis (semantisch) werden berekend om de gelijkenis tussen model en mens met de voorgaande beurt te vergelijken.

Belangrijkste Resultaten

1. Universeel Syntactisch Hergebruik Boven de Baseline (RQ1)

Elk model (alle 16) vertoonde een grotere CFG-regel overlap met de werkelijke voorgaande menselijke beurt dan met een ongerelateerde prime. De actual-versus-random coëfficiënt varieerde van $\beta = 0.706$ tot $1.453$($p \le 6.5 \times 10^{-31}$), wat bevestigt dat alle geëvalueerde modellen directionele syntactische convergentie vertonen.

2. Instructie-getunede Alignment versus Menselijke Baseline (RQ2)

• Natuurlijke Output: Elk instructie-getuned model vertoonde een grotere totale actual-prime overlap dan de gematchte menselijke reactie ($\beta = 0.398$ tot $0.796$). Pre-trained modellen lagen dichter bij de menselijke baseline, met gemengde resultaten (vier significant positief, vier ononderscheidbaar van nul).
• Architectuurparen: Alle acht gematchte architectuurparen vertoonden een groter totale actual-prime hergebruik onder instructie-tuning vergeleken met hun pre-trained tegenhangers.
• De "Structuur" Confound: Bij het deconstrueren van deze resultaten, produceerden instructie-getunede modellen reacties met meer in aanmerking komende syntactische structuur (grotere doel-regelsets), wat inherent meer mogelijkheden voor overlap biedt.
  • Actual-versus-Random Increment: Instructie-getunede modellen vertoonden een kleinere incrementele boost door de werkelijke prime vergeleken met pre-trained modellen ($\beta = -0.310$).
  • Conditionele Hergebruik: Wanneer de omvang van de doel-regelset constant werd gehouden, keerde het voordeel van instructie-tuning om. Pre-trained modellen vertoonden een sterkere neiging om beschikbare regels te hergebruiken ($\beta = -0.505$ voor IT vs. PT), terwijl instructie-getunede modellen een lagere conditionele hergebruik-kans vertoonden.

3. Frequentieprofielen (RQ3)

• Regel-frequentie: Voor alle modellen was de actual-versus-random increment groter voor regels met een lage frequentie.
• Divergerende Profielen: Mensen en pre-trained modellen vertoonden negatieve interacties met frequentie (sterkere priming voor zeldzame regels). Instructie-getuned modellen vertoonden meer variabele frequentie-interacties, waarbij sommigen positieve interacties vertoonden, wat suggereert dat zij een ander mechanisme gebruiken in hoe zij de weging van regel-hergebruik op basis van frequentie bepalen.

4. Lexicale en Semantische Gelijkenis (RQ4)

• Alle zestien modellen waren lexicaal en semantisch gelijker met de voorgaande beurt dan de gematchte menselijke reacties waren.
• Instructie-getunede modellen produceerden consistent reacties met een grotere gemiddelde semantische gelijkenis dan hun pre-trained tegenhangers. De resultaten voor lexicale gelijkenis waren heterogeen over de architectuurparen.

Betekenis en Claims

Het artikel claimt de eerste meting te bieden van directionele lokale syntactische convergentie in mens-LLM dialoog over een brede inventaris van constructies en modelvarianten.

• Mechanisme van Convergentie: De bevindingen suggereren dat instructie-tuning modellen optimaliseert voor lokale "responsiviteit", wat leidt tot een hogere totale alignment met de voorgaande beurt. Dit wordt echter deels gedreven door de generatie van reacties die meer syntactische structuur bevatten, in plaats van een pure toename in de neiging om specifieke regels te hergebruiken.
• Reconciliatie met Stylometrie: De resultaten rijmen met eerder werk (Blevins et al. [2026]) dat laat zien dat instructie-getunede modellen mogelijk minder convergeren op bepaalde stylometrische kenmerken; de huidige studie suggereert dat dit kan wijzen op een neiging om nieuw materiaal te introduceren terwijl er toch een hoge structurele alignment behouden blijft door verhoogde output-complexiteit.
• Implicaties voor Alignment Risico's: De studie operationaliseert een lokaal linguïstisch component dat relevant is voor de "amplification spiral" hypothese (Augustin et al. [2026]), waarbij linguïstische alignment gecombineerd met hypergepersonaliseerde generatie kan bijdragen aan maladaptieve overtuigingsvorming. De data bevestigt dat LLMs, met name instructie-getunede modellen, sterke, meetbare syntactische accommodatie vertonen aan menselijke gebruikers.
• Psycholinguïstisch Inzicht: De aanwezigheid van frequentie-afhankelijke priming-effecten (sterker voor zeldzame regels) in alle modellen, inclus\u0026 lichte pre-trained modellen, suggereert dat gevoeligheid voor de lokale syntactische omgeving een fundamentele eigenschap is van next-token voorspelling, potentieel analoog aan fout-gestuurde impliciete leerprocessen bij mensen, hoewel het artikel opmerkt dat deze analogie verdere mechanistische investigatie vereist.

De studie concludeert dat hoewel instructie-getunede modellen sterker aligneren met menselijke syntaxis in natuurlijke output, deze alignment complex is en zowel een toename in structurele opportuniteit als afwijkende frequentie-wegingsmechanismen omvat vergeleken met zowel mensen als pre-trained modellen.