💬 NLP

Instruction-Tuned Models Locally Reuse Human Syntax More Than Humans Do

Diese Studie zeigt, dass instruktionsgestimmte große Sprachmodelle eine stärkere syntaktische Konvergenz mit vorangegangenen menschlichen Interaktionen aufweisen als Menschen selbst, jedoch im Vergleich zu ihren vortrainierten Gegenstücken eine verringerte Sensitivität gegenüber spezifischen grammatikalischen Regeln und eine erhöhte Überlappung mit unbezogenen Primen zeigen.

Ursprüngliche Autoren: Zandi Eberstadt

Veröffentlicht 2026-07-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zandi Eberstadt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der große Sprachspiegel: Wenn Roboter anfangen, wie wir zu sprechen

Stellen Sie sich vor, Sie sind auf einer Party und bemerken, dass Sie, nachdem Ihr Freund ein bestimmtes Slangwort oder eine lustige Art der Satzformulierung verwendet hat, versehentlich dasselbe tun. Sie haben es nicht geplant; es ist einfach passiert. In der Wissenschaft wird dies als syntaktische Konvergenz bezeichnet. Es ist ein bekannter Trick des menschlichen Gehirns, bei dem wir unbewusst die Grammatik und die Satzstrukturen der Menschen nachahmen, mit denen wir sprechen, um unseren Gesprächsfluss zu glätten. Es ist wie ein linguistischer Tanz, bei dem die Partner natürlich im gleichen Takt miteinander tanzen.

Stellen Sie sich nun einen neuen Artgenossen für diesen Tanz vor: ein riesiges, superintelligentes Computerprogramm namens Large Language Model (LLM). Dies sind die KI-Chatbots, die Geschichten schreiben, Fragen beantworten und Gespräche führen können. Wissenschaftler haben sich schon lange gefragt: Betreiben diese digitalen Gehirne denselben „Spiegelungs“-Tanz, den Menschen tun? Kopieren sie unbewusst die Grammatik der Person, mit der sie sprechen, oder bleiben sie einfach ihrem eigenen robotischen Stil treu? Diese Frage ist wichtig, denn wenn die KI uns zu perfekt nachahmt, könnte dies die Art und Weise verändern, wie wir mit ihr interagieren – was potenziell dazu führen kann, dass wir das Gefühl bekommen, sie verstünde uns besser, als sie es tatsächlich tut, oder sie sogar beeinflusst, was wir glauben.

Die Studie: Ein Grammatik-Austausch-Experiment

In dieser Studie beschloss eine Forscherin namens Zandi Eberstadt, diese Frage mithilfe eines cleveren Tricks namens „Substitutionsparadigma“ auf die Probe zu stellen. Stellen Sie sich vor, Sie haben ein Transkript eines echten Gesprächs zwischen zwei Menschen. Stellen Sie sich nun ein magisches Radiergummi vor, das die Antwort einer Person auslöscht und durch eine von einer KI generierte Antwort ersetzt. Die Forscherin tat dies mit 16 verschiedenen KI-Modellen (von winzigen mit 1 Milliarde Parametern bis hin zu massiven mit 70 Milliarden) und verglich ihre „ersetzten“ Antworten mit den ursprünglichen menschlichen Antworten.

Das Ziel war zu sehen, ob die KI, wenn sie auf einen Menschen reagiert, die spezifischen grammatikalischen „Bausteine“ (genannt kontextfreie Grammatikregeln) wiederverwendet, die der Mensch gerade benutzt hat. Um sicherzustellen, dass die KI dies nicht nur durch Zufall kopiert, fütterte die Forscherin die KI auch mit einem zufälligen, unzusammenhängenden Satz als Prompt und prüfte, ob sie die Grammatik dennoch kopierte.

Die großen Erkenntnisse: Die KI ist ein besserer Spiegel als wir

Die Ergebnisse waren überraschend und ein wenig amüsant. Hier ist, was die Studie herausfand:

1. Die KI kopiert immer (öfter als durch Zufall)
Jedes einzelne der 16 KI-Modelle zeigte, dass es die Grammatik des vorherigen menschlichen Satzes viel häufiger wiederverwendete, als es die Grammatik eines zufälligen, unzusammenhängenden Satzes wiederverwendet hätte. Also ja, die Roboter tanzen definitiv nach der Melodie des Menschen.

2. Die „Instruction-tuned“ Roboter zeigen den größten Gesamtoverlap (aber es ist kompliziert)
Die Studie untersuchte zwei Arten von KI: „Pretrained“-Modelle (die einfach viel Text gelesen haben) und „Instruction-tuned“-Modelle (die speziell darauf trainiert wurden, menschliche Anweisungen zu befolgen und natürlich zu chatten). Die „Instruction-tuned“-Modelle zeigten den höchsten gesamten grammatikalischen Überlapp mit dem Menschen. Tatsächlich wiederverwendeten sie die Grammatik des Menschen insgesamt häufiger als die eigentlichen Menschen in den ursprünglichen Gesprächen. Dies ist jedoch nicht die ganze Geschichte. Die Forscher fanden heraus, dass „Instruction-tuned“-Modelle dazu neigen, längere, komplexere Antworten zu generieren, was ihnen natürlich mehr „Raum“ bietet, um mit der Grammatik des Menschen zu überlappen. Wenn die Forscher diesen Unterschied in der Antwortlänge und Struktur anpassten, änderte sich das Bild.

3. Aber es gibt einen Haken: Sie kopieren alles, nicht nur die richtigen Dinge
Hier wird es knifflig. Während die „Instruction-tuned“-Modelle den höchsten Gesamtoverlap hatten, überlappten sie auch stärker mit zufälligen Sätzen als die Basismodelle. Es ist wie ein Schüler, der so begierig darauf ist, dem Lehrer zu gefallen, dass er sogar die Handschrift des Lehrers kopiert, selbst wenn der Lehrer gar nicht hinsieht, aber er kopiert auch wahllos Kritzeleien aus einem Notizbuch auf dem Boden.

Als die Forscher die Tatsache anpassten, dass die Antworten der KI manchmal länger waren und mehr „Raum“ zum Kopieren boten, änderte sich das Bild. Die einfachen, vortrainierten Modelle waren tatsächlich besser darin, gezielt zu entscheiden, wann sie spezifische Grammatikregeln wiederverwenden, wenn es sinnvoll war. Die „Instruction-tuned“-Modelle hingegen schienen einfach mehr Wörter und Strukturen an die Wand zu werfen, in der Hoffnung, dass etwas hängen bleibt. Sie hatten einen höheren Gesamtoverlap, aber eine geringere „bedingte“ Wahrscheinlichkeit, eine spezifische Regel wiederzuverwenden, sobald man berücksichtigte, wie viel sie eigentlich sprachen.

4. Der „Seltene-Wörter“-Effekt
Interessanterweise waren sowohl Menschen als auch KI am wahrscheinlichsten bereit, die seltenen oder ungewöhnlichen Grammatikregeln zu kopieren, die sie hörten. Wenn ein Mensch eine seltsame, ungewöhnliche Satzstruktur verwendete, war die KI sehr wahrscheinlich bereit, diese zu kopieren. Dies deutet darauf hin, dass die KI sensibel für die lokale Umgebung ist und die einzigartige „Note“ des Gesprächs aufgreift, genau wie Menschen es tun.

5. Wörter und Bedeutungen auch
Über die Grammatik hinaus passten die KI-Modelle auch die Wörter und die allgemeine Bedeutung der Sätze der Menschen besser an als die ursprünglichen Menschen selbst. Die „Instruction-tuned“-Modelle waren besonders gut darin, die Bedeutung der vorangegangenen Äußerung zu erfassen, was sie sehr reaktionsschnell wirken ließ, selbst wenn ihr Kopieren der Grammatik etwas „verrauscht“ war.

Was das bedeutet

Die Studie kommt zu dem Schluss, dass „Instruction-tuned“ KI-Modelle unglaublich gut darin sind, menschliche Gespräche nachzuahmen, und oft die Menschen in der Nähe des Treffens der Grammatik der Person, mit der sie sprechen, übertreffen. Dies liegt jedoch nicht unbedingt daran, dass sie beim Kopieren „schlauer“ sind; es liegt zum Teil daran, dass sie darauf trainiert sind, reaktionsschneller zu sein und mehr Text zu generieren, was ihnen mehr Chancen gibt, Überschneidungen zu erzielen.

Die Forscher mahnen zur Vorsicht und sagen, dass wir noch nicht wissen, warum die KI dies tut. Liegt es an der Art und Weise, wie sie trainiert wurden? Ist es nur ein Nebeneffekt des Versuchs, das nächste Wort vorherzusagen? Wir wissen es nicht sicher. Aber eines ist klar: Diese digitalen Gesprächspartner lernen den menschlichen Schritt so gut zu tanzen, dass sie uns vielleicht ein wenig zu enthusiastisch auf die Füße treten.

Technisches Resümee: Instruktionsgestimmte Modelle nutzen menschliche Syntax lokal stärker als Menschen selbst

Problemstellung

Syntaktische Konvergenz – die Tendenz von Sprechern, ihre grammatikalischen Konstruktionen an die ihrer Gesprächspartner anzupassen – ist ein gut dokumentiertes Phänomen im menschlichen Dialog, das typischerweise über strukturelle Priming-Mechanismen unterhalb des bewussten Bewusstseins operiert. Da Large Language Models (LLMs) mittlerweile routinemäßige Interlokutoren sind, bleibt die offene Frage, ob sie im Vergleich zu menschlichen Baselines eine analoge gerichtete syntaktische Konvergenz gegenüber menschlichen Nutzern aufweisen. Insbesondere ist unklar, ob LLMs die kontextfreien Grammatikregeln (CFG) vorangegangener menschlicher Turns stärker wiederverwenden als Menschen dies tun, und wie dieses Verhalten über Modellfamilien, Parameter-Skalen und Trainingsregime (vortrainiert vs. instruktionsgestimmt) hinweg variiert.

Methodik

Die Studie nutzt ein Substitutionsparadigma basierend auf Daten von Blevins et al. [2026], bei dem LLM-generierte Turns die Turns eines Sprechers in bereits existierenden Mensch-Mensch-Dialogen aus dem DailyDialog-Korpus ersetzen. Dieser Aufbau ermöglicht einen direkten Vergleich zwischen Modell-Outputs und den ursprünglichen menschlichen Antworten an identischen Gesprächspositionen.

Daten und Modelle

Korpus: 707 dyadische englische Konversationen (beschränkt auf die Turns 6–Ende), was 1.901 passende Positionen pro Modell ergibt.
Modelle: Sechzehn Open-Weight-Modelle aus zwei Familien (Llama-3.1/3.2 und Gemma-3), die von 1B bis 70B Parametern reichen. Jede Familie umfasst sowohl vortrainierte (PT) als auch instruktionsgestimmte (IT) Varianten.
Bedingungen:
1. HUMAN: Originale menschliche Antwort ( $h_i$ ) auf menschlichen Prime ( $p_i$ ).
2. ACTUAL: Modellgenerierung ( $m_i$ ) auf menschlichen Prime ( $p_i$ ).
3. RANDOM: Modellgenerierung ( $m_i$ ) auf einen unzusammenhängenden menschlichen Prime ( $\tilde{p}_i$ ), der aus einer anderen Konversation entnommen wurde.

Messpipeline

Syntaktische Annotation: Die Äußerungen wurden mit benepar geparst, um kontextfreie Grammatik-Produktionsregeln (CFG) zu extrahieren. Infrage kommende Regeln waren nicht-unäre Regeln, die mehr als einmal im menschlichen Korpus vorkamen.
Metriken:
- Gesamte natürliche Output-Ausrichtung: Überlappung der CFG-Regeln zwischen dem Ziel- und dem tatsächlichen Prime.
- Actual-vs-Random-Inkrement: Die zusätzliche Überlappung, die auf den wahren konversationellen Prime im Vergleich zu einem unzusammenhängenden Prime zurückzuführen ist.
- Konditionale Wiederverwendungs-Propensität: Überlappungs-Odds, wenn die Größe des Ziel-Regelsatzes konstant gehalten wird.
Statistische Modellierung: Logistische gemischte Effektmodelle (GLMMs) wurden für jedes Modell und zusammengefasst über Architekturpaare gefittet. Zufällige Achsen (Random Intercepts) berücksichtigten die Variation über Positionen und Regeln hinweg. Kovariaten umfassten Regelhäufigkeit und strukturelle Größe des Primes.
Explorative Analysen: TF-IDF-Kosinusähnlichkeit (lexikalisch) und L2-normalisierte Satz-Embedding-Kosinusähnlichkeit (semantisch) wurden berechnet, um die Ähnlichkeit von Modell und Mensch zum vorangegangenen Turn zu vergleichen.

Kernergebnisse

1. Universale syntaktische Wiederverwendung über der Baseline (RQ1)

Jedes Modell (alle 16) zeigte eine größere CFG-Regel-Überlappung mit dem tatsächlichen vorangegangenen menschlichen Turn als mit einem unzusammenhängenden Prime. Das Actual-versus-Random-Koeffizient lag zwischen $\beta = 0,706$ und $1,453 $($ p \le 6,5 \times 10^{-31}$), was bestätigt, dass alle evaluierten Modelle eine gerichtete syntaktische Konvergenz aufweisen.

2. Instruktionsgestimmte Ausrichtung vs. menschliche Baseline (RQ2)

Natürlicher Output: Jedes instruktionsgestimmte Modell zeigte eine größere Gesamte-Actual-Prime-Überlappung als die passende menschliche Antwort ( $\beta = 0,398$ bis $0,796$). Vortrainierte Modelle lagen näher an der menschlichen Baseline, mit gemischten Ergebnissen (vier signifikant positiv, vier ununterscheidbar von Null).
Architekturpaare: Alle acht passenden Architekturpaare zeigten unter Instruktionssteuerung eine größere Gesamte-Actual-Prime-Wiederverwendung im Vergleich zu ihren vortrainierten Gegenstücken.
Das „Struktur“-Confound: Bei der Dekomposition dieser Ergebnisse erzeugten instruktionsgestimmte Modelle Antworten mit mehr geeigneter syntaktischer Struktur (größere Ziel-Regelsätze), was inhärent mehr Möglichkeiten für Überlappungen bietet.
- Actual-vs-Random-Inkrement: Instruktionsgestimmte Modelle zeigten einen kleineren inkrementellen Boost durch den wahren Prime im Vergleich zu vortrainierten Modellen ( $\beta = -0,310$ ).
- Konditionale Wiederverwendung: Wenn die Größe des Ziel-Regelsatzes konstant gehalten wurde, kehrte sich der Vorteil der Instruktionssteuerung um. Vortrainierte Modelle zeigten eine stärkere Tendenz zur Wiederverwendung verfügbarer Regeln ( $\beta = -0,505$ für IT vs. PT), während instruktionsgestimmte Modelle eine geringere konditionale Wiederverwendungs-Wahrscheinlichkeit aufwiesen.

3. Frequenzprofile (RQ3)

Regelfrequenz: Für alle Modelle war das Actual-versus-Random-Inkrement größer für Regeln mit niedriger Frequenz.
Divergente Profile: Menschen und vortrainierte Modelle zeigten negative Interaktionen mit der Frequenz (stärkeres Priming für seltene Regeln). Instruktionsgestimmte Modelle zeigten variablere Frequenz-Interaktionen, wobei einige positive Interaktionen aufwiesen, was auf einen unterschiedlichen Mechanismus hindeutet, wie sie die Gewichtung der Regel-Wiederverwendung basierend auf der Frequenz handhaben.

4. Lexikalische und semantische Ähnlichkeit (RQ4)

Alle sechzehn Modelle waren lexikalisch und semantisch ähnlicher zum vorangegangenen Turn als die passenden menschlichen Antworten.
Instruktionsgestimmte Modelle produzierten konsistent Antworten mit einer größeren mittleren semantischen Ähnlichkeit als ihre vortrainierten Gegenstücke. Die Ergebnisse der lexikalischen Ähnlichkeit waren heterogen über die Architekturpaare hinweg.

Bedeutung und Behauptungen

Das Paper behauptet, die erste Messung der gerichteten lokalen syntaktischen Konvergenz in der Mensch-LLM-Konversation über ein breites Inventar von Konstruktionen und Modellvarianten hinweg zu liefern.

Mechanismus der Konvergenz: Die Ergebnisse legen nahe, dass die Instruktionssteuerung die Modelle für lokale „Reaktionsfähigkeit“ optimiert, was zu einer höheren Gesamtausrichtung mit dem vorangegangenen Turn führt. Dies ist jedoch teilweise darauf zurückzuführen, dass die Modelle Antworten mit mehr syntaktischer Struktur generieren, statt einer reinen Zunahme der Neigung zur Wiederverwendung spezifischer Regeln.
Versöhnung mit der Stylometrie: Die Ergebnisse stimmen mit vorangegangenen Arbeiten (Blevins et al. [2026]) überein, die zeigen, dass instruktionsgestimmte Modelle möglicherweise weniger auf bestimmte stylometrische Merkmale konvergieren; die aktuelle Studie legt nahe, dass dies die Tendenz widerspiegeln kann, neuartiges Material einzuführen, während gleichzeitig eine hohe strukturelle Ausrichtung durch erhöhte Output-Komplexität beibehalten wird.
Implikationen für Alignment-Risiken: Die Studie operationalisiert eine lokale linguistische Komponente, die relevant für die „Amplifikationsspirale“-Hypothese (Augustin et al. [2026]) ist, bei der die linguistische Ausrichtung in Kombination mit hyperpersonalisierter Generierung zur maladaptiven Glaubenskonsolidierung beitragen kann. Die Daten bestätigen, dass LLMs, insbesondere instruktionsgestimmte, eine starke, messbare syntaktische Akkommodation gegenüber menschlichen Nutzern aufweisen.
Psycholinguistischer Einblick: Das Vorhandensein von frequenzabhängigen Priming-Effekten (stärker für seltene Regeln) in allen Modellen, einschließlich kleiner vortrainierter Modelle, deutet darauf hin, dass die Sensitivität gegenüber der lokalen syntaktischen Umgebung eine fundamentale Eigenschaft der Next-Token-Prediction ist, was potenziell analog zum fehlergesteuerten impliziten Lernen beim Menschen steht, obwohl das Paper anmerkt, dass diese Analogie weitere mechanistische Untersuchungen erfordert.

Die Studie kommt zu dem Schluss, dass, obwohl instruktionsgestimmte Modelle in natürlichem Output stärker mit menschlicher Syntax korrelieren, diese Ausrichtung komplex ist und sowohl eine erhöhte strukturelle Gelegenheit als auch distinkte Frequenz-Gewichtungsmechanismen im Vergleich zu Menschen und vortrainierten Modellen umfasst.