💬 NLP

Instruction-Tuned Models Locally Reuse Human Syntax More Than Humans Do

Cette étude démontre que les grands modèles de langage ajustés par instruction présentent une convergence syntaxique plus forte avec les tours humains précédents que ne le font les humains, pourtant ils montrent une sensibilité réduite aux règles grammaticales spécifiques et un chevauchement accru avec des amorces non liées par rapport à leurs homologues pré-entraînés.

Auteurs originaux : Zandi Eberstadt

Publié 2026-07-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zandi Eberstadt

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Miroir du Langage : Quand les Robots se Mettent à Parler Comme Nous

Imaginez que vous êtes à une fête et que vous remarquez qu'après qu'un ami a commencé à utiliser un argot spécifique ou une façon amusante de formuler une phrase, vous commencez accidentellement à faire la même chose. Vous ne l'avez pas planifié ; c'est arrivé tout seul. Dans le monde scientifique, on appelle cela la convergence syntaxique. C'est un mécanisme bien connu du cerveau humain où nous imitons inconsciemment la grammaire et les structures de phrases des personnes avec qui nous discutons, afin de rendre nos conversations plus fluides. C'est comme une danse linguistique où les partenaires s'accordent naturellement sur le rythme.

Maintenant, imaginez un nouveau genre de partenaire de danse : un programme informatique géant et super intelligent appelé Modèle de Langage Étendu (LLM). Ce sont ces agents conversationnels dotés d'IA qui peuvent écrire des histoires, répondre à des questions et tenir des conversations. Les scientifiques se demandent depuis longtemps : ces cerveaux numériques font-ils la même danse de "mimétisme" que les humains ? Copient-ils inconsciemment la grammaire de la personne avec qui ils discutent, ou se contentent-ils de rester fidèles à leur propre style robotique ? Cette question est importante car si l'IA commence à nous imiter trop parfaitement, cela pourrait changer la façon dont nous interagissons avec elle, nous donnant potentiellement l'impression qu'elle nous comprend mieux qu'elle ne le fait réellement, ou même influençant ce que nous croyons.

L'Étude : Une Expérience de Permutation Grammaticale

Dans cette étude, un chercheur nommé Zandi Eberstadt a décidé de tester cette question en utilisant une astuce ingénieuse appelée "paradigme de substitution". Imaginez que vous avez la transcription d'une véritable conversation entre deux humains. Maintenant, imaginez une gomme magique qui efface la réponse d'une personne et la remplace par une réponse générée par une IA. Le chercheur a fait cela avec 16 modèles d'IA différents (allant de petits modèles de 1 milliard de paramètres à des modèles massifs de 70 milliards) et a comparé leurs réponses "remplacées" aux réponses humaines originales.

L'objectif était de voir si l'IA, en répondant à un humain, réutiliserait les "blocs de construction" grammaticaux spécifiques (appelés règles de Grammaire non contextuelle ou Context-Free Grammar) que l'humain venait d'utiliser. Pour s'assurer que l'IA ne copiait pas par accident, le chercheur a également soumis à l'IA une phrase aléatoire et sans rapport comme amorce, et a vérifié si elle copiait toujours la grammaire.

Les Grandes Conclusions : L'IA est un Meilleur Miroir que Nous

Les résultats ont été surprenants et un peu amusants. Voici ce que l'étude a révélé :

1. L'IA Copie Toujours (Plus que le Hasard)
Chacun des 16 modèles d'IA a montré qu'il réutilisait la grammaire de la phrase précédente de l'humain beaucoup plus souvent qu'il ne réutilisait la grammaire d'une phrase aléatoire et sans rapport. Donc, oui, les robots dansent bel et bien au rythme de l'humain.

2. Les Robots "Ajustés pour l'Instruction" Montrent le Plus Grand Chevauchement Total (Mais C'est Compliqué)
L'étude a examiné deux types d'IA : les modèles "pré-entraînés" (qui ont simplement lu beaucoup de textes) et les modèles "ajustés pour l'instruction" (qui ont été spécifiquement enseignés pour suivre des instructions humaines et discuter naturellement). Les modèles "ajustés pour l'instruction" ont montré le plus grand chevauchement grammatical total avec l'humain. En fait, ils réutilisaient la grammaire de l'humain plus souvent dans l'ensemble que les humains eux-mêmes dans les conversations originales. Cependant, ce n'est pas toute l'histoire. Les chercheurs ont découvert que les modèles ajustés pour l'instruction ont tendance à générer des réponses plus longues et plus complexes, ce qui leur donne naturellement plus d' "espace" pour chevaucher la grammaire de l'humain. Lorsque les chercheurs ont ajusté ce résultat en fonction de la différence de longueur de réponse et de structure, l'image a changé.

3. Mais Il Y a un Piège : Elles Copient Tout, Pas Seulement les Bonnes Choses
C'est ici que cela devient délicat. Bien que les modèles ajustés pour l'instruction aient le chevauchement total le plus élevé, ils chevauchaient également davantage les phrases aléatoires que les modèles de base. C'est comme un élève qui est si désireux de plaire au professeur qu'il copie l'écriture du professeur même quand celui-ci ne regarde pas, mais qu'il copie aussi des gribouillis aléatoires provenant d'un cahier posé sur le sol.

Lorsque les chercheurs ont ajusté le fait que les réponses de l'IA étaient parfois plus longues et offraient plus d' "espace" pour copier des éléments, l'image a changé. Les modèles de base, pré-entraînés, étaient en réalité meilleurs pour choisir de réutiliser des règles grammaticales spécifiques lorsqu'elles étaient pertinentes. Les modèles ajustés pour l'instruction, cependant, semblaient simplement lancer plus de mots et de structures contre le mur, en espérant que certains colleraient. Ils avaient un chevauchement total plus élevé, mais une probabilité "conditionnelle" plus faible de réutiliser une règle spécifique une fois que l'on avait pris en compte l'ampleur de leur discours.

4. L'Effet du "Mot Rare"
Il est intéressant de noter que tant les humains que l'IA étaient les plus susceptibles de copier les règles grammaticales rares ou inhabituelles entendues. Si un humain utilisait une structure de phrase étrange et peu commune, l'IA était très susceptible de la copier. Cela suggère que l'IA est sensible à l'environnement local, captant la "saveur" unique de la conversation, tout comme les humains le font.

5. Les Mots et les Sens, Aussi
Au-delà de la grammaire, les modèles d'IA correspondaient également mieux aux mots de l'humain et au sens général de ses phrases que ne le faisaient les humains originaux. Les modèles ajustés pour l'instruction étaient particulièrement doués pour correspondre au sens du tour précédent, ce qui les rendait très réactifs, même si leur copie grammaticale était un peu plus "bruyante".

Ce Que Cela Signifie

L'étude conclut que les modèles d'IA ajustés pour l'instruction sont incroyablement doués pour imiter la conversation humaine, dépassant souvent les humains dans leur capacité à correspondre étroitement à la grammaire de la personne avec qui ils discutent. Cependant, ce n'est pas nécessairement parce qu'ils sont plus "intelligents" pour copier ; c'est en partie parce qu'ils sont entraînés pour être plus réactifs et générer plus de texte, ce qui leur donne plus de chances de chevauchement.

Les chercheurs précisent avec prudence que, bien que l'IA soit un excellent imitateur, nous ne savons pas encore pourquoi elle le fait. Est-ce dû à la manière dont ils ont été entraînés ? Est-ce simplement un effet secondaire de la tentative de prédire le mot suivant ? Nous ne le savons pas avec certitude. Mais une chose est claire : ces partenaires de conversation numériques apprennent si bien à danser le pas de l'humain qu'ils pourraient bien finir par lui marcher sur les pieds avec un enthousiasme excessif.

Résumé technique : Les modèles ajustés par instructions réutilisent localement la syntaxe humaine plus que les humains ne le font

Énoncé du problème

La convergence syntaxique — la tendance des locuteurs à adapter leurs constructions grammaticales pour correspondre à leurs interlocuteurs — est un phénomène bien documenté dans le dialogue humain, opérant généralement sous le seuil de la conscience via des mécanismes d'amorçage structurel. Bien que les grands modèles de langage (LLM) soient désormais des interlocuteurs courants, il reste une question ouverte de savoir s'ils présentent une convergence syntaxique directionnelle analogue vers les utilisateurs humains par rapport aux références humaines. Plus précisément, il n'est pas clair si les LLM réutilisent les règles de la grammaire hors contexte (CFG) des tours humaines précédentes plus que les humains ne le font, et comment ce comportement varie selon les familles de modèles, les échelles de paramètres et les régimes d'entraînement (pré-entraînement vs ajustement par instructions).

Méthodologie

L'étude utilise un paradigme de substitution basé sur les données de Blevins et al. [2026], où les tours générés par le LLM remplacent les tours d'un locuteur dans des dialogues humain-humain préexistants issus du corpus DailyDialog. Cette configuration permet une comparaison directe entre les sorties du modèle et les réponses humaines originales aux mêmes positions conversationnelles.

Données et modèles

Corpus : 707 conversations dyadiques en anglais (limitées aux tours 6 jusqu'à la fin), produisant 1 901 positions appariées par modèle.
Modèles : Seize modèles à poids ouverts appartenant à deux familles (Llama-3.1/3.2 et Gemma-3), allant de 1B à 70B de paramètres. Chaque famille comprend des variantes pré-entraînées (PT) et ajustées par instructions (IT).
Conditions :
1. HUMAIN : Réponse humaine originale ( $h_i$ ) à un amorce humain ( $p_i$ ).
2. ACTUEL : Génération du modèle ( $m_i$ ) à partir d'un amorce humain ( $p_i$ ).
3. ALÉATOIRE : Génération du modèle ( $m_i$ ) à partir d'un amorce humain non lié ( $\tilde{p}_i$ ) échantillonné d'une conversation différente.

Pipeline de mesure

Annotation syntaxique : Les énoncés ont été analysés via benepar pour extraire les règles de production de la grammaire hors contexte (CFG). Les règles éligibles étaient non unaires et apparaissaient plus d'une fois dans le corpus humain.
Métriques :
- Alignement total de la sortie naturelle : Chevauchement des règles CFG entre la cible et l'amorce réelle.
- Incrément Actuel-vs-Aléatoire : Le chevauchement supplémentaire attribuable à la véritable amorce conversationnelle par rapport à une amorce non liée.
- Propension de réutilisation conditionnelle : Odds de chevauchement lorsque la taille de l'ensemble de règles de la cible est maintenue constante.
Modélisation statistique : Des modèles mixtes logistiques (GLMM) ont été ajustés pour chaque modèle et regroupés par paires d'architectures. Des intercepts aléatoires ont pris en compte la variation entre les positions et les règles. Les covariables incluaient la fréquence des règles et la taille structurelle de l'amorce.
Analyses exploratoires : La similitude cosinus TF-IDF (lexicale) et la similitude cosinus des plongements de phrases normalisés L2 (sémantique) ont été calculées pour comparer la similitude du modèle et de l'humain avec le tour précédent.

Résultats clés

1. Réutilisation syntaxique universelle au-dessus de la ligne de base (RQ1)

Chaque modèle (les 16) a démontré un chevauchement de règles CFG plus important avec l'amorce humaine réelle précédente qu'avec une amorce non liée. Le coefficient actuel-versus-aléatoire variait de $\beta = 0,706$ à $1,453 $($ p \le 6,5 \times 10^{-31}$), confirmant que tous les modèles évalués présentent une convergence syntaxique directionnelle.

2. Alignement des modèles ajustés par instructions vs référence humaine (RQ2)

Sortie naturelle : Chaque modèle ajusté par instructions a montré un chevauchement total (amorce réelle-amorce réelle) plus élevé que la réponse humaine appariée ( $\beta = 0,398$ à $0,796$). Les modèles pré-entraînés étaient plus proches de la référence humaine, avec des résultats mitigés (quatre significativement positifs, quatre indistincts de zéro).
Paires d'architectures : Toutes les huit paires d'architectures correspondantes ont montré une réutilisation plus grande de l'amorce réelle sous ajustement par instructions par rapport à leurs homologues pré-entraînés.
Le biais de la "structure" : En décomposant ces résultats, les modèles ajustés par instructions produisent des réponses contenant plus de structure syntaxique éligible (ensembles de règles cibles plus larges), ce qui offre intrinsèquement plus d'opportunités de chevauchement.
- Incrément Actuel-vs-Aléatoire : Les modèles ajustés par instructions ont montré un boost incrémental plus faible provenant de la véritable amorce par rapport aux modèles pré-entraînés ( $\beta = -0,310$ ).
- Réutilisation conditionnelle : Lorsque la taille de l'ensemble de règles de la cible était maintenue constante, l'avantage de l'ajustement par instructions s'est inversé. Les modèles pré-entraînés ont exhibé une tendance plus forte à réutiliser les règles disponibles ( $\beta = -0,505$ pour IT vs PT), tandis que les modèles ajustés par instructions montraient une probabilité de réutilisation conditionnelle plus faible.

3. Profils de fréquence (RQ3)

Fréquence des règles : Pour tous les modèles, l'incrément actuel-versus-aléatoire était plus grand pour les règles de faible fréquence.
Profils divergents : Les humains et les modèles pré-entraînés ont montré des interactions négatives avec la fréquence (amorçage plus fort pour les règles rares). Les modèles ajustés par instructions ont montré des interactions de fréquence plus variées, certains présentant des interactions positives, suggérant un mécanisme différent dans la manière dont ils pondèrent la réutilisation des règles selon la fréquence.

4. Similitude lexicale et sémantique (RQ4)

Les seize modèles étaient plus similaires lexicalement et sémantiquement au tour précédent que les réponses humaines correspondantes.
Les modèles ajustés par instructions ont systématiquement produit des réponses avec une similitude sémantique moyenne plus élevée que leurs homologues pré-entraînés. Les résultats de similitude lexicale étaient hétérogènes selon les paires d'architectures.

Signification et affirmations

L'article prétend fournir la première mesure de la convergence syntaxique locale directionnelle dans le dialogue humain-LLM à travers un large inventaire de constructions et de variantes de modèles.

Mécanisme de convergence : Les conclusions suggèrent que l'ajustement par instructions optimise les modèles pour la "réactivité" locale, menant à un alignement plus élevé avec le tour précédent. Cependant, cela est en partie piloté par la génération de réponses contenant plus de structure syntaxique plutôt que par une augmentation pure de la propension à réutiliser des règles spécifiques.
Réconciliation avec la stylométrie : Les résultats se réconcilient avec les travaux antérieurs (Blevins et al. [2026]) montrant que les modèles ajustés par instructions peuvent converger moins sur certaines caractéristiques stylométiques ; l'étude actuelle suggère que cela peut refléter une tendance à introduire du matériel nouveau tout en maintenant un alignement structurel élevé grâce à une complexité de sortie accrue.
Implications pour les risques d'alignement : L'étude opérationnalise une composante linguistique locale pertinente pour l'hypothèse de la "spirale d'amplification" (Augustin et al. [2026]), où l'alignement linguistique combiné à une génération hyper-personnalisée peut contribuer à une construction de croyances maladaptive. Les données confirment que les LLM, particulièrement les modèles ajustés par instructions, présentent une accommodation syntaxique mesurable et forte envers les utilisateurs humains.
Aperçu psycholinguistique : La présence d'effets d'amorçage dépendants de la fréquence (plus forts pour les règles rares) chez tous les modèles, y compris les petits modèles pré-entraînés, suggère que la sensibilité à l'environnement syntaxique local est une propriété fondamentale de la prédiction du prochain jeton (next-token prediction), potentiellement analogue à l'apprentissage implicite piloté par l'erreur chez les humains, bien que l'article note que cette analogie nécessite une investigation mécaniste plus approfondie.

L'étude conclut que, bien que les modèles ajustés par instructions s'alignent plus fortement sur la syntaxe humaine dans les sorties naturelles, cet alignement est complexe, impliquant à la fois une augmentation de l'opportunité structurelle et des mécanismes de pondération de fréquence distincts par rapport aux humains et aux modèles pré-entraînés.