💬 NLP

A Cross-lingual Comparison of Human and Classification Model Entrainment Behavior in Code-switched Speech Settings

Cet article présente une analyse translinguistique de l'entraînement humain dans le discours alternant les langues à travers des dialogues mandarin-anglais, hindi-anglais et espagnol-anglais, révélant que si l'entraînement lexical se généralise, l'entraînement acoustique et stylistique varie selon le contexte, et démontrant que les modèles de classification actuels ne parviennent pas à prioriser les caractéristiques spécifiques les plus saillantes pour le comportement humain.

Auteurs originaux : Debasmita Bhattacharya, Siying Ding, Alayna Nguyen, Julia Hirschberg

Publié 2026-07-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Debasmita Bhattacharya, Siying Ding, Alayna Nguyen, Julia Hirschberg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes à une fête où tout le monde discute. Vous pourriez remarquer que lorsque deux personnes s'entendent vraiment bien, elles commencent à se refléter l'une l'autre. Une personne parle vite, et l'autre accélère ; l'une utilise beaucoup de « euh » et de « genre », et l'autre commence à faire de même. Elles peuvent même commencer à utiliser le même argot ou à accorder leurs voix pour paraître plus similaires. Dans le monde scientifique, cela s'appelle l'entraînement (ou l'empathie linguistique). C'est comme une danse inconsciente où les gens copient inconsciemment le style des autres pour créer un lien, se sentir compris et faire en sorte que la conversation soit fluide.

Les scientifiques étudient cette « danse » depuis longtemps, principalement chez les personnes parlant une seule langue, comme l'anglais. Mais le monde est rempli de personnes qui mélangent les langues, passant de l'une à l'autre, par exemple de l'espagnol et de l'anglais, ou du hindi et de l'anglais, au milieu d'une phrase. C'est ce qu'on appelle l'alternance codique (ou code-switching). La grande question est la suivante : cette danse du reflet existe-t-elle toujours lorsque les gens mélangent les langues ? Et voici le rebondissement : nous avons construit des programmes informatiques sophistiqués (IA) pour détecter ce reflet. Mais ces ordinateurs comprennent-ils réellement comment les humains le font, ou ne font-ils que deviner en se basant sur les mauvais indices ?

Cet article plonge au cœur de cette question. Les chercheurs ont examiné de véritables conversations où les gens mélangeaient le mandarin avec l'anglais, le hindi avec l'anglais, et l'espagnol avec l'anglais. Ils voulaient voir si la « danse du reflet » ressemble à la même chose à travers ces différents couples de langues. Ensuite, ils ont testé un certain nombre de modèles informatiques pour voir si l'IA prêtait attention aux mêmes choses que les humains.

Voici ce qu'ils ont trouvé :

La Danse Humaine : Globalement la même, mais avec des nuances locales
Lorsque les humains mélangent les langues, ils se reflètent l'un l'autre, mais la manière dont ils le font dépend des langues impliquées.

Les Mots : À travers les trois couples de langues, les gens reflétaient systématiquement leurs choix de mots. Si une personne utilisait beaucoup de mots courants ou de sons de remplissage spécifiques, l'autre personne avait tendance à les copier. Cette partie de la danse était très cohérente, peu importe les langues mélangées.
La Voix et le Rythme : C'est ici que cela devient intéressant. Dans les groupes espagnol-anglais et mandarin-anglais, les gens montraient très peu de reflet constant de la hauteur de la voix ou de la vitesse. Cependant, dans le groupe hindi-anglais, le reflet était en fait beaucoup plus fort au niveau du tour de parole (entre les locuteurs immédiats), les locuteurs convergeant systématiquement sur leurs caractéristiques vocales. Les chercheurs suggèrent que cette différence pourrait être due au fait que le mandarin possède une qualité tonale unique (où la hauteur de la voix change le sens d'un mot) qui rend la « danse de la voix » différente, tandis que les locuteurs de l'hindi-anglais s'alignent plus étroitement sur les modèles observés dans l'espagnol-anglais. Il est toutefois important de noter que même dans l'hindi-anglais, ce fort reflet ne s'étendait pas au niveau de la conversation globale ; les locuteurs ne montraient pas de convergence constante sur l'ensemble du dialogue.
Le Style de Changement : La façon dont les gens changeaient de langue variait également. En espagnol-anglais et en mandarin-anglais, les gens reflétaient la fréquence et la manière dont ils changeaient de langue. Mais en hindi-anglais, le reflet était beaucoup plus faible. Les auteurs suggèrent que cela pourrait être dû au fait que les locuteurs de l'hindi-anglais changent de langue si naturellement et si fréquemment qu'il y a moins de « place » pour qu'une personne influence le style de l'autre — c'est comme si tout le monde dansait déjà de la même façon, donc la copie ne ressort pas autant.

La Danse du Robot : Bon pour deviner, mauvais pour comprendre
Les chercheurs ont ensuite demandé : nos modèles informatiques voient-ils la danse de la même manière que les humains ?

Le Résultat : Les ordinateurs étaient en fait plutôt doués pour détecter quand les gens se reflétaient les uns les autres. Ils pouvaient faire la différence entre une conversation de « reflet » et une conversation de « non-reflet » avec une précision décente.
Le Piège : Cependant, les ordinateurs privilégiaient les mauvais indices pour prendre cette décision. Lorsque les chercheurs ont regardé sous le capot pour voir quels indices l'IA utilisait, ils ont trouvé une déconnexion. Les humains reflétaient des mots spécifiques et des styles de changement, mais les ordinateurs privilégiaient souvent des caractéristiques autres que celles les plus saillantes pour le comportement humain et se concentraient plutôt sur d'autres détails moins saillants, comme de minuscules fluctuations de la hauteur ou de l'intensité de la voix.
L'Analogie : Imaginez un agent de sécurité essayant de repérer un voleur. Le voleur porte toujours un chapeau rouge vif (l'indice humain). Mais la caméra de l'agent de sécurité est tellement focalisée sur les lacets du voleur (l'indice informatique) qu'elle rate complètement le chapeau (l'indice humain). L'agent attrape quand même le voleur (le modèle trouve la bonne réponse), mais il utilise la mauvaise logique.

Pourquoi cela importe
L'article suggère que, bien que notre IA puisse détecter qu'une connexion est en train de se produire, elle ne comprend pas véritablement la manière humaine dont cette connexion est construite. C'est comme un étudiant qui obtient la bonne réponse à un test de mathématiques en mémorisant le corrigé plutôt qu'en comprenant la formule.

Les auteurs soulignent que c'est un problème pour l'avenir. Si nous voulons construire des assistants IA qui discutent naturellement avec des personnes qui mélangent les langues, nous devons leur apprendre à comprendre la vraie danse, et non la fausse. Si l'IA se base sur les mauvais indices, elle risque d'échouer lorsqu'elle rencontrera un nouveau groupe de personnes ou un mélange de langues différent. L'article ne prétend pas avoir résolu ce problème, mais suggère que nous devons apprendre à nos ordinateurs à prêter attention aux mêmes choses que les humains si nous voulons qu'ils soient de véritables partenaires de conversation naturels.

Résumé technique : Une comparaison translinguistique du comportement d'entraînement humain et des modèles de classification dans les contextes de parole alternant les langues (code-switching)

Problématique

L'entraînement conversationnel — l'adaptation subconsciente des styles de communication (lexicaux, acoustico-prosodiques et gestuels) à un interlocuteur — est bien documenté dans les contextes monolingues et écrits, mais reste peu exploré dans la parole alternant les langues (code-switching ou CSW) parlée. Bien que des travaux antérieurs aient examiné l'entraînement en CSW, ils se sont largement limités à la paire de langues espagnol-anglais et aux modalités écrites. De plus, il n'est pas clair si les classificateurs d'apprentissage automatique, souvent utilisés pour détecter ou générer de tels phénomènes stylistiques, s'appuient sur les mêmes caractéristiques qui pilotent le comportement d'entraînement humain. Cet article répond à deux questions primaires :

RQ1 : Dans quelle mesure les modèles d'entraînement dans le CSW parlé se généralisent-ils à travers des paires de langues distinctes (spécifiquement mandarin-anglais, hindi-anglais et espagnol-anglais) présentant des distances typologiques et des contextes culturels variés ?
RQ2 : Dans quelle mesure les modèles de classification prêtent-ils attention aux mêmes caractéristiques d'entraînement utilisées par les humains lors d'une communication spontanée alternant les langues ?

Méthodologie

L'étude emploie une approche multi-étapes impliquant l'analyse de corpus, la modélisation statistique du comportement humain et l'évaluation par apprentissage automatique.

Corpus

Les auteurs analysent trois corpus de parole multilingue informelle :

Bangor Miami (BM) : Conversations spontanées espagnol-anglais (35 heures, 56 dialogues).
SEAME : Dialogues spontanés mandarin-anglais (192 heures, 256 dialogues).
MaSaC : Parole de télévision issue de comédies situationnelles en hindi-anglais (13 heures, 1 190 dialogues).
Note : MaSaC est scripté mais traité comme un substitut de phénomènes naturalistes en raison de l'absence de données de parole hindi-anglais ouvertes et de genre équivalent. Les auteurs ont annoté manuellement MaSaC avec des étiquettes de stratégies de CSW (insertionnelle, alternante, autre) pour correspondre à la granularité de BM et SEAME.

Analyse de l'entraînement humain

Les auteurs reproduisent le cadre analytique de Bhattacharya et al. (2024a) et de Levitan et Hirschberg (2011) pour mesurer l'entraînement au niveau du tour de parole (turn-level) et du niveau de la conversation (conversation-level).

Caractéristiques :
- Lexicales : Top-100/25 mots fréquents, mots fréquents au niveau de la conversation, indices d'affirmation, marqueurs de remplissage (fillers) et mesures de perplexité de l'usage global de la langue.
- Acoustico-prosodiques : Hauteur (pitch), intensité, jitter, shimmer, rapport harmoniques-sur-bruit (HNR) et débit de parole.
- Style de CSW : Présence de CSW, ratio de CSW et type de stratégie de CSW.
Métriques : L'entraînement est quantifié via la proximité (similitude entre les locuteurs), la convergence (mouvement vers la similitude) et la synchronie (coordination temporelle). La signification statistique est déterminée par les valeurs p.

Évaluation du modèle

Les auteurs évaluent une suite de classificateurs binaires (à la fois de l'apprentissage automatique classique et basés sur des Transformers) pour détecter si une conversation présente un entraînement significatif.

Modèles : Comprend SVC, arbres de décision, forêts aléatoires, MLP, XGBoost, ainsi que divers plongements pré-entraînés (XLM-R, mBERT, WavLM, mHuBERT) fusionnés avec des MLP.
Tâche : Classification binaire (en cours d'entraînement vs non-en cours d'entraînement) aux granularités du tour de parole et de la conversation.
Analyse :
- Importance des caractéristiques : Utilisation des attributs intégrés et des valeurs de Shapley pour déterminer quelles caractéristiques pilotent les prédictions du modèle.
- Études d'ablation : Retrait systématique des caractéristiques pour mesurer l'impact sur la précision du modèle ( $\Delta$ acc).
Comparaison : La dépendance du modèle aux caractéristiques est comparée aux caractéristiques statistiquement saillantes identifiées lors de l'analyse de l'entraînement humain.

Résultats clés

1. Modèles d'entraînement humain translinguistiques (RQ1)

Entraînement lexical : Généralement cohérent à travers les paires de langues. Le mandarin-anglais et l'espagnol-anglais montrent un entraînement lexical robuste pour toutes les classes de mots. L'hindi-anglais (MaSaC) montre un entraînement lexical pour les mots fréquents, mais manque d'entraînement pour les mots fréquents au niveau de la conversation, les indices d'affirmation et les marqueurs de remplissage. Les auteurs attribuent cela dernier point à la nature scriptée de MaSaC et à la brièveté des conversations, notant que ces catégories peuvent ne pas apparaître dans le dialogue.
Entraînement acoustico-prosodique : Présente des variations significatives.
- Mandarin-anglais (SEAME) : Entraînement acoustico-prosodique limité ; significatif uniquement pour une minorité de caractéristiques.
- Hindi-anglais (MaSaC) : Forte preuve de proximité et de convergence au niveau du tour de parole pour la plupart des caractéristiques acoustico-prosodiques.
- Espagnol-anglais (BM) : Reflète les schémas d'absence de proximité/convergence au niveau de la conversation.
- Hypothèse : Les auteurs suggèrent que le caractère tonal unique du mandarin et ses normes d'intonation distinctes pourraient expliquer l'absence d'entraînement acoustique par rapport à l'hindi et à l'espagnol.
Entraînement du style de CSW :
- Mandarin-anglais et Espagnol-anglais : Présentent un entraînement sur la plupart des caractéristiques de CSW (présence, ratio, stratégie) via la proximité et la synchronie.
- Hindi-anglais : Diffère nettement, n'exhibant que la convergence au niveau du tour de parole et un entraînement moins marqué globalement. Les auteurs supposent que, puisque les locuteurs hindi-anglais pratiquent déjà largement et indépendamment le code-switching (indices M- et I- élevés), il y a moins de « place » pour l'influence stylistique, créant un effet de plafond.

2. Comportement des modèles de classification (RQ2)

Désalignement des caractéristiques : Bien que les classificateurs parviennent à une précision raisonnable pour détecter l'entraînement, ils privilégient systématiquement des caractéristiques autres que celles les plus saillantes pour le comportement humain.
- Niveau de la conversation : Les modèles attribuent souvent une importance élevée aux caractéristiques acoustico-prosodiques ou à des métriques de CSW uniques, ignorant l'ensemble plus large de caractéristiques pertinentes pour l'humain. Dans certains cas, les modèles s'appuient sur des caractéristiques qui fournissent peu de signal discriminant pour l'entraînement humain.
- Niveau du tour de parole : Les études d'ablation de caractéristiques révèlent que le retrait de caractéristiques d'entraînement spécifiques n'entraîne que des changements quasi nuls de précision. Cela suggère que les modèles s'appuient sur des signaux diffus, redondants ou spécieux plutôt que sur un ensemble de caractéristiques cohérent et ancré dans l'humain.
Effet de granularité : Les modèles performent mieux au niveau de la conversation qu'au niveau du tour de parole. Les auteurs suggèrent que la dynamique du tour de parole est plus fine et plus variable, ce la rendant plus difficile à capturer via des statistiques agrégées.

Principales contributions

Validation translinguistique : Première étude validant les modèles d'entraînement de CSW parlé à travers le mandarin-anglais, l'hindi-anglais et l'espagnol-anglais, étendant les découvertes antérieures sur l'espagnol-anglais.
Cadre ancré dans l'humain : Une approche novatrice utilisant les comportements humains comme référence pour évaluer et interpréter la prise de décision des classificateurs dans des contextes stylistiques multilingues.
Discrépance Modèle-Caractéristique : Démontre que si les modèles peuvent détecter l'entraînement, ils le font via des mécanismes différents de ceux des humains, soulignant un fossé dans la compréhension de pourquoi les modèles réussissent.
Libération de données : Publication d'une version annotée manuellement du corpus MaSaC avec de nouvelles étiquettes de style de CSW pour soutenir la recherche future sur le CSW parlé.

Signification et affirmations

L'article affirme que les modèles de comportement humain empiriquement fondés constituent un prisme précieux pour interroger la prise de décision des modèles. Les résultats suggèrent qu'une haute performance de classification n'implique pas qu'un modèle a capturé le phénomène sous-jacent de l'entraînement d'une manière qui soutient la génération naturaliste.

Les auteurs concluent modestement que :

L'entraînement lexical se généralise de manière robuste, mais les modèles d'entraînement acoustico-prosodique et de style de CSW varient selon les caractéristiques linguistiques et les normes culturelles.
Les modèles actuels peuvent propager un désalignement des caractéristiques s'ils sont utilisés pour piloter des modèles génératifs, car ils s'appuient sur des signaux distincts de la saillance humaine.
Les travaux futurs doivent examiner si les modèles génératifs font face à des défis similaires dans le code-switching parlé et si des interventions (par exemple, le prompting ou les stratégies d'entraînement) peuvent encourager un entraînement plus proche de l'humain.

L'étude reconnaît les limites, notamment la dépendance aux paires de CSW impliquant l'anglais, l'utilisation de données scriptées pour l'hindi-anglais et la simplification de l'entraînement en tâches de classification binaire. Elle souligne que la signification statistique dans l'analyse de corpus est un substitut imparfait de la saillance cognitive et appelle à des recherches futures utilisant des données comportementales (par exemple, des jugements d'auditeurs) pour mieux aligner les modèles sur l'interaction humaine.