💬 NLP

Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

Cette étude pilote utilise des autoencodeurs de langage naturel pour analyser les activations internes de Qwen2.5-7B-Instruct, révélant que le modèle infère l'identité colombienne et les stéréotypes associés à partir d'indices linguistiques subtils dans des requêtes en espagnol et en anglais avant de générer un contenu explicite.

Auteurs originaux : Pablo Santiago Potes Velasco, María del Mar García Matabanchoy, Óscar Julián Pérez Ladino, Jhoan Stevan Mosquera Ortiz, Nicolás Lozano Mazuera, Gilber Alexis Corrales Gallego

Publié 2026-07-27

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pablo Santiago Potes Velasco, María del Mar García Matabanchoy, Óscar Julián Pérez Ladino, Jhoan Stevan Mosquera Ortiz, Nicolás Lozano Mazuera, Gilber Alexis Corrales Gallego

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un robot super intelligent qui a lu presque tout sur Internet. Vous pourriez penser que ce robot ne connaît que ce que vous lui dites. Mais et si le robot était en train de deviner qui vous êtes en se basant sur des indices minuscules et invisibles dans votre voix ou dans les mots que vous choisissez ? C'est le monde des Grands Modèles de Langage (LLM). Ce sont les cerveaux d'IA qui se cachent derrière les chatbots et les outils de recherche. Les scientifiques ont découvert que ces modèles ne font pas que traiter des mots ; ils construissent un « profil » secret de la personne avec laquelle ils discutent, devinant des choses comme sa nationalité ou son milieu social, même si vous ne les mentionnez jamais.

Pour jeter un coup d'œil à l'intérieur du cerveau de ce robot, les chercheurs utilisent un outil spécial appelé Autoencodeur de Langage Naturel (NLA). Considérez le cerveau du robot comme une immense usine sombre où l'information circule à travers des tuyaux. Le NLA est comme une lampe de poche magique capable de braquer la lumière sur un tuyau spécifique et de traduire les signaux électriques qui y circulent en phrases simples en anglais. Cela nous permet d'entendre le « monologue intérieur » du robot avant qu'il ne tape réellement sa réponse finale. Cela importe car si un robot devine de mauvaises choses à votre sujet — comme supposer que vous venez d'un autre pays ou inventer des stéréotypes — il pourrait vous donner de mauvais conseils ou vous traiter injustement, tout en prétendant être neutre.

Ainsi, une équipe de chercheurs de Colombie a décidé de tester cela sur un robot populaire appelé Qwen2.5-7B. Ils voulaient savoir : Est-ce que ce robot devine secrètement que l'utilisateur est colombien à partir d'un seul indice subtil, même si l'utilisateur ne dit jamais « Je suis Colombien » ?

Voici ce qu'ils ont fait et ce qu'ils ont trouvé.

L'expérience : Un jeu de « Qui est-ce ? »

Les chercheurs ont mis en place un jeu ingénieux avec 30 points de départ de conversation (prompts). Ils les ont divisés en trois groupes :

Le groupe « Obvie » : Des prompts qui disaient clairement que l'utilisateur était colombien (comme mentionner un système de bus spécifique de Colombie).
Le groupe « Subtil » : Des prompts avec juste un petit indice caché qui pourrait suggérer la Colombie (comme un type spécifique de soupe ou le nom d'un prêt étudiant local), mais rien qui ne disait explicitement « Colombie ».
Le groupe « Neutre » : Des prompts qui traitaient des mêmes sujets mais qui n'avaient aucun indice colombien (comme demander une soupe générique ou un bus générique).

Ils ont posé ces questions au robot en espagnol et en anglais. Ensuite, ils ont utilisé leur « lampe de poche magique » (le NLA) pour observer le cerveau du robot à quatre moments différents pendant qu'il réfléchissait (appelés « quartiles »). Ils voulaient voir si les pensées internes du robot commençaient à dire des choses comme « Cette personne est Colombienne » avant qu'il ne l'écrive dans sa réponse finale.

Les résultats : Le murmure secret du robot

Les résultats étaient un mélange de moments « Eurêka ! » et de moments « Oups ».

1. Les indices subtils fonctionnent (finalement)
Lorsque les chercheurs ont donné les prompts « Subtils » au robot, les pensées internes du robot ont réellement commencé à deviner que l'utilisateur était colombien. Cependant, cela ne s'est pas produit instantanément.

Dans le tout premier moment de réflexion (Quartile 1), la voix interne du robot mentionnait la Colombie 0 % du temps.
Au troisième moment (Quartile 3), la voix interne du robot commençait à mentionner la « Colombie » environ 20 % du temps.
Au moment final (Quartile 4), ce chiffre grimpait à près de 78 % en comptant toute supposition de nationalité, mais lorsque les chercheurs ont filtré les suppositions pour d'autres pays (comme l'Espagne ou la Turquie) et n'ont regardé que les mentions spécifiques à la Colombie, le taux était en réalité de 0,11 (environ 11 %).

Cela suggère que le robot a besoin d'un peu de temps pour rassembler ses idées. Il commence sans identité colombienne spécifique en tête, et à mesure qu'il traite davantage la phrase, il commence à former cette supposition spécifique, bien qu'il confonde encore parfois la Colombie avec d'autres nations.

2. Le problème des « Fake News »
C'est ici que cela devient délicat. Les chercheurs ont remarqué que parfois, la lampe de poche du robot montrait qu'il pensait à un pays, mais c'était le mauvais pays. Par exemple, lorsqu'on l'interrogeait sur un sujet colombien, le robot pouvait penser en interne : « Oh, ceci concerne l'Espagne » ou « Ceci concerne la Turquie ».
Les chercheurs ont dû être très prudents. Ils ont réalisé que le robot était doué pour deviner « un pays », mais pas toujours bon pour deviner « la Colombie » spécifiquement. Lorsqu'ils ont filtré ces mauvaises suppositions, le schéma pour le groupe « Subtil » est devenu encore plus clair : le robot formait bel et bien une identité colombienne dans son esprit (passant de 0 % à environ 11 %), tandis que le groupe « Neutre » (sans indices) restait à 0 % pour ce qui est de penser à la Colombie spécifiquement.

3. Le groupe « Obvie » était bizarre
Dans le groupe « Obvie », où l'indice colombien était présent dès la première phrase, les pensées internes du robot étaient étonnamment calmes au milieu du processus. Il n'a commencé à parler intensément de la Colombie qu'à la toute fin. Les chercheurs pensent que c'est parce que le robot a été perturbé par ses propres données d'entraînement ou distrait par d'autres idées avant de se fixer sur la bonne réponse.

À quel point en sont-ils sûrs ?

Les chercheurs font attention à ne pas crier « Nous avons résolu le problème ! » tout de suite. Ils appellent cela une étude pilote, ce qui est comme un entraînement. Ils n'ont testé que 5 exemples pour chaque type d'indice. Comme le nombre est très faible, ils ne peuvent pas affirmer avec 100 % de certitude que cela se produit à chaque fois.

Cependant, les données qu'ils possèdent suggèrent un schéma fort :

Le robot semble effectivement déduire l'identité colombienne à partir d'un seul indice subtil.
Cette déduction se produit avant que le robot n'écrive sa réponse finale.
Le robot n'est pas parfait ; il confond parfois la Colombie avec d'autres pays, ce qui est un bug connu dans le fonctionnement de ces outils.

La vue d'ensemble

Ce document ne prouve pas que le robot est biaisé d'une manière qui ruine tout, mais il montre que le robot « écoute » des indices que nous ne pensions pas importants. C'est comme un détective qui commence à deviner la nationalité d'un suspect d'après la façon dont il tient sa tasse de café, même s'il n'a jamais dit un mot.

Les chercheurs ont trouvé que pour l'espagnol colombien, la supposition interne du robot est réelle, mais qu'il faut quelques secondes de réflexion pour qu'elle se solidifie. Ils ont également découvert que si vous posez la même question en anglais, le robot oublie souvent le contexte colombien, le remplaçant par des idées concernant le Canada ou l'Europe. Cela nous indique que ces robots peuvent traiter les différentes langues et cultures de manières très différentes, et que nous devons continuer à braquer notre lampe de poche sur leurs cerveaux pour nous assurer qu'ils ne sont pas en train d'inventer des histoires sur qui nous sommes.

Résumé technique : Sondage des inférences d'identité latente colombienne dans Qwen2.5-7B avec des autoencodeurs de langage naturel

Énoncé du problème
Les grands modèles de langage (LLM) sont connus pour inférer des attributs démographiques — tels que la nationalité, le dialecte et le statut socio-économique — à partir de indices linguistiques subtils, même lorsque ces attributs ne sont pas explicitement énoncés. Bien que les modèles ajustés par instructions (instruction-tuned) refusent souvent de répondre aux requêtes démographiques explicites, ils continuent de conditionner leur génération sur les attributs inférés, ce qui conduit à des sorties biaisées. Ce phénomène est particulièrement aigu pour les variétés d'espagnol sous-représentées ; l'espagnol colombien, par exemple, obtient des scores nettement inférieurs dans les tests de reconnaissance par rapport à l'espagnol péninsulaire, une disparité attribuée à la composition des données d'entraînement plutôt qu'au volume de ressources numériques.

Malgré la preuve que les inférences démographiques ont lieu, il manque des recherches inspectant ce que les modèles représentent en interne avant de verbaliser un résultat. Plus précisément, on ignore si les modèles infèrent l'identité colombienne à partir d'indices implicites de la même manière qu'ils ont montré inférer d'autres nationalités (par exemple, russe) avant toute apparition d'indices lexicaux dans le prompt. Cette étude comble l'écart entre les études de sondage linéaire (qui montrent que l'inférence démographique existe) et les études d'audit de biais (qui montrent le préjudice de cette inférence), en visant à localiser le moment où l'inférence d'identité colombienne émerge à partir d'indices indirects en utilisant une approche non supervisée et sans entraînement.

Méthodologie
Les auteurs utilisent des autoencodeurs de langage naturel (NLA), spécifiquement la paire open-source publiée par Fraser-Taliente et al. [2026], pour verbaliser les activations du flux résiduel (residual-stream). L'étude utilise le modèle Qwen2.5-7B-Instruct.

Conception des données : Le jeu de données consiste en 30 prompts organisés en 15 paires espagnol-anglais appariées. Celles-ci sont classées en trois niveaux d'explicité ( $n=5$ $n = 5$ par niveau) :
- Explicite : Contient des marqueurs colombiens unambigus (contrôle positif).
- Implicite : Contient exactement un indice subtil (analogue au cas « vodka » $\to$ « russe » dans les travaux antérieurs).
- Neutre : Apparié thématiquement mais dépourvu de marqueurs nationaux (contrôle négatif).
Extraction des activations : Les auteurs extraient les activations du flux résiduel de la couche 20 ( $\ell=20$ ), la profondeur pour laquelle le NLA a été entraîné. Pour chaque prompt, la séquence de tokens est divisée en quatre quartiles positionnels contigus. Le dernier vecteur de token de chaque quartile ( $q_1, q_2, q_3, q_4$ ) est sélectionné, produisant quatre vecteurs distincts par prompt.
Verbalisation : Chaque vecteur d'activation est passé une seule fois au verbaliseur (AV) du NLA pour générer une explication en langage naturel ( $z_k$ ). Cela produit quatre explications par prompt.
Analyse : Les 120 explications résultantes (30 prompts $\times$ 4 quartiles) sont codées par un LLM (Claude Sonnet) pour les mentions de nationalité, de statut socio-économique et de stéréotypes. Le codage exige strictement des preuves textuelles explicites et des citations textuelles. Pour distinguer la confabulation de nationalité générale de l'identité colombienne spécifique, les auteurs marquent les mentions nommant spécifiquement la Colombie ou des métonymies unambiguës (ex: Bogotá, TransMilenio).
Approche statistique : Étant donné le petit échantillon ( $n=5$ par cellule), l'étude rapporte des taux descriptifs avec des intervalles de score de Wilson et utilise le test exact de Fisher pour les comparaisons implicite-vs-neutre. Elle évite d'imputer les cas « n'apparaissant jamais » dans les distributions d'apparition, traitant leur absence comme une donnée informative.

Résultats clés

Émergence de l'inférence latente : Dans le groupe Implicite, le taux de mentions de nationalité dans les explications de l'AV augmente de manière monotone à travers les quartiles (passant de 0,10 en Q1 à 0,78 en Q4), soutenant l'hypothèse de l'accumulation de contexte.
Résultats spécifiques à la Colombie : En restreignant l'analyse aux mentions spécifiques à la Colombie (excluant les confabulations de l'Espagne, de la Turquie ou du Canada), le groupe de contrôle Neutre reste à 0,00 à travers tous les quartiles. En revanche, le groupe Implicite montre une augmentation des mentions spécifiques à la Colombie à partir de Q2 (0,10) et augmentant jusqu'à Q4.
Temporalité de la représentation : Bien que le quartile moyen de la première mention soit comparable entre les groupes (environ Q3) pour les prompts qui déclenchent une mention, la fréquence de déclenchement d'une mention diffère sensiblement. Le groupe Explicite déclenche une mention dans 10/10 cas, l'Implicite dans 8/10, et le Neutre dans 6/10.
Signification statistique : Un test exact de Fisher comparant les groupes Implicite et Neutre révèle une différence statistiquement significative uniquement au dernier quartile (Q4, $p=0,023$ ). Les auteurs interprètent cela comme une preuve directionnelle plutôt qu'un effet confirmatif en raison du petit échantillon et de l'absence de correction pour comparaisons multiples.
Divergence translingue : L'analyse qualitative des prompts neutres révèle que les représentations internes du modèle divergent selon la langue. Les prompts en espagnol déclenchent souvent des suppositions de vulnérabilité migratoire ou de contextes locaux (ex: EPS, TransMilenio), tandis que les prompts en anglais tendent à internationaliser le contexte (ex: basculer vers des équivalents canadiens ou américains) ou à diluer les références culturelles spécifiques en cadres mondiaux génériques.

Contributions et affirmations
L'article formule les affirmations modestes suivantes concernant ses contributions :

Application méthodologique : Il démontre l'application des autoencodeurs de langage naturel pour sonder les inférences de nationalité latentes dans les variétés d'espagnol, étendant les travaux précédents qui se concentraient sur d'autres langues.
Preuve d'inférence non verbalisée : Il fournit une preuve directionnelle que Qwen2.5-7B-Instruct représente en interne l'identité colombienne à partir d'un seul indice lexical implicite avant que cette identité ne soit verbalisée dans la sortie du modèle.
Identification des modes de défaillance : L'étude met en évidence un mode de défaillance spécifique des NLA où ils confabulent des nationalités plausibles mais contextuellement erronées (ex: substituant l'Espagne à la Colombie). Les auteurs proposent un mécanisme de filtrage spécifique (vérification de métonymies spécifiques à la Colombie) pour atténuer cela dans les futurs sondages d'identité régionale.
Biais linguistique : Il offre une preuve qualitative que la contextualisation interne du modèle pour les prompts neutres est fortement dépendante de la langue, l'espagnol déclenchant des biais locaux/migratoires tandis que l'anglais déclenche des normalisations internationalisées ou centrées sur les États-Unis.

Signification
Les auteurs positionnent ce travail comme une étude pilote reliant l'interprétabilité au niveau des activations et l'évaluation des biais pour les variétés d'espagnol sous-représentées. Ils ne prétendent pas avoir prouvé un effet définitif et statistiquement puissant, mais plutôt avoir établi une voie méthodologique pour détecter quand et comment les inférences latentes émergent. La signification réside dans l'observation que le biais persiste dans les représentations contextualisées même lorsque les requêtes démographiques explicites sont refusées, et que ces inférences peuvent être localisées dans des couches et des quartiles positionnels spécifiques à l'aide de verbaliseurs non supervisés. Les auteurs concluent que la prochaine étape nécessaire est de répliquer ce design avec des échantillons plus larges et à travers plusieurs couches du flux résiduel pour déterminer si la séparation observée en fin de quartile est une propriété de la profondeur spécifique testée ou un phénomène général.

L'expérience : Un jeu de « Qui est-ce ? »

Les résultats : Le murmure secret du robot

À quel point en sont-ils sûrs ?

La vue d'ensemble

Articles similaires