💬 NLP

Graded Entity-Familiarity Readouts in Language Models: Polish Adaptation, Cross-Language Robustness, and Refusal Steering

Cet article démontre que les modèles de langage, particulièrement ceux adaptés pour le polonais, possèdent des lectures internes graduées de la familiarité des entités qui sont robustes à la langue du prompt et peuvent être efficacement orientées pour contrôler les comportements de refus, bien que ces signaux de pré-génération demeurent distincts des politiques régissant les décisions finales d'abstention.

Auteurs originaux : Grzegorz Brzezinka

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Grzegorz Brzezinka

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le monologue intérieur d'un robot : quand sait-il qu'il ne sait pas ?

Imaginez que vous posiez une question à un robot très intelligent. Parfois, le robot connaît la réponse et s'exprime avec assurance. D'autres fois, il peut inventer une histoire parce qu'il ne connaît pas réellement la vérité, une erreur que nous appelons « hallucination ». Les scientifiques se demandent depuis longtemps : le robot peut-il faire la différence entre « je sais ceci » et « je devine » avant même de commencer à taper ?

Pour comprendre cela, nous devons regarder à l'intérieur du cerveau du robot, qui est composé de couches de connexions mathématiques appelées « activations ». Considérez ces activations comme les signaux électriques dans un cerveau humain lorsque vous voyez un visage. Si vous voyez un ami, le signal est fort et spécifique ; si vous voyez un étranger, il est plus faible ou flou. Les chercheurs ont découvert que ces signaux électriques contiennent souvent un « compteur de confiance » caché. Si on demande au robot quelque chose qu'il a vu de nombreuses fois dans ses données d'entraînement, le signal est différent de celui d'une question sur quelque chose de totalement inventé. La grande question est la suivante : pouvons-nous lire ce compteur pour empêcher le robot de mentir avant qu'il ne prononce un seul mot ?

Le détective polonais et le compteur de « familiarité »

Ce document est comme une histoire de détective, mais au lieu de résoudre des crimes, l'auteur, Grzegorz Brzezinka, enquête sur la façon dont douze modèles d'IA différents « ressentent » les noms et les lieux polonais. L'objectif était de voir si ces modèles possèdent un « compteur de familiarité » intégré qui leur indique à quel point ils connaissent une entité, et si ce compteur fonctionne même lorsque la question est posée dans une langue différente.

La configuration : Une bibliothèque de noms polonais
Pour tester cela, l'auteur a construit un ensemble de tests spécial de 1 440 entités polonaises. Imaginez une bibliothèque avec quatre sections : athlètes, villes, écrivains et musiciens. Dans chaque section, il y a des personnes et des lieux réels, allant de stars super célèbres (comme les 10 % des pages Wikipédia les plus vues) à des locaux obscurs (les 10 % les moins consultés). Crucialement, l'auteur a également inventé 240 faux noms qui ressemblaient et sonnaient exactement comme de vrais noms polonais, mais qui n'existaient pas. C'était le groupe de contrôle : si le robot est confus par un faux nom, c'est un menteur ; s'il connaît la différence, il est honnête.

Résultat 1 : Le compteur est un variateur, pas un interrupteur
La première grande découverte est que la familiarité n'est pas seulement un interrupteur (On/Off). C'est un variateur de lumière. L'étude a révélé que pour les modèles spécifiquement adaptés au polonais (comme les familles Bielik et PLLuM), le « score de familiarité » augmente progressivement à mesure que l'entité devient populaire.

L'analogie : Imaginez un bouton de volume. Pour un chanteur super célèbre, le bouton est tourné au maximum. Pour un groupe local, il est à la moitié. Pour un nom inventé, il est à zéro.
La surprise : Cet effet de « variateur » était beaucoup plus marqué dans les modèles adaptés au polonais que dans les modèles géants à usage général (comme Gemma-4 ou Qwen3). Même si les modèles généraux étaient plus gros (avaient plus de « paramètres »), ils n'avaient pas un meilleur compteur de familiarité. Il s'avère que l'apprentissage spécifique du polonais était plus important pour cette compétence que le simple fait de rendre le modèle plus grand. Les modèles adaptés au polonais montraient une corrélation claire (entre 0,28 et 0,57) entre la popularité et leur confiance interne, tandis que les autres étaient à peine au-dessus de zéro.

Résultat 2 : Le compteur fonctionne à travers les langues
L'auteur a ensuite posé une question délicate : le compteur lit-il les mots polonais ou l'entité réelle ? Pour tester cela, il a pris une question sur un athlète polonais célèbre et l'a posée en anglais (« Who is...? ») plutôt qu'en polonais (« Kim jest...? »).

Le résultat : Le compteur a à peine réagi. Les modèles ont conservé de 96 % à 101 % de leur précision lors du changement de langue. Cela suggère que le robot ne reconnaît pas seulement la grammaire polonaise ; il reconnaît réellement la personne à l'intérieur de la question, quel que soit le langage utilisé pour l'interroger.

Résultat 3 : Nous pouvons pirater le bouton de « refus »
C'est la partie la plus dramatique de l'histoire. L'un des modèles, Gemma-4-12B, avait l'habitude de dire « Je ne sais pas » (refus) lorsqu'il n'était pas sûr. L'auteur a décidé de voir s'il pouvait contrôler ce comportement en « guidant » le cerveau du robot.

L'expérience : Ils ont trouvé une direction mathématique spécifique dans le cerveau du modèle qui représentait la « familiarité ». En ajoutant une petite impulsion dans cette direction, ils pouvaient forcer le robot à changer d'avis.
La magie :
- Si on poussait le robot à se sentir moins familier avec une personne célèbre, le taux de refus passait de 24 % à 100 %. Le robot décidait soudainement qu'il ne connaissait pas la réponse, alors qu'il la connaissait.
- Si on poussait le robot à se sentir plus familier avec un nom fictif, le taux de refus chutait de 73 % à 0 %. Le robot commençait avec assurance à inventer des biographies pour des personnes qui n'existent pas.
La leçon : Cela prouve que le signal de familiarité n'est pas seulement une observation passive ; c'est un levier causal. Si vous poussez le bouton de la « familiarité », la décision du robot de parler ou de rester silencieux change immédiatement.

Résultat 4 : Le contrôle « pré-vol »
Enfin, l'article a posé la question : pouvons-nous utiliser ce compteur pour empêcher le robot de mentir avant qu'il ne génère une réponse ?

La comparaison : L'auteur a comparé leur compteur « en un passage » (qui vérifie la question avant que la réponse ne soit écrite) par rapport à d'autres méthodes qui attendent que la réponse soit terminée pour vérifier les erreurs.
Le verdict : Le compteur « pré-vol » était excellent pour repérer les faux noms, battant presque toutes les autres méthodes. Cependant, prédire si une réponse serait factuellement fausse était plus difficile. Le compteur fonctionnait bien pour les modèles polonais, mais pour le modèle qui refusait de répondre (Gemma-4), les résultats étaient complexes car l'habitude du modèle de dire « Je ne sais pas » faussait le décompte des erreurs.
La vue d'ensemble : L'étude conclut que bien que le cerveau du robot contienne effectivement un signal de familiarité gradué, tous les robots ne l'utilisent pas pour décider s'ils doivent parler. Les modèles polonais possédaient le signal mais ne refusaient jamais de répondre. Le modèle Gemma refusait, mais son signal était moins précis. L'article suggère que nous pourrions avoir besoin de construire un « garde-barrière » externe qui lit ce signal et décide pour le robot s'il doit répondre ou chercher l'information, surtout pour les questions obscures de la « longue traîne ».

Pourquoi cela importe

Cette recherche suggère que les modèles d'IA possèdent un « pressentiment » caché sur ce qu'ils savent, et que nous pouvons le lire. Il ne s'agit pas seulement de rendre les modèles plus grands ; il s'agit de la manière dont ils sont entraînés. Si nous pouvons apprendre aux modèles à faire confiance à ce compteur interne, ou construire des outils qui l'écoutent, nous pourrons peut-être les empêcher d'inventer avec assurance des choses qu'ils n'ont jamais vues. C'est une étape vers la création d'une IA non seulement plus intelligente, mais aussi plus honnête sur ses propres limites.

Résumé technique : Lectures de la familiarité des entités graduées dans les modèles de langage

Énoncé du problème

Les modèles de langage (LM) sont confrontés à un défi fondamental lorsqu'ils sont interrogés sur des entités qu'ils n'ont pas rencontrées : ils doivent choisir entre s'abstenir ou confabuler (halluciner). Bien que des travaux antérieurs aient établi que les états internes contiennent des informations pertinentes pour ce choix, la plupart des méthodes de détection opèrent post-génération (score de la réponse) ou reposent sur des distinctions binaires (connu vs fabriqué). Cela laisse ouvertes des questions critiques concernant la nature du signal interne : est-ce un bit binaire ou une quantité graduée ? Est-il robuste à la langue de l'invite (prompt) ? Le lien entre familiarité et refus est-il causal ou simplement corrélatif ? Enfin, un signal de pré-génération peut-il servir de porte (gate) compétitive pour réguler la génération afin d'éviter les hallucinations ?

Méthodologie

Les auteurs proposent un protocole de mesure unifié appliqué au « point de l'invite » — le dernier jeton (token) de la question d'entrée, avant toute génération de réponse. L'étude utilise un nouvel ensemble de données de 1 440 entités polonaises couvrant quatre domaines (athlètes, villes, écrivains, musiciens) et dix déciles de popularité (basés sur les vues de pages Wikipédia), plus 240 entités de contrôle fabriquées.

Conception expérimentale :

Modèles : Douze modèles ajustés par instruction provenant de quatre familles : Bielik (natif polonais), PLLuM (pré-entraînement continu polonais sur des bases Llama-3.1 et Mistral-Nemo), Gemma-4 et Qwen3. Ces familles couvrent un « axe d'adaptation au polonais ».
Signaux de lecture (Readout) : Trois classes de signaux sont mesurées lors d'une seule passe directe (forward pass) :
1. Dispersion : Métriques non supervisées (rapport de participation inverse, entropie de Shannon) sur les vecteurs d'activation MLP.
2. Sonde (Probe) : Un classificateur de régression logistique supervisé sur les états cachés du flux résiduel.
3. Entropie du premier jeton : Entropie de base du premier jeton généré.
Questions de recherche (RQ) :
- RQ1 (Langue) : Le signal se transfère-t-il du polonais vers les invites en anglais ?
- RQ2 (Graduation) : Le score suit-il la popularité continue ?
- RQ3 (Causalité) : Le pilotage (steering) de la direction de la familiarité peut-il modifier causalement le comportement de refus ?
- RQ4 (Application) : Le signal peut-il réguler la génération (s'abstenir/récupérer) de manière compétitive avec les détecteurs post-génération ?

Contributions clés et résultats

1. Familiarité graduée et adaptation au polonais (RQ2)

L'étude démontre que la familiarité est une quantité graduée, et non un bit binaire.

Graduation : Dans les familles adaptées au polonais (Bielik et PLLuM), les scores de familiarité sont fortement corrélés à la popularité des entités (le coefficient $\rho$ de Spearman varie de 0,28 à 0,57). En revanche, les modèles multilingues et non centrés sur le polonais (Gemma-4 et Qwen3) présentent une corrélation faible ou négligeable ( $\rho \le 0,11$ ), malgré des nombres de paramètres comparables ou plus élevés.
Adaptation vs Échelle : La capacité à suivre la popularité est plus fortement associée à l'adaptation au polonais qu'à l'échelle du modèle. Des comparaisons contrôlées des modèles PLLuM par rapport à leurs architectures de base non polonaises (Llama-3.1 et Mistral-Nemo) montrent que le pré-entraînement continu sur du texte polonais augmente significativement la gradation du signal de familiarité.
Miroir comportemental : Le gradient interne reflète la justesse comportementale dans les modèles natifs polonais (la justesse de Bielik-11B passe de 6 % à 68 % à travers les déciles de popularité), tandis que les modèles non adaptés (Qwen3-14B) confabulent de manière généralisée.

2. Robustesse inter-langues (RQ1)

Le signal de familiarité est robuste à la forme de surface de l'amorce de la question.

Transfert : Les sondes entraînées sur des questions en polonais conservent 96 à 101 % de leur AUROC intra-langue lorsqu'elles sont appliquées zero-shot à des questions en anglais sur les mêmes entités (et vice versa) pour les modèles Bielik et Gemma-4.
Transfert sur entités disjointes : Lorsqu'ils sont testés sur des entités non vues, la famille adaptée au polonais (Bielik) maintient un transfert de 98 à 100 %, tandis que le modèle multilingue Gemma-4 se dégrade entre 74 et 93 %. Cela suggère que le signal est lié aux caractéristiques de reconnaissance d'entités plutôt qu'aux particularités linguistiques spécifiques aux modèles (templates).

3. Pilotage causal du refus (RQ3)

En utilisant Gemma-4-12B (le seul modèle du groupe qui refuse nativement), les auteurs démontent un lien causal entre le signal de familiarité et le comportement de refus.

Intervention : En ajoutant une direction de familiarité de rang un (dérivée de la différence entre les activations des entités connues et inconnues/fabriquées) au flux résiduel à une couche spécifique (couche 30), les auteurs peuvent piloter de manière monotone les taux de refus.
Réponse à la dose :
- Pousser les entités connues vers l'« inconnu » ( $\alpha < 0$ ) augmente le refus de 0,24 à 1,00.
- Pousser les entités inconnues/fabriquées vers le « connu » ( $\alpha > 0$ ) supprime le refus de 0,73 à 0,00, provoquant une confabulation fluide du modèle.
Séparation : Une direction de « refus » distincte existe à une couche ultérieure (couche 44) qui peut supprimer le refus sans altérer le signal de familiarité, indiquant une dissociation entre la représentation de la familiarité et la politique qui la convertit en abstention.

4. Régulation de pré-génération (RQ4)

La sonde de familiarité calibrée sert de porte (gate) de pré-génération efficace.

Discrimination : La sonde surpasse tous les baselines post-génération adaptés (D2HScore, EigenTrack, MIND) et l'entropie sémantique pour distinguer les entités réelles des entités fabriquées (AUROC 0,859–0,934 contre $\le 0,717$ pour les baselines).
Efficacité des coûts : En tant que signal d'une seule passe directe, elle permet de prendre des décisions de routage (répondre vs récupérer vs s'abstenir) avant qu'aucqun coût de génération ne soit engagé.
Limites de la prédiction comportementale : Bien que la sonde prédise bien l'existence de l'entité, sa capacité à prédire l'erreur comportementale (hallucination) dépend du modèle. Elle est performante sur les modèles où le comportement suit la connaissance (Bielik, Qwen3), mais semble s'inverser sur Gemma-4 car la politique de refus de ce modèle (que la sonde ne contrôle pas) est confondue avec la justesse dans la métrique d'évaluation.

Signification et affirmations

L'article affirme établir une lecture de la familiarité des entités graduée en pré-génération qui est robuste à la langue de l'invite et causalement puissante pour piloter le refus.

Représentation vs Politique : Une découverte clé est la dissociation entre la familiarité représentationnelle (qui existe dans toutes les familles, mais n'est graduée que dans les versions adaptées au polonais) et la politique d'abstention (qui n'est présente que dans Gemma-4). Les modèles adaptés au polonais possèdent le signal interne pour savoir ce qu'ils ne savent pas, mais manquent de la politique pour agir dessus ; Gemma-4 possède la politique, mais un signal moins gradué.
Implication de déploiement : Une sonde calibrée, en une seule passe, peut fournir la « porte » manquante pour les modèles qui possèdent le signal mais manquent de la politique, orientant les requêtes de longue traîne vers la récupération avant que la génération ne commence.
Portée : Les auteurs restent modestes, notant que le lien causal avec le calcul naturel au moment de l'invite nécessite des preuves supplémentaires de type médiation, et que les résultats actuels de pilotage sont spécifiques à un modèle et un domaine. L'étude ne prétend pas résoudre universellement les hallucinations, mais fournit un mécanisme pour détecter et réguler la familiarité des entités dans des contextes spécifiques.