💻 computer science

Persona Non Grata: LLM Persona-Driven Generations in MCQA are Unstable in Distinct Dimensions

Cet article étudie l'instabilité des générations basées sur des personas dans les grands modèles de langage pour les questions à choix multiples, révélant que la performance varie considérablement selon les familles de modèles, leur taille et les domaines, et qu'elle est plus sensible aux formats de prompts qu'aux autres hyperparamètres comme la température.

Auteurs originaux : César Guerra-Solano, Xiang Lorraine Li

Publié 2026-07-02

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : César Guerra-Solano, Xiang Lorraine Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot assistant très intelligent et polyvalent. Vous pouvez dire à ce robot : « Fais semblant d'être un avocat », ou « Fais semblant d'être un biologiste », puis lui poser une série de questions à choix multiples. C'est ce qu'on appelle la Génération Pilotée par Persona (PDG). L'idée est que le « personnage » du robot pourrait l'aider à mieux répondre, ou du moins à rester cohérent.

Ce document est comme un inspecteur de contrôle qualité pour ces personnages de robots. Les auteurs ont posé une question simple mais effrayante : Si nous demandons au même robot d'être le même personnage, mais que nous changeons les détails infimes de la façon dont nous posons la question, le robot donne-t-il les mêmes réponses ?

Ils ont découvert que la réponse est souvent non. Le robot est étonnamment instable, comme un caméléon qui change de couleur non seulement en fonction de l'arrière-plan, mais aussi selon que vous clignez des yeux ou que vous éternuez.

Voici une décomposition de leurs conclusions en utilisant des analogies simples :

1. Les trois façons de mesurer le « tremblement »

Les chercheurs ne se sont pas contentés de regarder si le robot donnait la bonne réponse. Ils ont construit trois « compteurs de tremblement » spécifiques :

Le Compteur de Score (Instabilité de la Performance) : Si vous posez la même question de mathématiques au robot 10 fois avec des instructions légèrement différentes, obtient-il 80 % de bonnes réponses à chaque fois ? Ou bien son score oscille-t-il entre 60 % et 90 % ?
- Analogie : Imaginez un joueur de fléchettes. S'il atteint le centre de la cible à chaque fois, il est stable. S'il touche le centre, puis l'anneau extérieur, puis le sol, puis le centre à nouveau, il est instable.
Le Compteur du Vainqueur (Instabilité des Résultats) : Dans une compétition, qui est le « meilleur » personnage ? Le « Avocat » est-il toujours le meilleur pour les questions juridiques ?
- Analogie : Imaginez une course. Dans une version de la course, l'Avocat gagne. Dans une version légèrement différente de la course (peut-être que le coup de pistolet de départ était plus fort), le Biologiste gagne. Le document a trouvé que celui qui gagne la course change radicalement selon les détails infimes de la configuration.
Le Compteur de la Question (Instabilité de la Justesse des Questions) : Le robot a-t-il obtenu les mêmes questions spécifiques sans erreur ?
- Analogie : Imaginez un étudiant passant un examen. Dans une version, il a réussi les questions 1, 2 et 3. Dans une autre, il a réussi les questions 1, 4 et 5. Il a obtenu le même score, mais il savait des choses différentes. Ce compteur vérifie si le robot est réellement en train d'apprendre ou s'il devine simplement au hasard.

2. Les principales conclusions : Qu'est-ce qui fait trembler le robot ?

La « façon de demander » importe plus que « votre température »
Les chercheurs ont testé trois éléments qui pourraient modifier le comportement du robot :

Température : À quel point le robot est autorisé à être « créatif » ou aléatoire.
Prompt de Persona : La façon dont vous dites au robot qui il est (ex: « Tu es un avocat » vs « Adopte l'identité d'un avocat »).
Prompt de Tâche : La façon dont vous posez la question (ex: « Donne juste la réponse » vs « Explique ton raisonnement »).

La Grande Surprise : La façon dont vous formulez le Prompt de Tâche (comment vous posez la question) a causé le plus de chaos.

Analogie : Imaginez que vous cuisinez un gâteau. Vous pourriez penser que la température du four (Température) est le facteur le plus important. Mais ce document dit que les instructions de la recette (Prompt de Tâche) sont en réalité le problème. Si vous dites au robot de « expliquer son raisonnement » au lieu de simplement « donner la réponse », la performance du robot devient beaucoup plus imprévisible.

Les Mathématiques et le Sens Commun sont les pires coupables
Le robot était le plus instable lorsqu'il répondait à des questions de Mathématiques ou de Sens Commun.

Analogie : C'est comme un étudiant qui est excellent pour mémoriser des dates historiques, mais qui devient nerveux et change d'avis chaque fois qu'il doit faire un problème de mathématiques ou expliquer pourquoi un chat est sur un tapis. Le document suggère que cela est dû au fait que les robots ne sont pas entraînés aussi intensément sur ces types de logique spécifiques que sur d'autres sujets.

Les plus gros robots sont plus stables (généralement)
En général, les modèles plus grands et plus puissants étaient plus stables que les plus petits.

Analogie : Un navire géant et lourd est moins susceptible de tanguer dans les vagues qu'un petit hors-bord. Cependant, il y a eu une exception : un modèle très large (Qwen 14B) est devenu encore plus instable lorsqu'on lui a demandé d'« expliquer » ses réponses, probablement parce qu'il a commencé à utiliser une « chaîne de pensée » (penser à voix haute) qui a confondu la notation.

Le Personnage importe moins que la Configuration
Vous pourriez penser qu'être un « Avocat » fait agir le robot différemment d'un « Docteur ». Le document a trouvé que le personnage spécifique (persona) n'importait pas beaucoup.

Analogie : Peu importe que l'acteur porte une blouse de médecin ou un costume d'avocat ; si le réalisateur (les instructions du prompt) est instable, toute la performance sera instable. L'instabilité vient des instructions, pas du costume.

3. Pourquoi cela importe (selon le document)

Le document avertit que si vous lancez une expérience aujourd'hui pour voir quel personnage de robot est le meilleur, et que vous la relancez demain avec un format de prompt légèrement différent, vous pourriez obtenir un résultat complètement différent.

Le scénario « Instable » : Dans un certain cadre, le robot pense qu'un « Avocat » est le meilleur pour répondre aux questions. Dans un cadre « instable », il pourrait penser qu'un « Biologiste » est le meilleur, ou qu'une « personne hispanique » performe différemment qu'une « personne blanche » sur des questions de mathématiques.
Le Danger : Le document soutient que ces différences pourraient ne pas être de vrais biais dans le cerveau du robot. Au contraire, elles pourraient n'être que des artefacts d'une configuration instable. Si le robot est instable, vous ne pouvez pas lui faire confiance pour vous dire s'il est biaisé ou non.

Résumé

Ce document est une étiquette d'avertissement pour quiconque utilise l'IA pour jouer un personnage. Il dit : « Ne vous fiez pas seulement à la réponse. Vérifiez si la réponse change si vous modifiez légèrement les instructions. »

La « personnalité » du robot est fragile. Si vous changez la façon dont vous posez la question (surtout si vous lui demandez d'expliquer son travail), le robot peut changer d'avis sur qui est le « meilleur » personnage, sur quelles questions il réussit, et même sur son score global. Pour obtenir des résultats fiables, vous devez trouver les réglages « stables » (comme demander des réponses simples sans explications) et vous y tenir.

Résumé technique : Persona Non Grata : Les générations pilotées par les personas (PDG) des LLM sont instables dans des dimensions distinctes en MCQA

Énoncé du problème

Bien que les générations pilotées par les personas (Persona-Driven Generations ou PDG) soient largement utilisées dans la recherche et l'industrie — où les modèles de langage de grande taille (LLM) adoptent des rôles spécifiques pour accomplir des tâches — la littérature existante se concentre principalement sur la stabilité de ces personas dans la génération de texte libre (par exemple, le dialogue). À l'inverse, la stabilité des PDG dans les sorties moins denses en texte, spécifiquement dans les questions à choix multiples (MCQA), reste sous-explorée. Dans les contextes de MCQA, un persona s'exprime à travers la performance de la tâche (par exemple, un biologiste répondant à des questions de biologie) plutôt que par une génération de texte stylistique. Des études antérieures suggèrent que ces contextes sont implicitement biaisés et imprévisibles, mais qu'ils manquent de standardisation concernant le choix des modèles et des hyperparamètres. Cet article traite de l'écart dans la caractérisation et la quantification de l'instabilité des PDG des LLM dans les tâches de MCQA à travers divers contextes expérimentaux.

Méthodologie

Les auteurs évaluent quatre familles de LLM open-source (Llama-3.2-1B, Llama-3.1-8B, Qwen2.5-1.5B, Qwen2.5-7B et Qwen2.5-14B) à travers 48 contextes expérimentaux distincts. Ces contextes sont dérivés de la combinaison de trois hyperparamètres :

Format de prompt de persona (PPF) : Variations dans la manière dont le persona est introduit (par exemple, « barebones » contre « identitynature »).
Format de prompt de tâche (TPF) : Variations dans la manière dont la question est présentée (par exemple, « justanswer » contre « explain-persona »).
Température ( $\tau$ ) : Fixée à 0.0, 0.5 et 1.0.

L'évaluation utilise un ensemble de données composite ( $D$ ) d'environ 5 000 questions tirées de MMLU, Social IQa et NormAd-Eti, couvrant 10 domaines (ex. Mathématiques, Histoire, Médecine). L'étude implique 41 personas distincts classés en groupes basés sur l'identité (ex. race, genre) et en rôles professionnels (ex. avocat, biologiste).

Pour quantifier l'instabilité, les auteurs proposent trois mesures distinctes :

Instabilité de performance ( $I_A$ ) : Mesure la sensibilité de la précision du modèle à travers les contextes expérimentaux. Elle calcule la différence absolue moyenne par paire de précision pour un persona à travers toutes les paires de contextes.
Instabilité de résultat ( $I_O$ ) : Mesure la variabilité des conclusions expérimentales, spécifiquement le classement des personas. Elle calcule l'écart type pondéré du rang d'un persona à travers les contextes, où les poids sont déterminés par l'écart type des précisions dans ce contexte (tenant compte de la parité des modèles).
Instabilité de correction des questions ( $I_Q$ ) : Mesure la cohérence des questions spécifiques répondues correctement. Elle calcule la similitude de Jaccard de l'ensemble des questions répondues correctement à travers tous les contextes pour un persona, puis soustrait ce résultat de 1 pour représenter le pourcentage de questions correctes non partagées.

Résultats clés

L'étude révèle que les PDG en MCQA sont fortement instables, avec des variations significatives observées même entre des configurations expérimentales similaires utilisées dans les travaux antérieurs.

Taille et famille de modèles : L'instabilité diminue généralement à mesure que la taille du modèle augmente. Les modèles plus grands (ex. Qwen2.5-14B) présentent des scores d'instabilité plus faibles dans les trois dimensions par rapport à leurs homologues plus petits (ex. Llama-3.2-1B). Cependant, les familles de modèles montrent également des schémas d'instabilité distincts.
Influence des hyperparamètres :
- Format de prompt de tâche (TPF) : Identifié comme l'hyperparamètre le plus influent pour l'instabilité. Les variations de TPF (particulièrement les formats « explain ») ont introduit plus d'instabilité de prédiction que la température ou les formats de prompt de persona.
- Température : Les températures plus élevées ( $\tau=1.0$ ) ont systématiquement conduit à une plus grande instabilité par rapport à $\tau=0.0$ .
- Verbosité du prompt : Les formats de prompt plus verbeux ou abstraits (ex. « identitynature ») ont généralement entraîné une plus faible stabilité par rapport aux formats « barebones ».
Spécificité du domaine : L'instabilité varie considérablement selon le domaine de la question. Les questions de Mathématiques et de Raisonnement Commun (Commonsense Reasoning) ont présenté l'instabilité la plus élevée, tandis que l'Histoire et la Conscience Culturelle ont montré la plus faible. Les auteurs émettent l'hypothèse que cela est lié aux disparités de représentation des données d'entraînement pour ces domaines.
Indépendance du persona : Le persona spécifique utilisé (qu'il soit basé sur l'identité ou sur la profession) n'avait que peu de corrélation avec le degré d'instabilité. L'instabilité était davantage pilotée par les contextes expérimentaux que par le persona lui-même.
Stabilité vs Précision : Il existe une relation forte entre stabilité et précision. Les contextes « stables » (ex. $\tau=0$ , prompts simples) ont généralement produit une précision moyenne et maximale plus élevée que les contextes « instables ».
Divergence de résultat : Différents contextes expérimentaux ont mené à des conclusions fondamentalement différentes concernant le meilleur persona. Dans les contextes instables, le classement des personas pouvait changer radicalement, et les personas liés à la démographie (qui ne devraient pas impacter la performance sur des tâches non pertinentes) ont montré des comportements incohérents et potentiellement biaisés variant selon le contexte.

Signification et contributions

L'article revendique trois contributions primaires :

Identification de l'instabilité : Il démontre que les PDG en MCQA ne sont pas robustes, présentant une variance élevée de performance, de classement de résultats et de correction au niveau des questions à travers les variations d'hyperparamètres standards.
Métriques novatrices : Il introduit trois métriques spécifiques ( $I_A, I_O, I_Q$ ) qui capturent des dimensions de l'instabilité au-delà de la simple précision, révélant que des scores de précision identiques peuvent masquer des incohérences significatives sur quelles questions sont répondues correctement ou sur quel persona est jugé « meilleur ».
Perspectives exploitables : L'étude fournit des preuves exploitables que la sélection des hyperparamètres (particulièrement le TPF) impacte de manière critique la validité des expériences de PDG. Elle souligne que les contextes instables peuvent mener à des conclusions contradictoires concernant l'efficacité et le biais des personas, suggérant que les recherches futures doivent rigoureusement contrôler et rapporter ces dimensions de stabilité pour garantir des résultats robustes et reproductibles.

Les auteurs concluent que l'instabilité des PDG est un facteur critique qui peut occulter ou simuler un biais, nécessitant un passage vers l'évaluation de la robustesse des évaluations pilotées par les personas parallèlement à leur précision.