💬 NLP

Do Large Language Models Plan Answer Positions? Position Bias in Multiple-Choice Question Generation

Ce papier révèle que les grands modèles de langage présentent des biais systématiques de position lors de la génération de questions à choix multiples en raison d'une planification implicite des positions des réponses au sein de leurs représentations internes, et démontre que le guidage par activation peut manipuler efficacement ces états internes pour contrôler et corriger de tels biais.

Auteurs originaux : Xuemei Tang, Xufeng Duan, Zhenguang G. Cai

Publié 2026-05-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuemei Tang, Xufeng Duan, Zhenguang G. Cai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagez un chef robot pour cuire un lot de gâteaux « Questions à Choix Multiples ». Vous dites au robot : « Faites 100 gâteaux, et assurez-vous que l'ingrédient « Réponse Correcte » est caché aléatoirement dans le compartiment A, B, C ou D, tout comme dans un jeu équitable. »

Vous vous attendez à ce que le robot soit parfaitement aléatoire. Mais lorsque vous goûtez les gâteaux, vous remarquez un motif : le Robot A cache toujours la bonne réponse dans le compartiment A. Le Robot B la cache toujours dans le compartiment B ou C. Le Robot C aime tellement le compartiment A qu'il oublie complètement d'utiliser le compartiment D.

Ce document, « Les grands modèles de langage planifient-ils les positions des réponses ? », est une enquête sur la raison pour laquelle ces chefs robots (les Grands Modèles de Langage, ou LLM) ont de telles habitudes fortes et prévisibles lors de la création de quiz.

Voici la décomposition de leurs découvertes, en utilisant des analogies simples :

1. L'« Habitude Cachée » (Le Problème)

Les chercheurs ont testé 10 chefs robots différents (LLM) et 5 chefs robots capables de voir des images (Modèles Vision-Langage). Ils leur ont demandé de créer des quiz dans trois cuisines différentes :

Cuisine des Connaissances : Faits généraux (comme l'histoire ou les mathématiques).
Cuisine de la Lecture : Questions basées sur des articles de presse.
Cuisine Visuelle : Questions basées sur des images.

La Découverte : Les robots n'étaient pas aléatoires. Ils avaient un « biais de position ».

Certains modèles (comme Llama) étaient obsédés par le premier compartiment (A).
D'autres (comme Gemini) adoraient les compartiments du milieu (B et C).
Presque tout le monde ignorait le dernier compartiment (D).

C'est comme si chaque chef avait une « étagère préférée » secrète où il place instinctivement le biscuit gagnant, indépendamment de ce que dit la recette.

2. La « Boule de Cristal » (L'Enquête)

La grande question était : Le robot devine-t-il simplement en se basant sur les lettres A, B, C, D, ou est-ce qu'il « planifie » réellement la réponse avant même de commencer à écrire les options ?

Pour le savoir, les chercheurs ont examiné l'intérieur du cerveau du robot (son code interne) pendant qu'il écrivait la partie question du quiz, avant même d'écrire les réponses.

La Découverte : Ils ont trouvé une « boule de cristal » à l'intérieur du cerveau du robot.
Même alors que le robot n'écrivait que l'énoncé de la question (par exemple : « Quelle est la capitale de la France ? »), son code interne avait déjà « décidé » où irait la bonne réponse. C'était comme si le robot se chuchotait à lui-même : « Je vais mettre la réponse dans le compartiment B », avant même d'avoir écrit le mot « B ».

Cela suggère que le biais n'est pas seulement une erreur de surface ; c'est un plan implicite profondément enraciné, formé tôt dans le processus de réflexion.

3. La « Télécommande » (La Solution)

Puisqu'ils ont trouvé ce « plan » à l'intérieur du cerveau du robot, les chercheurs ont essayé d'utiliser une « télécommande » pour changer l'avis du robot. Ils ont utilisé une technique appelée Pilotage des Activations.

Imaginez le cerveau du robot comme une rivière qui coule vers une destination spécifique (par exemple, le Compartiment A). Les chercheurs ont trouvé un moyen de construire un petit barrage ou une pagaie pour pousser la rivière légèrement vers une destination différente (par exemple, le Compartiment B).

La Découverte :

Cela a fonctionné ! En poussant le code interne, ils ont pu forcer avec succès le robot à choisir un compartiment différent plus souvent.
Le timing compte : Ils ont constaté que pousser le robot juste avant qu'il ne termine la question (le moment « pénultième ») fonctionnait beaucoup mieux que de le pousser à la toute fin. C'est comme diriger une voiture : c'est plus facile avant de prendre le dernier virage, pas après avoir déjà percuté le mur.
Le Compromis : Bien qu'ils puissent changer le compartiment, le robot s'est parfois confondu. Il pourrait choisir le bon compartiment mais changer le sens de la question ou rendre la réponse incorrecte. C'est comme forcer le robot à cuire un gâteau au chocolat dans un moule à vanille ; la forme change, mais la saveur peut devenir étrange.

4. Le « Piège des Étiquettes » (Une Surprise Inattendue)

Les chercheurs ont également testé ce qui se passe si vous dites au robot d'écrire les réponses sans les lettres A, B, C, D. On pourrait penser que cela le rendrait plus aléatoire.

La Découverte : Cela a en fait aggravé le biais. Sans les lettres pour le guider, les robots sont devenus encore plus obsédés par le fait de placer la bonne réponse dans la toute première position qu'ils génèrent. Il s'avère que les lettres A, B, C, D aident en réalité les robots à être plus équilibrés, agissant comme des garde-fous qui les empêchent de tomber trop loin vers la gauche.

Résumé

Les LLM ne sont pas aléatoires : Ils ont de fortes habitudes prévisibles concernant l'emplacement des bonnes réponses dans les quiz.
Ils planifient à l'avance : Ils décident de la position de la réponse tôt dans le processus, avant d'écrire les options.
Nous pouvons les pousser : Nous pouvons utiliser un « pilotage » interne pour changer ces habitudes, mais c'est une opération délicate qui peut parfois briser la logique de la question.
Les étiquettes aident : De manière surprenante, donner des étiquettes aux options (A, B, C, D) aide à réduire le biais, tandis que les supprimer rend les robots encore plus obstinés à choisir la première option.

L'Essentiel : Si vous utilisez l'IA pour générer des tests, vous ne pouvez pas simplement lui faire confiance pour être équitable. Elle a ses propres préférences cachées, et si vous voulez un quiz véritablement aléatoire, vous devez intervenir activement ou utiliser des invites spécifiques pour la forcer à briser ses habitudes.

Résumé Technique : Les Grands Modèles de Langage Planifient-ils les Positions des Réponses ?

Énoncé du Problème

Les Grands Modèles de Langage (LLM) et les Modèles Vision-Langage (VLM) sont de plus en plus utilisés pour générer des Questions à Choix Multiples (QCM) dans le cadre de l'évaluation éducative, de la compréhension de lecture et de la réponse à des questions visuelles. Idéalement, les réponses correctes dans les QCM générés devraient être uniformément réparties parmi les options (A, B, C, D) afin d'assurer une évaluation sans biais. Cependant, des observations empiriques indiquent que ces modèles présentent des biais de position systématiques, favorisant de manière disproportionnée des positions de réponse spécifiques (par exemple, un « biais de primauté » en faveur de l'option A ou un « biais de centre » en faveur de B/C).

Alors que des recherches antérieures ont établi que les LLM souffrent d'un biais de sélection lors de la phase d'inférence (favorisant des identifiants d'options spécifiques lors de la réponse), il reste à déterminer si des biais similaires émergent lors du processus de génération lui-même. Plus précisément, il est inconnu si les LLM présentent des préférences positionnelles cohérentes lors de la construction de QCM et si ces préférences sont motivées par des représentations internes qui « planifient » implicitement la position de la réponse avant de générer les options.

Méthodologie

Les auteurs proposent un cadre composé de trois composantes pour étudier le biais de position, ses mécanismes sous-jacents et sa contrôlabilité potentielle :

Tâches de Génération de QCM Contrôlées :
L'étude évalue 10 LLM et 5 VLM à travers trois scénarios de génération distincts :
- QCM basé sur les connaissances (K-MCQ) : Génération de questions dans cinq disciplines (Mathématiques, Chimie, Histoire, Géographie, Biologie).
- QCM de compréhension de lecture (RC-MCQ) : Génération de questions à partir d'articles de presse.
- QCM Vision-Langage (VL-MCQ) : Génération de questions à partir d'images abstraites dérivées de descriptions du jeu de données COCO.
  Les auteurs standardisent le format de sortie (options A–D) et spécifient explicitement la réponse correcte pour s'assurer que les biais observés proviennent du modèle et non d'artefacts de la tâche.
Sondage de la Planification Implicite :
Pour déterminer si les positions de réponse sont encodées durant la génération, les auteurs entraînent des classificateurs légers (sondes MLP) sur les représentations cachées au niveau des tokens de l'énoncé de la question. L'objectif est de prédire la position de la réponse correcte éventuelle ( $y \in \{1, \dots, K\}$ ) à partir des états cachés de l'énoncé ( $H^{(l)}_x$ ) avant la génération des options. Cela teste l'hypothèse selon laquelle le modèle effectue une planification avant implicite.
Pilotage par Activation (Intervention) :
Pour établir un lien de causalité entre les représentations internes et la position de la réponse, les auteurs appliquent un pilotage par activation au moment du décodage. Ils construisent des vecteurs de pilotage à l'aide de deux méthodes :
- Différence de Moyenne : Calcul de la différence vectorielle entre les états cachés moyens associés à une position source (par exemple A) et une position cible (par exemple B).
- Basé sur le Classificateur : Utilisation du vecteur de poids d'un classificateur de régression logistique entraîné pour distinguer les positions source et cible.
  Ces vecteurs sont ajoutés aux états cachés à des couches et des positions de tokens spécifiques (par exemple, le token pénultième de l'énoncé) pour manipuler la trajectoire de génération.

Résultats Clés

1. Biais de Position Systématique

À travers les trois tâches et diverses familles de modèles (incluant Llama, Qwen, DeepSeek et Gemini), les modèles présentent des biais de position structurés.

Modèles Spécifiques : Les modèles Llama favorisent systématiquement l'option « A » (biais de primauté), tandis que les variantes Qwen et DeepSeek préfèrent souvent « B », et les modèles Gemini montrent une tendance vers « B » et « C ».
Sous-représentation : L'option « D » est systématiquement sous-représentée dans presque tous les modèles.
Influence des Identifiants : La suppression des identifiants d'options explicites (A/B/C/D) n'élimine pas le biais ; au contraire, cela exacerbe souvent la préférence pour la première position, suggérant que bien que les identifiants fournissent des indices, le biais est également motivé par des préférences d'ordre intrinsèques.

2. Preuves de Planification Implicite

Les expériences de sondage révèlent que les représentations cachées dans l'énoncé de la question encodent des signaux prédictifs de la position de la réponse correcte.

Prévisibilité : Les classificateurs entraînés sur les représentations de l'énoncé obtiennent des scores macro-F1 significativement supérieurs aux aléatoires et aux baselines majoritaires, indiquant que l'information sur la position de la réponse est encodée tôt dans le processus de génération.
Émergence par Couche : Les signaux prédictifs sont distribués sur de nombreuses couches plutôt que confinés aux dernières couches. Dans certains modèles (par exemple Qwen3-30B-Thinking), de forts signaux émergent dans les couches intermédiaires (24–36).
Position du Token : La performance prédictive est généralement plus élevée pour les tokens tardifs de l'énoncé, en particulier le dernier token, suggérant que l'information positionnelle devient plus accessible à mesure que l'intégration contextuelle s'approfondit.

3. Contrôlabilité via le Pilotage par Activation

Les expériences d'intervention démontrent que les positions de réponse peuvent être manipulées de manière causale.

Efficacité : Le pilotage des états cachés d'une position source (A) vers une position cible (B) déplace avec succès la distribution des réponses générées.
Injection Optimale : Les interventions appliquées au token pénultième de l'énoncé de la question produisent des effets plus forts et plus stables que celles appliquées au dernier token (souvent un signe de ponctuation).
Sensibilité aux Couches : La méthode de Différence de Moyenne montre une efficacité maximale dans les couches intermédiaires (par exemple, couches 11–15), réalisant des décalages de plus de 22 % (A→B).
Compromis : Bien que le pilotage puisse décaler la position cible, il introduit un compromis. Les interventions peuvent entraîner des décalages « hors cible » (par exemple A→C/D) et, dans certains cas, une dérive sémantique où la sémantique de la question ou l'espace des options sont altérés pour s'adapter à la nouvelle position.

4. Stratégies d'Atténuation

Prompting : L'ajout d'instructions explicites pour « équilibrer » la distribution des réponses correctes réduit le biais, en particulier dans les modèles plus grands ou orientés vers le raisonnement (par exemple DeepSeek-Reasoner, Gemini-3-Pro). Cependant, les modèles plus petits peinent à suivre ces contraintes distributionnelles globales, et le biais n'est pas entièrement éliminé.

Signification et Revendications

L'article revendique fournir un cadre pratique pour étudier la planification positionnelle implicite dans les LLM. Ses contributions principales sont :

Preuve Empirique : Démontrer que le biais de position dans la génération de QCM est systématique, spécifique au modèle, et persiste même sans identifiants d'options explicites.
Insight Mécanistique : Fournir des preuves que les positions de réponse ne sont pas simplement incidentes mais font probablement partie d'une stratégie de planification implicite encodée dans les représentations cachées du modèle. La capacité à prédire la position de la réponse à partir de l'énoncé de la question suggère que le modèle « décide » de la position avant de générer les options.
Manipulation Causale : Établir que les représentations internes peuvent être pilotées pour influencer les positions de réponse, confirmant un lien de causalité entre les signaux de planification latents et les distributions de sortie.
Implications pour la Fiabilité : Souligner que la construction fiable de QCM nécessite plus que du simple ingénierie de prompt ; elle exige la compréhension et potentiellement le contrôle des dynamiques internes de la génération pour assurer des outils d'évaluation sans biais.

Les auteurs adoptent une position modeste, notant que bien que leurs résultats suggèrent des « mécanismes de type planification », ils ne constituent pas une preuve définitive d'une planification symbolique explicite. Ils reconnaissent également des limites, telles que la dépendance de l'efficacité de l'intervention aux positions d'injection et le potentiel d'incohérence sémantique lors du forçage de changements positionnels.