💬 NLP

No One Size Fits All: QueryBandits for Hallucination Mitigation

Ce papier présente QueryBandits, un cadre de bandits contextuels agnostique au modèle qui atténue les hallucinations dans les LLMs fermés en apprenant en ligne à sélectionner dynamiquement la stratégie de reformulation de requête optimale pour chaque contexte, surpassant ainsi les politiques statiques et les approches sans reformulation.

Auteurs originaux : Nicole Cho, William Watson, Alec Koppel, Sumitra Ganesh, Manuela Veloso

Publié 2026-02-25

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nicole Cho, William Watson, Alec Koppel, Sumitra Ganesh, Manuela Veloso

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : Les "Hallucinations" des IA

Imaginez que vous demandez à un expert très intelligent (une Intelligence Artificielle comme GPT-4) de vous donner des faits. Parfois, cet expert, au lieu de chercher la vérité, commence à inventer des histoires très convaincantes mais fausses. C'est ce qu'on appelle une hallucination.

Le problème, c'est que dans le monde réel (banques, hôpitaux, entreprises), on utilise surtout des IA "fermées" (comme GPT-4). On ne peut pas toucher à leur cerveau interne pour les réparer. Les chercheurs ont donc dû trouver une autre façon de les aider : parler différemment.

🎯 La Solution : "QueryBandits" (Le Bandit Contextuel)

Les auteurs du papier, Nicole Cho et son équipe, ont créé un système appelé QueryBandits. Pour comprendre comment ça marche, utilisons une analogie.

L'Analogie du Chef de Cuisine et des Ingrédients

Imaginez que l'IA est un chef de cuisine très talentueux mais parfois distrait.

Si vous lui donnez une commande floue ("Fais-moi un plat"), il risque de se tromper et de mettre du sel à la place du sucre (c'est l'hallucination).
Traditionnellement, les chercheurs essayaient de réécrire la recette une seule fois pour tout le monde (ex: "Sois toujours précis"). Mais ça ne marche pas toujours.

QueryBandits, c'est comme avoir un sous-chef expert qui observe votre commande avant de la transmettre au chef.

Il analyse la commande : Il regarde si la phrase est compliquée, si elle manque de détails, ou si elle contient des mots ambigus.
Il choisit la meilleure stratégie : Il a 5 outils dans sa boîte à outils (comme un marteau, un tournevis, une pince).
- Simplifier : Si la phrase est trop longue et embrouillée.
- Étendre : Si la phrase manque de détails importants.
- Clarifier : Si elle utilise des mots de jargon.
- Paraphraser : Si elle est mal formulée.
- Désambiguïser : Si elle fait référence à quelque chose de vague ("ceci", "cela").
Il apprend en temps réel : C'est là que la magie opère. Le sous-chef ne devine pas au hasard. Il joue à un jeu de type "machine à sous" (d'où le nom "Bandit"). À chaque fois qu'il choisit un outil et que le chef donne une bonne réponse, le sous-chet gagne des points. S'il se trompe, il perd des points.

Au fil du temps, le sous-chef apprend : "Ah ! Quand la question parle de mathématiques et qu'elle est courte, je dois toujours utiliser l'outil 'Étendre'. Mais quand elle parle de cuisine et qu'elle est longue, je dois utiliser 'Simplifier'."

🛠️ Comment ça marche concrètement ?

L'Analyse (Les 17 Signaux) : Le système ne lit pas juste le texte, il le scanne comme un scanner médical. Il détecte 17 caractéristiques linguistiques (ex: y a-t-il des pronoms flous ? Y a-t-il des mots rares ? La phrase est-elle trop complexe ?).
Le Choix Intelligent : Au lieu d'appliquer la même règle à tout le monde ("No One Size Fits All" - Une taille ne convient pas à tous), le système choisit dynamiquement la meilleure reformulation pour cette question précise.
La Récompense : Le système vérifie si la réponse de l'IA est correcte. Si oui, il renforce la stratégie qu'il vient d'utiliser.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé cela sur 16 types de questions différentes (maths, histoire, logique, etc.) avec GPT-4o.

Gagnant incontesté : Le système a appris à choisir la bonne stratégie dans 87,5 % des cas par rapport à ne rien changer du tout.
Mieux que les règles fixes : Les anciennes méthodes qui disaient "Toujours simplifier" ou "Toujours ajouter des détails" ont perdu de loin. Parfois, simplifier une question complexe la rendait pire !
Pas de réentraînement : Le plus beau, c'est qu'on n'a pas besoin de toucher au code de l'IA ni de la réentraîner (ce qui est impossible pour les IA fermées). On agit juste sur la façon dont on lui pose la question. C'est comme changer de lunettes pour voir plus clair, sans changer les yeux.

💡 La Grande Leçon

Ce papier nous apprend une chose fondamentale : Il n'y a pas de solution miracle unique.

Ce qui fonctionne pour une question de mathématiques peut être désastreux pour une question de droit. La clé pour éviter les hallucinations, c'est la flexibilité. Il faut adapter la façon dont on pose la question en fonction de la nature même de la question.

En résumé, QueryBandits, c'est un petit assistant intelligent qui apprend à "parler le langage" de l'IA pour chaque situation spécifique, garantissant ainsi que l'IA donne la bonne réponse, même si elle est fermée et inaccessible.

1. Problématique : Le Défi des Hallucinations dans les Modèles Fermés

Les capacités de raisonnement avancées des Grands Modèles de Langage (LLM) s'accompagnent d'une augmentation des hallucinations (générations de faits inexacts). Bien que de nombreuses recherches existent pour atténuer ce problème, elles se concentrent principalement sur :

La détection a posteriori et l'édition de paramètres, qui nécessitent un accès aux poids du modèle (modèles open-source).
L'absence de solutions pour les modèles propriétaires (closed-source) comme GPT-4o, qui constituent la majorité des déploiements institutionnels.

Les méthodes existantes (modification des représentations internes, édition de logits) sont inapplicables aux boîtes noires. De plus, les petites perturbations de surface d'une requête peuvent induire de grandes variations de sortie, soulignant le besoin d'une politique d'apprentissage en ligne et agnostique au modèle pour guider les requêtes avant la génération.

2. Méthodologie : QueryBandits

Les auteurs proposent QueryBandits, un cadre d'apprentissage par bandit contextuel (Contextual Multi-Armed Bandit) conçu pour sélectionner dynamiquement la meilleure stratégie de réécriture de requête pour chaque entrée spécifique.

A. Espace d'Action (Les "Bras")

Le système propose 5 stratégies de réécriture distinctes, appliquées via des instructions de prompt :

PARAPHRASE : Introduire de la diversité lexicale tout en préservant le sens.
SIMPLIFY : Éliminer les clauses imbriquées et la syntaxe complexe.
DISAMBIGUATE : Résoudre les références vagues (pronoms, expressions temporelles).
EXPAND : Ajouter des entités et attributs saillants pour enrichir le contexte.
CLARIFY TERMS : Définir le jargon et les termes techniques.

B. Contexte (Vecteur de Caractéristiques)

Pour chaque requête $x_t$ , le système extrait un vecteur binaire de 17 dimensions ( $f_t \in \{0, 1\}^{17}$ ) décrivant les propriétés linguistiques. Ces caractéristiques incluent :

Structurelles : Anaphore, subordination.
Lexicales : Rareté, négation, superlatifs, polysémie.
Sémantiques : Ambiguïté, ancrage (grounding), contraintes, spécialisation de domaine.
Ces caractéristiques servent de contexte pour que le bandit apprenne quelle stratégie fonctionne le mieux selon le "profil" linguistique de la question.

C. Fonction de Récompense Composite

La qualité de la réponse est évaluée par une récompense $r_t \in [0, 1]$ combinant trois signaux :
$r_t = \alpha s_{llm} + \beta s_{fuzz} + \gamma s_{bleu}$

$s_{llm}$ : Évaluation binaire par un LLM (LLM-as-a-judge) sur la justesse factuelle.
$s_{fuzz}$ : Similarité de chaînes floue (RapidFuzz).
$s_{bleu}$ : Score BLEU-1 pour l'overlap lexicale.
Les poids optimaux trouvés sont $(\alpha, \beta, \gamma) = (0.6, 0.3, 0.1)$ , validés sur un ensemble de données humainement étiqueté (AUC-ROC de 0,973).

D. Algorithmes d'Apprentissage

Le système compare plusieurs algorithmes de bandits :

Contextuels : LinUCB, LinUCB+KL, Thompson Sampling (TS), FTRL, EXP3 linéaire.
Non-contextuels (Vanilla) : EXP3, FTPL, Thompson Sampling sans contexte.
Baselines : Prompts statiques (une seule stratégie fixe) et "No-Rewrite".

3. Contributions Clés

Modélisation de la Récompense pour la Facticité : Introduction d'une fonction de récompense calibrée et validée empiriquement, capable de séparer les réponses correctes des incorrectes avec une haute précision, servant de signal d'apprentissage robuste pour les modèles fermés.
Adaptation Contextuelle Supérieure : Démonstration que l'adaptation en ligne basée sur les caractéristiques linguistiques surpasse massivement les stratégies statiques ("one-size-fits-all") et les bandits non-contextuels.
Poids de Décision Interprétables : Analyse montrant qu'aucune stratégie unique n'est optimale pour tous les types de requêtes. Par exemple, la stratégie EXPAND est très efficace pour les requêtes nécessitant une spécialisation de domaine, tandis que SIMPLIFY échoue souvent sur les superlatifs.
Utilité pour les Modèles Fermés : Une méthode "plug-and-play" qui opère uniquement au niveau de l'entrée (input layer), ne nécessitant ni réentraînement ni accès aux gradients, rendant la réduction des hallucinations accessible pour GPT-4o et autres modèles propriétaires.

4. Résultats Expérimentaux

Les expériences ont été menées sur 13 benchmarks QA (16 scénarios, incluant ARC, MMLU, TruthfulQA, etc.) avec le modèle GPT-4o.

Performance Globale : Le Thompson Sampling Contextuel atteint un taux de victoire de 87,5 % contre la baseline "No-Rewrite" et surpasse les politiques statiques (Paraphrase, Expand) de 42,6 % et 60,3 % respectivement.
Précision : L'exactitude macro-moyenne passe de 68,1 % (No-Rewrite) à 76,6 % (Contextual TS), soit un gain de +8,5 points de pourcentage.
Régret Cumulé : Les bandits contextuels convergent rapidement vers les meilleures réécritures, accumulant un regret cumulatif bien inférieur aux politiques statiques et aux bandits non-contextuels.
Cas d'Usage TruthfulQA : Sur ce benchmark spécifique, QueryBandits porte la performance de GPT-4o de 81,4 % à 88,8 % (+7,4 pp), surpassant les méthodes d'édition de modèles (comme DoLa ou TruthX) qui sont inapplicables aux modèles fermés ou moins efficaces sur des bases fortes.
Observation sur la Mémoire : Les auteurs notent que sur des requêtes non perturbées (benchmarks standards), les politiques ont tendance à mémoriser les réponses et à choisir "No-Rewrite". L'efficacité de la réécriture émerge pleinement lorsque les requêtes sont perturbées lexicalement mais sémantiquement invariantes, évitant ainsi la mémorisation des prompts.

5. Signification et Impact

Ce travail établit un nouveau paradigme pour la mitigation des hallucinations :

Fin du "One-Size-Fits-All" : Il prouve qu'il n'existe pas de politique de réécriture universelle ; l'efficacité dépend intrinsèquement des caractéristiques sémantiques de la requête.
Accessibilité : C'est la première méthode à offrir une réduction significative des hallucinations pour les modèles propriétaires sans modification interne, comblant un vide critique dans la recherche actuelle.
Efficacité Computationnelle : La méthode ajoute un faible surcoût en tokens (réécriture + évaluation) mais évite le coût exorbitant du fine-tuning ou de l'inférence de modèles plus grands.

En résumé, QueryBandits démontre qu'un apprentissage en ligne adaptatif, guidé par des caractéristiques linguistiques fines, est la clé pour orienter les LLM vers des réponses plus factuelles, en particulier dans les environnements de production où les modèles sont fermés.