💬 NLP

Rewarding Intellectual Humility Learning When Not To Answer In Large Language Models

Cet article démontre que l'apprentissage par renforcement avec des récompenses vérifiables (RLVR), qui incite explicitement les modèles à s'abstenir de répondre aux questions incertaines, réduit efficacement les hallucinations et améliore l'humilité intellectuelle des grands modèles de langage sans compromettre de manière significative la précision sur les bancs d'essai factuels.

Auteurs originaux : Abha Jha, Akanksha Mahajan, Ashwath Vaithinathan Aravindan, Praveen Saravanan, Sai Sailaja Policharla, Sonal Chaturbhuj Gehlot

Publié 2026-01-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abha Jha, Akanksha Mahajan, Ashwath Vaithinathan Aravindan, Praveen Saravanan, Sai Sailaja Policharla, Sonal Chaturbhuj Gehlot

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un assistant très intelligent et cultivé pour répondre à vos questions. Le problème, c'est que cet assistant est un peu un « Monsieur Je-sais-tout ». Même lorsqu'il ne connaît pas réellement la réponse, il se sent obligé de deviner, inventant souvent des faits qui semblent convaincants mais qui sont totalement faux. Dans le monde de l'IA, on appelle cela « halluciner ».

Ce document traite de la façon d'apprendre à ces assistants IA une nouvelle compétence vitale : savoir dire « je ne sais pas ».

Voici la décomposition de leur approche, en utilisant des analogies simples :

Le Problème : La machine à deviner trop confiante

Actuellement, les modèles de langage étendus (LLM) sont entraînés pour toujours donner une réponse. Si vous leur posez une question, ils essaieront de générer quelque chose, même s'ils ne font que deviner. C'est comme un élève qui passe un examen et qui a peur de laisser une question vide, alors il griffonne une réponse au hasard juste pour obtenir des points. Cela conduit à des informations fausses mais présentées avec assurance.

La Solution : Le système de « Récompense de l'Honnêteté »

Les chercheurs ont testé une nouvelle méthode d'entraînement appelée Apprentissage par renforcement avec récompenses vérifiables (RLVR). Considérez cela comme un nouveau système de notation pour l'IA.

Au lieu de simplement donner des points pour une réponse correcte, ils ont introduit un système de notation à trois voies :

Réponse correcte : +1 Point (Beau travail !)
Mauvaise réponse : -1 Point (Mauvaise supposition, vous perdez des points.)
« Je ne sais pas » : Une récompense spéciale (disons +0,3 point).

L'objectif était d'apprendre à l'IA qu'il vaut mieux être honnête et dire « je ne sais pas » que de deviner avec assurance et de se tromper. Ils voulaient trouver le « juste milieu » de la récompense : pas trop élevée (sinon l'IA dirait « je ne sais pas » à tout et arrêterait de faire des efforts), ni trop basse (sinon elle continuerait de deviner).

Les Expériences : Tester les nouvelles règles

Ils ont testé cela sur deux types différents d'« élèves » (modèles d'IA) :

Granite-3.3-2B : Un modèle plus petit et plus compact.
Qwen-3-4B : Un modèle plus grand et plus puissant.

Ils les ont testés sur deux types d'« examens » :

MedMCQA : Des questions médicales à choix multiples (comme un quiz de culture générale avec un ensemble de réponses fixes).
Hendrycks Math : Des problèmes mathématiques difficiles qui nécessitent de rédiger une longue solution (comme une dissertation ou une démonstration).

Ce qu'ils ont trouvé

1. Le « juste milieu » fonctionne pour les questions à choix multiples
Sur les questions médicales à choix multiples, ils ont trouvé un « juste milieu » pour la récompense du « Je ne sais pas ».

S'ils accordaient une petite récompense pour dire « je ne sais pas », l'IA commençait à admettre son incertitude.
Le Résultat : Le nombre de fausses réponses inventées a chuté de manière significative. L'IA est devenue plus humble.
Le Compromis : L'IA obtenait également légèrement moins de réponses correctes au total car elle arrêtait de deviner. Cependant, les chercheurs ont constaté qu'une récompense modérée (autour de 0,3) réduisait les mauvaises supposations sans gâcher les bonnes.
L'avantage du grand modèle : Le plus grand modèle (Qwen) a mieux géré cet « entraînement à l'honnêteté » que le plus petit. Il était capable de dire « je ne sais pas » quand c'était nécessaire sans perdre autant de son intelligence globale.

2. La difficulté avec les questions ouvertes
Lorsqu'ils ont essayé cela sur les problèmes mathématiques difficiles (où l'IA doit écrire une longue réponse), cela n'a pas aussi bien fonctionné de manière autonome.

Le Problème : L'IA était tellement habituée à deviner qu'elle avait peur d'utiliser l'option « je ne sais pas ». C'était comme un élève qui a tellement peur d'avoir tort qu'il refuse même d'envisager de laisser une question vide. L'IA n'a pas assez « exploré » l'option de dire « je ne sais pas » pendant l'entraînement.
La Correction : Ils ont tenté un processus en deux étapes. D'abord, ils ont forcé l'IA à s'exercer à dire « je ne sais pas » sur un ensemble spécifique de questions (Ajustement fin supervisé). Ensuite, ils ont appliqué le système de récompense. Cela a aidé l'IA à se familiariser avec l'idée de s'abstenir, bien que l'équilibre soit resté délicat.

La Conclusion

Le document conclut que l'on ne peut pas simplement dire à une IA d'être honnête ; il faut la récompenser pour son honnêteté.

En ajustant les « points » donnés pour dire « je ne sais pas », les développeurs peuvent moduler la personnalité de l'IA. Ils peuvent la rendre plus prudente (moins susceptible de mentir) ou plus confiante (plus encline à essayer), selon leurs besoins.

Pour l'approche prudente : Donnez une petite récompense pour dire « je ne sais pas ». L'IA cessera d'inventer des faits, ce qui la rend beaucoup plus fiable pour des conseils médicaux ou juridiques où se tromper est dangereux.
La Limite : L'IA a besoin d'un peu d'aide pour apprendre comment dire « je ne sais pas » en premier lieu, surtout pour les tâches complexes et ouvertes.

En résumé, les chercheurs ont construit un manuel d'instruction qui enseigne aux modèles d'IA que le silence est parfois préférable à un mensonge, et ils ont prouvé qu'avec les bonnes récompenses, l'IA peut apprendre l'humilité intellectuelle.

Résumé Technique : Récompenser l'Humilité Intellectuelle dans les Grands Modèles de Langage

Énoncé du Problème

Les grands modèles de langage (LLM) génèrent fréquemment du contenu halluciné ou invérifiable, particulièrement dans les domaines factuels, car leurs objectifs d'entraînement récompensent généralement la génération de réponses indépendamment de la certitude. Les stratégies d'atténuation existantes, telles que le réglage fin supervisé (SFT) et l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF), reposent souvent sur un retour d'expérience humain coûteux et ne modélisent pas explicitement l'incertitude ou n'enseignent pas aux modèles à s'abstenir en cas d'incertitude. Ce travail répond au besoin d'un paradigme d'entraînement qui incite explicitement à « l'humilité intellectuelle » — la capacité de dire « Je ne sais pas » — afin de réduire les hallucinations sans dépendre uniquement de données de préférence humaines denses.

Méthodologie

Les auteurs proposent un cadre de Reinforcement Learning with Verifiable Rewards (RLVR) (Apprentissage par renforcement avec récompenses vérifiables) modifié. Cette approche utilise une structure de récompense ternaire pour guider le comportement du modèle :

Réponse correcte ( $r_{correct} = 1$ ) : Récompensée.
Réponse incorrecte ( $r_{wrong} = -1$ ) : Pénalisée.
Abstention ( $r_{abs}$ ) : Récompensée ou pénalisée en fonction d'un hyperparamètre ajustable. Le jeton d'abstention est défini comme « Je ne sais pas ».

Configuration Expérimentale

Modèles : L'étude évalue Granite-3.3-2B-Instruct et Qwen-3-4B-Instruct.
Jeux de données :
- MedMCQA : Un ensemble de données médicales à choix multiples augmenté d'une option explicite « Je ne sais pas » pour faciliter la vérification.
- Hendrycks Math : Un ensemble de problèmes mathématiques à étapes multiples et à réponse ouverte, utilisé pour tester la généralisation à des scénarios non basés sur des choix multiples.
Stratégies d'entraînement : Les auteurs comparent trois configurations principales utilisant l'Optimisation de Politique Relative de Groupe (GRPO) :
1. RL-only : Entraînement direct avec le signal de récompense ternaire.
2. RL-SFT-Random : Un processus en deux étapes où le modèle subit d'abord un SFT sur MedMCQA avec 30 % des vérités de terrain remplacées aléatoirement par « Je ne sais pas » pour encourager l'abstention, suivi d'un réglage fin par RLVR.
3. RL-RTuning : Similaire au précédent, mais l'étape SFT cible spécifiquement les questions auxquelles le modèle de base a répondu incorrectement, enseignant au modèle à s'abstenir uniquement sur les échecs connus (selon les principes de R-Tuning).

Conception de la Récompense

La fonction de récompense $R(y)$ est définie comme :
$R(y) = \begin{cases} 1 & \text{si } y \text{ est correct} \\ r_{abs} & \text{si } y = \text{"Je ne sais pas"} \\ -1 & \text{si } y \text{ est incorrect} \end{cases}$
Pour MedMCQA, une récompense de format est également appliquée pour imposer des structures de sortie strictes de type XML (<reasoning>, <answer>) afin de garantir des sorties vérifiables.

Résultats Clés

1. Compromis entre Précision et Abstention

Les expériences révèlent un compromis clair et ajustable contrôlé par la récompense d'abstention ( $r_{abs}$ ) :

Récompenses Modérées : Fixer $r_{abs}$ à de petites valeurs positives ou légèrement négatives (par exemple, de $-0,25 $à$ 0,3$) réduit systématiquement les réponses incorrectes (hallucinations) sans provoquer de dégradation sévère de la précision globale sur les tâches à choix multiples.
Sensibilité du Modèle : Les modèles plus grands (Qwen-3-4B) présentent une plus grande robustesse aux incitations à l'abstention par rapport aux modèles plus petits (Granite-3.3-2B). Par exemple, sur MedMCQA, Qwen-3-4B avec $r_{abs}=0,3$ a réduit les réponses incorrectes de 32,5 % à 10,3 % tout en maintenant une exactitude de 48,0 %, bien que cela ait augmenté le taux de « Je ne sais pas » à 41,0 %.

2. Performance des Variantes d'Entraînement

RL-only : Efficace pour réduire les hallucinations sur MedMCQA mais a éprouvé des difficultés avec Hendrycks Math. Les auteurs attribuent cela à une « exploration insuffisante », où l'hésitation initiale du modèle de base à utiliser le jeton « Je ne sais pas » empêche l'algorithme RL d'apprendre le comportement dans des contextes ouverts.
RL-SFT-Random : Cette approche a réussi à atténuer le problème d'exploration. Sur Hendrycks Math, elle a réduit les réponses incorrectes d'environ 28 % avec seulement 10 % de perte de précision. Cependant, sur MedMCQA, des récompenses d'abstention plus élevées dans ce cadre ont entraîné un déclin monotone de la justesse, le modèle devenant excessivement prudent.
RL-RTuning : Contrairement aux attentes, cette méthode a été moins performante que RL-SFT-Random. Les auteurs supposent que l'étape SFT de RL-RTuning a été dominée par des réponses « Je ne sais pas » (environ 60 %), provoquant un effondrement de la capacité du modèle à répondre avec assurance, un état dont il n'a pu se remettre lors de la phase RL suivante.

3. Questions Ouvertes vs Choix Multiples

Bien que le schéma de récompense ternaire ait bien fonctionné pour les questions structurées à choix multiples, les questions ouvertes (Hendrycks Math) nécessitaient l'étape SFT initiale pour surmonter la réticence du modèle à s'abstenir. Sans ce pré-entraînement, le RL-only a échoué à induire le comportement d'abstention dans le domaine ouvert.

Signification et Revendications

L'article affirme que la conception de récompenses vérifiables offre une alternative pratique, flexible et rentable aux méthodes d'alignement lourdes en interventions humaines pour atténuer les hallucinations. Les points clés incluent :

Faisabilité : Récompenser explicitement l'abstention est une stratégie viable pour promouvoir l'humilité intellectuelle dans les LLM.
Ajustabilité : La récompense d'abstention ( $r_{abs}$ ) agit comme un bouton de contrôle direct, permettant aux praticiens de doser le compromis entre prudence (réduction des hallucinations) et exactitude (maintien de la précision de la tâche) selon les besoins spécifiques de l'application.
Scalabilité : L'approche est particulièrement efficace pour les modèles plus grands, qui démontrent une meilleure calibration interne sous des incitations d'abstention modérées.
Limites : L'étude reconnaît que si la méthode réduit les hallucinations, elle ne les élimine pas totalement, et que la structure de récompense optimale varie considérablement selon les modèles et les types de jeux de données (choix multiples vs questions ouvertes).

Les auteurs concluent que bien que les résultats actuels soient prometteurs, des travaux futurs sont nécessaires pour optimiser le ratio d'échantillons d'abstention dans les étapes SFT (suggérant 10–30 % plutôt que 30 % ou plus) afin d'éviter l'effondrement des capacités et d'améliorer davantage les performances dans les tâches de raisonnement ouvert.