🤖 machine learning

KARL: Mitigating Hallucinations in LLMs via Knowledge-Boundary-Aware Reinforcement Learning

KARL est un nouveau cadre d'apprentissage par renforcement qui réduit les hallucinations des LLM en alignant dynamiquement leur capacité d'abstention sur l'évolution de leurs limites de connaissances, permettant ainsi de limiter les réponses erronées sans sacrifier la précision.

Auteurs originaux : Cheng Gao, Cheng Huang, Kangyang Luo, Ziqing Qiao, Shuzheng Si, Huimin Chen, Chaojun Xiao, Maosong Sun

Publié 2026-04-28

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Cheng Gao, Cheng Huang, Kangyang Luo, Ziqing Qiao, Shuzheng Si, Huimin Chen, Chaojun Xiao, Maosong Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'étudiant qui veut trop bien faire (et qui finit par inventer)

Imaginez un étudiant très intelligent, mais qui a une peur bleue de l'échec : l'Intelligence Artificielle (IA).

Lors d'un examen, quand on lui pose une question dont il n'est pas sûr, il a deux mauvais réflexes :

L'hallucination : Il panique et invente une réponse qui a l'air très sérieuse pour ne pas avoir l'air bête. C'est comme un élève qui, face à une question d'histoire, invente une date crédible pour ne pas dire "je ne sais pas".
La prudence excessive : À force d'avoir peur de se tromper, il finit par répondre "Je ne sais pas" à toutes les questions, même à celles qu'il connaît parfaitement. Il devient inutile.

Le défi des chercheurs, c'est de trouver le juste milieu : apprendre à l'IA à dire "Je ne sais pas" uniquement quand elle est vraiment perdue, et à répondre avec assurance quand elle connaît la réponse.

La Solution : KARL (Le Coach de Confiance)

Les chercheurs de l'Université de Tsinghua ont créé KARL. Au lieu de simplement punir l'IA quand elle se trompe, ils lui ont donné un "coach" très intelligent qui comprend ses limites.

Voici comment fonctionne KARL, avec deux étapes clés :

1. Le "Radar de Connaissance" (La Récompense Intelligente)

Imaginez que l'étudiant passe un test blanc. Le coach ne regarde pas seulement si la réponse est juste ou fausse. Il regarde aussi si l'étudiant est capable de trouver la réponse s'il essayait plusieurs fois.

Si l'étudiant peut trouver la réponse (même s'il a raté cette fois-ci) : Le coach lui dit : "Hé, tu as le potentiel ! Ne t'avoue pas vaincu, cherche encore, tu connais le sujet !" (On encourage la réponse).
Si l'étudiant est totalement incapable de trouver la réponse, peu importe ses essais : Le coach lui dit : "Là, c'est vraiment trop dur pour toi. Ne devine pas, dis simplement que tu ne sais pas." (On encourage l'abstention).

C'est ce qu'ils appellent une "récompense consciente de la frontière de connaissances". Le coach dessine une ligne invisible autour de ce que l'IA sait réellement.

2. L'Entraînement en deux temps (La Stratégie de l'Athlète)

Pour ne pas que l'IA devienne "paresseuse" ou "trop prudente" dès le début, KARL utilise une méthode en deux étapes, comme un athlète qui s'entraîne :

Étape 1 : L'Exploration (Le mode "Guerrier") : On demande à l'IA de se concentrer sur l'apprentissage pur. On lui dit : "Essaie de répondre à tout, explore tes connaissances, ne t'inquiète pas trop de dire 'je ne sais pas' pour l'instant." Le but est de muscler son cerveau et de remplir sa mémoire.
Étape 2 : Le Calibrage (Le mode "Sagesse") : Une fois qu'elle est devenue très intelligente, on lui apprend la politesse et l'honnêteté. On lui dit : "Maintenant que tu es forte, on va affiner. Si tu es sûre, réponds. Si tu es dans le flou total, sois honnête et dis que tu ne sais pas."

Le Résultat : Un génie honnête

Grâce à KARL, les résultats sont impressionnants. Sur des tests de culture générale (comme NaturalQuestions) :

L'IA fait beaucoup moins d'erreurs inventées (les hallucinations chutent de près de 40%).
Et contrairement aux autres méthodes, elle ne devient pas moins intelligente : elle continue de donner de bonnes réponses avec précision.

En résumé : KARL transforme l'IA d'un menteur nerveux ou d'un timide inutile en un expert sûr de lui, capable de reconnaître ses propres limites avec élégance.

Résumé Technique : KARL

1. Problématique (Le Problème)

Les grands modèles de langage (LLM) souffrent de hallucinations, c'est-à-dire qu'ils génèrent des réponses plausibles mais factuellement incorrectes au lieu d'admettre leur ignorance. Bien que l'apprentissage par renforcement (RL) soit utilisé pour encourager l'abstention (répondre "Je ne sais pas"), les méthodes actuelles font face à un dilemme majeur :

L'excès de prudence : Les mécanismes de récompense statiques ne distinguent pas ce que le modèle sait de ce qu'il ignore. Cela pousse le modèle vers une politique d'abstention excessive, ce qui dégrade considérablement la précision des réponses (le modèle préfère se taire plutôt que de risquer une erreur).
Le "piège de l'abstention" (Abstention Trap) : Lors de l'entraînement, si les récompenses sont mal calibrées, le modèle peut converger rapidement vers une politique où il n'abstient que pour maximiser sa récompense immédiate, stoppant ainsi toute exploration de ses connaissances réelles.

2. Méthodologie (La Solution)

Les auteurs proposent KARL, un cadre qui aligne dynamiquement le comportement d'abstention du modèle avec l'évolution de sa frontière de connaissances. La méthode repose sur deux innovations majeures :

A. Récompense sensible à la frontière de connaissances (Knowledge-Boundary-Aware Reward - KAR) :
Au lieu d'utiliser des récompenses fixes, KAR estime en ligne si une question est "résolvable" par le modèle en utilisant des statistiques de réponses au sein d'un groupe échantillonné ( $G$ réponses par question).

Si la question est résolvable (au moins une réponse correcte est trouvée dans l'échantillon) : On encourage la réponse correcte ( $r_{pos} = +1$ ) et on pénalise l'abstention et l'erreur ( $r_{abs}, r_{neg} = -1$ ).
Si la question est non-résolvable (aucune réponse correcte n'est trouvée) : On encourage l'abstention ( $r_{abs} = +1$ ) et on pénalise l'erreur ( $r_{neg} = -1$ ).

B. Stratégie d'entraînement en deux étapes (Two-Stage RL Training) :
Pour éviter le "piège de l'abstention", l'entraînement est décomposé :

Étape I : Exploration de la frontière de connaissances. On utilise un mélange de récompenses (une partie avec une récompense binaire simple pour maximiser la précision et une partie avec KAR). L'objectif est de renforcer les connaissances factuelles et d'éviter que le modèle ne devienne silencieux trop tôt.
Étape II : Calibration de l'abstention. Une fois la précision établie, on applique KAR à l'ensemble des données pour convertir les erreurs persistantes (celles que le modèle ne peut pas résoudre) en abstentions appropriées, sans sacrifier la précision acquise.

3. Contributions Clés

Estimation dynamique de la frontière : Contrairement aux méthodes qui étiquettent les données de manière statique (offline), KAR estime la capacité du modèle en temps réel pendant l'apprentissage.
Découplage de l'apprentissage : La stratégie en deux étapes sépare l'acquisition de connaissances de la calibration de la sécurité, permettant d'éviter l'effondrement de la politique (policy collapse).
Optimisation du compromis Précision-Hallucination : Le cadre permet d'augmenter la fiabilité sans le coût habituel de la perte de performance.

4. Résultats

Les expérimentations sur des modèles comme Llama-3.1-8B et Qwen2.5-7B sur des benchmarks (NaturalQuestions, TriviaQA, BioASQ, ARC-Challenge) montrent :

Réduction massive des hallucinations : Sur NQ, KAR réduit le taux d'hallucination de 38,6 % (Llama-3.1).
Maintien/Amélioration de la précision : Contrairement aux méthodes existantes qui sacrifient la précision pour la sécurité, KAR améliore même la précision sur certains benchmarks (ex: +4,0 % sur NQ pour Llama-3.1).
Généralisation robuste : Les performances restent élevées sur des données hors distribution (OOD) et sur des tâches de raisonnement (GSM8K, BBH), prouvant que le modèle n'a pas simplement mémorisé des motifs d'abstention mais a appris une véritable limite de compétence.

5. Signification (Impact)

Ce travail est significatif car il propose une voie pour créer des IA plus fiables et "honnêtes" dans des domaines critiques (médecine, droit) où une erreur factuelle est grave. Il démontre que l'abstention ne doit pas être traitée comme une simple option de sécurité, mais comme une compétence cognitive qui doit être calibrée en fonction de la maîtrise réelle du sujet par le modèle.