💬 NLP

What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"

Cette étude propose une méthode d'affinage pondéré par la connaissance qui permet aux grands modèles de langage d'estimer précisément leur niveau de savoir pour exprimer explicitement leur incertitude (« je ne sais pas ») face aux questions hors de leur portée, réduisant ainsi les hallucinations tout en préservant la précision sur les questions maîtrisées.

Auteurs originaux : Joosung Lee, Hwiyeol Jo, Donghyeon Ko, Kyubyung Chae, Cheonbok Park, Jeonghoon Kim

Publié 2026-04-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Joosung Lee, Hwiyeol Jo, Donghyeon Ko, Kyubyung Chae, Cheonbok Park, Jeonghoon Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Dilemme du "Sachant" : Quand l'IA doit savoir dire "Je ne sais pas"

Imaginez un élève très brillant, disons Léo, qui a lu des milliers de livres avant d'entrer à l'école (c'est ce qu'on appelle le pré-entraînement). Léo connaît énormément de choses par cœur. Mais quand il commence à faire ses devoirs avec un nouveau professeur (le finetuning), il rencontre un problème : le professeur lui donne des questions sur des sujets que Léo n'a jamais vus dans ses livres.

Au lieu de dire "Je ne connais pas ce sujet", Léo, par habitude et par peur de ne pas avoir la bonne réponse, invente une réponse. Il ment avec une telle assurance que le professeur finit par croire qu'il a raison. C'est ce qu'on appelle une hallucination dans le monde de l'IA.

Les chercheurs de cet article (Joosung Lee et son équipe) ont voulu résoudre ce problème. Leur idée ? Apprendre à l'IA non seulement à répondre, mais aussi à savoir quand elle ne sait pas.

Voici comment ils ont fait, étape par étape, avec des analogies simples.

1. Le Diagnostic : "Combien sais-tu vraiment ?" 🩺

Avant de commencer les cours, le professeur veut savoir exactement ce que Léo connaît déjà. Mais comment le savoir ?

L'ancienne méthode : Le professeur pose une question une seule fois. Si Léo répond bien, c'est "Connu". S'il répond mal, c'est "Inconnu". C'est trop binaire (tout ou rien).
La nouvelle méthode (KWT) : Le professeur pose la même question 5 fois à Léo, mais avec des formulations légèrement différentes (comme si Léo avait un peu de mal à se concentrer).
- Si Léo donne la bonne réponse 5 fois sur 5, c'est un sujet qu'il maîtrise parfaitement.
- S'il donne la bonne réponse 2 fois sur 5, c'est un sujet flou pour lui.
- S'il ne trouve jamais la bonne réponse, c'est un sujet totalement inconnu.

C'est ce qu'ils appellent l'estimation de la connaissance. Ils donnent à chaque question un "score de connaissance" (de 0 à 100 %).

2. La Méthode d'Enseignement : Le "Cours Pondéré" ⚖️

Une fois qu'ils ont ces scores, ils ne traitent pas tous les exercices de la même manière. C'est là que réside l'innovation principale : l'Apprentissage Pondéré par la Connaissance (KWT).

Imaginez que le professeur ajuste la difficulté et l'importance de chaque exercice selon le niveau de Léo :

Pour les sujets que Léo connaît déjà bien (Score élevé) :
Le professeur dit : "Très bien, tu le sais déjà ! Continue de pratiquer pour rester sûr de toi."
→ L'IA reçoit un signal fort pour confirmer ce qu'elle sait. Elle ne va pas changer ses réponses.
Pour les sujets que Léo ne connaît pas du tout (Score faible ou nul) :
Le professeur dit : *"Attends, tu ne connais pas ça. Si tu essaies de deviner, tu vas faire une erreur. Au lieu de ça, lève la main et dis 'Je ne sais pas'."*
→ L'IA apprend à insérer un petit mot spécial, <IDK> (pour I Don't Know), au lieu d'inventer une réponse.

L'analogie du menu :
C'est comme un chef cuisinier.

Si un client commande un plat que le chef maîtrise (le "filet mignon"), il le cuisine avec passion et précision.
Si un client commande un plat exotique que le chef n'a jamais vu, le chef ne va pas inventer une recette bizarre. Il va dire : "Désolé, je ne connais pas ce plat, je ne peux pas le faire."
L'ancienne méthode (SFT classique) forçait le chef à cuisiner n'importe quoi, même s'il ne connaissait pas les ingrédients.

3. Le Résultat : Plus d'Honnêteté, Moins de Mensonges 🎯

Grâce à cette méthode, l'IA devient beaucoup plus fiable :

Elle ne perd pas sa mémoire : Elle reste aussi bonne que d'habitude sur les questions qu'elle connaît.
Elle arrête de mentir : Quand elle ne sait pas, elle l'avoue explicitement.
Elle est plus intelligente : Elle ne confond plus "je ne sais pas" avec "je vais inventer".

Les chercheurs ont testé cela sur des questions de médecine, de sciences et de culture générale. Résultat : l'IA a beaucoup moins d'hallucinations, même sur des sujets qu'elle n'a jamais vus (ce qu'on appelle le "hors domaine").

4. Pourquoi c'est important pour nous ? 🌍

Aujourd'hui, nous utilisons des IA pour des choses sérieuses : résumer des dossiers médicaux, écrire du code, ou donner des conseils juridiques.

Si une IA invente un médicament qui n'existe pas, c'est dangereux.
Si elle invente une loi qui n'existe pas, c'est problématique.

Cette méthode permet de créer des IA qui agissent comme de vrais experts : un vrai expert sait ce qu'il ne sait pas. Il ne se contente pas de parler pour parler.

En résumé 📝

Cet article nous dit que pour éviter que l'IA ne "hallucine" (ne mente), il ne suffit pas de lui donner plus de données. Il faut lui apprendre à évaluer sa propre confiance.

En donnant plus d'importance aux choses qu'elle connaît déjà et en l'encourageant à dire "Je ne sais pas" sur les choses qu'elle ignore, on obtient une IA plus honnête, plus sûre et plus utile. C'est comme passer d'un élève qui triche pour avoir une bonne note, à un élève qui est fier de sa rigueur et de son honnêteté.

1. Problématique : L'alignement des connaissances et les Hallucinations

Les grands modèles de langage (LLM) souffrent souvent d'hallucinations, c'est-à-dire la génération de contenus incorrects avec une confiance excessive. Les auteurs identifient la cause principale de ce phénomène comme un désalignement des connaissances entre la phase de pré-entraînement et l'affinage supervisé (SFT).

Le conflit : Les données d'affinage contiennent souvent des faits que le modèle n'a jamais rencontrés ou rarement vus lors du pré-entraînement.
La conséquence : Le modèle est contraint de produire des tokens étiquetés (réponses) même pour des faits qu'il ne "connaît" pas intrinsèquement. Au lieu de reconnaître l'absence de connaissance, il génère une réponse erronée mais confiante.
Limites des approches existantes :
- Les méthodes binaires (savoir/ne pas savoir) sont insuffisantes car la connaissance est un spectre.
- Les approches basées sur des tokens de refus (ex: IDK-Tuning, SEAL) imposent des décisions au niveau du token, créant un compromis inhérent entre la précision de la réponse et la capacité à refuser.

2. Méthodologie : Affinage Pondéré par la Connaissance (KWT)

L'approche proposée, Knowledge-Weighted Fine-Tuning (KWT), vise à estimer finement la connaissance du modèle pour chaque instance d'entraînement et à adapter le signal d'apprentissage en conséquence.

A. Estimation de la Connaissance (Knowledge Estimation)

Au lieu d'une classification binaire, le modèle attribue un score de connaissance (Knowledge Score) à chaque exemple d'entraînement :

Inférence multi-échantillonnée : Pour chaque question, le modèle génère plusieurs réponses (S=5) via un prompting few-shot (3 exemples) avec des démonstrations rééchantillonnées.
Évaluation de la justesse : Chaque réponse générée est comparée à la réponse de référence (Gold Response) en utilisant trois métriques :
- Exact Match (EM)
- ROUGE (pour la similarité sémantique lexicale)
- LLM-as-a-judge (un LLM plus puissant évalue la cohérence sémantique).
- Résultat : L'expérience montre que LLM-as-a-judge est la métrique la plus fiable (meilleure corrélation avec l'évaluation humaine).
Calcul du score : Le score de connaissance ($KS$) est la moyenne de la justesse sur les $S$ échantillons.

B. Stratégie d'Affinage Pondéré (Knowledge-Weighted Fine-Tuning)

Le signal d'apprentissage est modulé par le score de connaissance :

Pondération par familiarité (F) : Les échantillons que le modèle connaît déjà bien (score élevé) reçoivent un poids plus important dans la fonction de perte. Cela renforce les connaissances existantes.
Gestion de l'incertitude : Pour les échantillons où le score de connaissance est nul (le modèle ne sait pas), un token spécial <IDK> ("I Don't Know") est ajouté à la fin de la réponse cible. Cela encourage le modèle à exprimer explicitement son incertitude plutôt que d'halluciner.
Formule de perte : La perte est calculée comme une somme pondérée où le poids $w_i$ dépend du $KS_i$ de l'échantillon $i$ .

3. Contributions Clés

Estimation fine-granulaire : Démonstration que l'estimation de la qualité de la connaissance par instance (via inférence multi-échantillonnée) est cruciale pour réduire les hallucinations.
Stratégie de pondération : Preuve que la manière d'utiliser ce score pendant l'affinage (privilégier les exemples connus) améliore simultanément l'expression de l'incertitude et les performances globales.
Nouvelles métriques d'évaluation : Introduction de métriques spécifiques pour évaluer le comportement conscient de l'incertitude, notamment :
- nAUPC (Normalized Area Under the Product Curve) : Combine la précision consciente de l'incertitude (abstention correcte) et la précision consciente de la certitude (réponse correcte sans abstention inutile).
- A-FPR (Abstain False Positive Rate) : Taux de refus inutile (dire "Je ne sais pas" alors que la réponse est correcte).
- IDK Precision : Précision des réponses "Je ne sais pas".

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles Llama 3.2-3B et Qwen 2.5-3B sur des datasets variés (Général, Médical, Scientifique) et des scénarios hors domaine (Out-of-Domain).

Performance en domaine (In-Domain) :
- KWT (avec LLM-as-a-judge) atteint une nAUPC supérieure et un A-FPR inférieur par rapport aux méthodes de base (SFT, R-Tuning, SEAL).
- Le modèle apprend à dire "Je ne sais pas" aux moments appropriés sans sacrifier significativement la précision sur les questions répondables (la baisse de précision standard est minime).
Généralisation (Out-of-Domain) :
- Sur des datasets non vus (RefuNQ, SelfAware), KWT maintient une précision comparable au SFT tout en améliorant considérablement la capacité à exprimer l'incertitude, prouvant que la stratégie se généralise au-delà de la distribution d'entraînement.
Comparaison avec Token-Level Abstention (SEAL) :
- Contrairement à SEAL qui force un token de refus et dégrade la précision globale, KWT préserve la distribution prédictive de base (mesurée par la divergence KL plus faible) tout en permettant une expression d'incertitude plus nuancée.
Impact de la pondération :
- La stratégie de pondération par familiarité (F) est supérieure aux stratégies inverses (RF) ou uniformes (U), qui tendent à augmenter les faux positifs de refus (A-FPR).

5. Signification et Conclusion

Ce travail propose une approche simple mais efficace pour aligner l'affinage supervisé avec les connaissances internes du modèle. En traitant la connaissance comme une quantité graduelle plutôt que binaire, et en pondérant l'apprentissage en conséquence, KWT permet aux LLM de :

Réduire les hallucinations en refusant de répondre aux questions hors de leur portée.
Maintenir la précision sur les questions qu'ils peuvent répondre.
Offrir une transparence accrue via l'expression explicite de l'incertitude (<IDK>).

Limitation principale : La méthode nécessite une inférence multi-échantillonnée pour chaque instance d'entraînement, ce qui augmente le coût computationnel par rapport à un SFT standard. Cependant, les auteurs notent que ce coût est inhérent aux approches basées sur la cohérence ou l'incertitude.

En résumé, KWT offre une voie prometteuse pour rendre les LLM plus fiables et honnêtes sur leurs limites de connaissances, un pas essentiel vers des systèmes d'IA plus sûrs.