Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data

Résumé technique : La connaissance paramétrique ne suffit pas

Définition du problème
Les grands modèles de langage (LLM) souffrent fréquemment d'« hallucinations », générant des réponses factuellement incorrectes car ils n'ont pas conscience de leurs propres limites de connaissances. Les méthodes actuelles pour améliorer l'« honnêteté » des LLM — définie par la capacité à refuser de répondre à des questions situées en dehors de ses connaissances (auto-connaissance) et à répondre correctement lorsque les connaissances existent (auto-expression) — font face à des défis d'évaluation importants. Les benchmarks existants traitent souvent les LLM comme des boîtes noires, estimant les limites de connaissances de manière indirecte. Cela conduit à des évaluations erronées où l'incapacité d'un modèle à répondre est attribuée à un manque de connaissances (un problème d'auto-connaissance) alors qu'il peut s'agir en réalité d'une incohérence d'expression (un problème d'auto-expression). De plus, sans accès aux données d'entraînement spécifiques, il est impossible de déterminer de manière définitive si un modèle devrait connaître une réponse, ce qui rend difficile l'établissement de benchmarks robustes.

Méthodologie
Les auteurs proposent une approche à deux volets : un nouveau benchmark d'évaluation et une nouvelle méthode d'inférence appelée RETAIN (Retrieval-Enhanced Training-Aware Inference).

1. Construction du benchmark (TIP-TRIVIAQA) :

   • En s'appuyant sur Pythia, un LLM véritablement ouvert dont les données de pré-entraînement sont publiques, les auteurs construisent un benchmark où la « vérité terrain » de la connaissance est connue.
   • Ils utilisent un processus de recherche en deux étapes pour déterminer si une question est «答able » (la réponse existe dans le corpus de pré-entraînement) ou « in答able » (elle n'existe pas) :
     • Recherche basée sur les jetons (Tokens) : Récupère les documents contenant des mots-clés spécifiques de la question et de la réponse de référence. Un LLM juge la pertinence.
     • Recherche basée sur les vecteurs : Pour les questions non résolues par la recherche par jetons, une similitude sémantique est utilisée pour récupérer des documents, suivie d'un jugement de pertinence.
   • Cela crée un ensemble de données (TIP-TRIVIAQA) où les questions sont explicitement catégorisées en fonction de l'exposition réelle du modèle à l'information lors de son pré-entraînement.

2. La méthode RETAIN :

   • RETAIN est un cadre agentique comprenant trois composants :
     • Récupérateur (Retriever) : Encode la question d'entrée et récupère les $k$ documents les plus pertinents du propre corpus de pré-entraînement du modèle via une récupération dense.
     • Classificateur de réponse (Answerability Classifier) : Un modèle affiné (fine-tuned) qui détermine si les documents récupérés contiennent suffisamment d'informations pour répondre à la question. Si aucun document pertinent n'est trouvé, le système déclenche un refus (« Je ne sais pas »).
     • Répondeur (Responder) : Un modèle affiné qui génère la réponse de référence en utilisant le document récupéré comme contexte, mais seulement si le classificateur juge la question répondable.

Principales contributions

1. Un benchmark robuste : Le papier introduit le premier benchmark pour l'honnêteté des LLM qui tient explicitement compte de la limite de connaissances du modèle en identifiant les documents pertinents au sein de ses données de pré-entraînement, dépassant ainsi l'évaluation de type boîte noire.
2. Une nouvelle méthode d'inférence : Les auteurs proposent RETAIN, qui exploite la récupération sur le propre corpus de pré-entraînement du modèle au moment de l'inférence. Cela permet au modèle de distinguer les questions qu'il a vues (et peut répondre) de celles qu'il n'a pas vues (et devrait refuser).
3. Validation empirique : L'étude démontre que le simple fait d'augmenter les prompts avec des documents issus des données de pré-entraînement améliore à la fois la précision des réponses et la capacité du modèle à reconnaître ses propres limites.

Résultats
Les expériences menées sur le benchmark TIP-TRIVIAQA utilisant Pythia-12b-deduped montrent que RETAIN surpasse significativement les bases de comparaison existantes (incluant SFT, Best-of-N, DPO et R-Tuning).

• Performance : RETAIN atteint un score ExactMatch-F1 de 58,57 et un PartialMatch-F1 de 62,23, nettement supérieur à la base suivante (R-Tuning à 44,16 PM-F1).
• Généralisation : Sur le jeu de données HoneSet (contenant des questions auxquelles les humains ne peuvent pas répondre), RETAIN atteint un taux de refus de 87,63 %, surpassant largement toutes les autres bases, ce qui indique que la méthode se généralise au-delà du benchmark spécifique.
• Ablation : Les résultats confirment que la combinaison de la récupération, de la classification de réponse et d'un répondeur entraîné est nécessaire pour une performance optimale ; supprimer l'un des composants dégrade le score F1.

Signification
Le papier affirme être le premier à exploiter les données de pré-entraînement pour construire un benchmark d'honnêteté pour les LLM et à effectuer une récupération sur le propre corpus de pré-entraînement d'un modèle pour répondre aux questions. Les auteurs soutiennent que la connaissance paramétrique seule est insuffisante pour l'honnêteté ; au lieu de cela, les modèles nécessitent un mécanisme pour accéder et vérifier leurs données d'entraînement afin de percevoir précisément leurs limites de connaissances. En utilisant la transparence de modèles ouverts comme Pythia, ce travail offre une voie vers des assistants IA plus fiables, interprétables et honnêtes, capables de reconnaître explicitement lorsqu'ils ne connaissent pas une réponse, réduisant ainsi les hallucinations dans les domaines critiques.