Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning

1. Problématique : Les Hallucinations par Faux Prémisses

Les Grands Modèles de Langage (LLM) sont performants pour générer des réponses fluides, mais ils souffrent d'un problème critique : les hallucinations de factualité déclenchées par des fausses prémisses.

• Définition : Une fausse prémisse est une affirmation incorrecte intégrée dans la requête de l'utilisateur (ex: "Est-ce que la pénicilline est sûre pour traiter mes symptômes d'allergie aux fruits de mer ?").
• Le Défi : Contrairement aux hallucinations classiques où le modèle invente des faits, ici, le modèle accepte la prémisse erronée comme vraie et génère une réponse qui semble logique mais est fondamentalement fausse et potentiellement dangereuse (surtout dans des domaines sensibles comme la santé ou la finance).
• Limites des approches existantes : Les méthodes actuelles (fine-tuning, décodage contrastif, analyse des logits) sont souvent coûteuses en calcul, nécessitent un accès aux poids internes du modèle (boîte blanche), ou interviennent a posteriori (après la génération), ce qui ne prévient pas l'apparition de la désinformation.

2. Méthodologie : Vérification par Raisonnement Logique Augmenté par la Récupération (RAG)

Les auteurs proposent un cadre préventif qui détecte et signale les fausses prémisses avant la génération de la réponse par le LLM. L'approche se déroule en trois étapes clés :

A. Conversion en Forme Logique

La requête utilisateur (langage naturel) est transformée en une forme logique structurée (représentation symbolique).

• Processus : Un LLM (GPT-4o-mini) extrait les entités et les relations pour créer une structure du type Prédicat(Entité1, Entité2).
• Exemple : La question sur les fruits de mer devient Safe(Penicilline, Allergie_FruitsDeMer).
• Avantage : Cette abstraction permet de séparer la structure logique du contenu sémantique, facilitant l'analyse factuelle indépendante du flux naturel du texte.

B. Récupération et Vérification Structurée

Le système utilise un RAG (Retrieval-Augmented Generation) basé sur un graphe de connaissances (Knowledge Graph - KG) pour valider la prémisse.

• Récupération : La forme logique est utilisée pour interroger le graphe de connaissances (via des récupérateurs basés sur des embeddings, des algorithmes non paramétriques comme G-retriever utilisant l'algorithme de Steiner Tree, ou des LLM).
• Vérification : Le système compare la prémisse extraite avec les faits réels du graphe. Si une contradiction est détectée (ex: le graphe indique qu'il n'y a aucun lien entre pénicilline et allergies aux fruits de mer), la prémisse est marquée comme fausse.

C. Atténuation de l'Hallucination par Signalisation

Une fois la vérification effectuée :

• Si une fausse prémisse est détectée ($F(q) = 1$), une note explicite est ajoutée à la requête originale avant de l'envoyer au LLM final : "Note: Cette question contient une fausse prémisse."
• Le LLM est ainsi contraint de rejeter ou de corriger l'hypothèse erronée avant de formuler sa réponse, garantissant la cohérence factuelle sans nécessiter de fine-tuning massif.

3. Contributions Clés

1. Représentation Logique : Introduction de formes logiques pour représenter les requêtes, démontrant leur efficacité supérieure pour l'analyse de prémisses par rapport au texte brut, quel que soit le type de récupérateur de graphe utilisé.
2. Détection Explicite : Méthode qui détecte activement les fausses prémisses et informe explicitement le LLM de leur présence, améliorant la fiabilité sans modifier les paramètres du modèle.
3. Efficacité et Compatibilité : Une approche "boîte noire" (black-box compatible) qui ne nécessite ni accès aux logits, ni génération de réponse préalable, ni fine-tuning à grande échelle. Elle s'intègre facilement dans les pipelines existants.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données (KG-FPQ, CREAK, FEVER) et avec divers modèles (GPT-4o-mini, Llama-3, Mistral, Qwen).

• Détection de Fausses Prémisses :

  • L'utilisation de formes logiques dans les deux étapes (récupération et détection) avec le récupérateur G-retriever a atteint un F1-score de 97,12% sur le jeu de données KG-FPQ, avec un taux de vrais positifs (TPR) de 94,44%.
  • Cela représente une amélioration significative par rapport aux méthodes utilisant uniquement la requête originale ou des approches basées sur des prompts simples.
  • L'approche est particulièrement efficace pour les questions multi-sauts (multi-hop), où la complexité du raisonnement est plus élevée.

• Atténuation des Hallucinations :

  • La méthode proposée a obtenu les meilleurs taux de précision parmi toutes les méthodes comparées (Direct Ask, Prompting, Vote Majoritaire, RAG direct, Perplexity AI).
  • Exemple : Sur GPT-4o-mini, la précision est passée de 83,8% (Direct Ask) à 92,4% avec la méthode proposée. Sur Qwen2.5, elle atteint 95,2%.
  • Contrairement au "Vote Majoritaire" qui peut amplifier les erreurs (effet de neige), ou au simple avertissement ("Prompt"), la signalisation explicite de la prémisse fausse permet au modèle de corriger sa trajectoire de raisonnement.

• Efficacité Computationnelle :

  • La méthode ajoute un surcoût négligeable (environ 0,6s par requête sur GPU) par rapport aux méthodes de décodage contrastif (qui ajoutent ~10,6s).
  • Elle est agnostique au modèle et compatible avec les API fermées.

5. Signification et Impact

Cet article propose un changement de paradigme dans la lutte contre les hallucinations : passer d'une correction a posteriori à une vérification préventive.

• Sécurité : En identifiant les hypothèses non fondées avant la génération, la méthode empêche la propagation de désinformation dans des domaines critiques (médical, juridique).
• Robustesse : Elle démontre que l'intégration de structures logiques symboliques avec des techniques de récupération de connaissances (RAG) est une voie prometteuse pour améliorer la fiabilité des LLM sans avoir à les réentraîner.
• Généralité : La méthode fonctionne aussi bien sur des bases de connaissances structurées (Graphes de Connaissances) que sur des sources non structurées (Wikipedia/FEVER), prouvant que le bénéfice vient de la compréhension de la prémisse et non seulement du format des données.

En résumé, cette approche offre un mécanisme léger, efficace et interprétable pour "désinfecter" les requêtes des LLM avant qu'elles ne génèrent des réponses, assurant ainsi une interaction plus sûre et factuellement ancrée.