💬 NLP

Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation

Ce papier présente la dérivation par incitation, une nouvelle technique d'incitation fondée sur la logique pour la génération augmentée par la récupération, qui construit des arbres de dérivation interprétables pour réduire systématiquement les hallucinations et les raisonnements erronés dans les tâches à forte intensité de connaissances.

Auteurs originaux : Ignacio Sastre, Guillermo Moncecchi, Aiala Rosá

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ignacio Sastre, Guillermo Moncecchi, Aiala Rosá

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothécaire très intelligente et bien informée (l'IA) qui est excellente pour répondre aux questions, mais qui invente parfois des choses ou se trompe lorsque la réponse n'est pas immédiatement évidente. C'est un problème courant avec les modèles d'IA actuels, en particulier lorsqu'on leur demande de répondre à des questions spécifiques à partir d'un tas de documents.

Ce papier présente une nouvelle façon de parler à cette bibliothécaire, appelée Derivation Prompting (Amorçage par dérivation). Au lieu de simplement demander : « Quelle est la réponse ? » et d'espérer le meilleur, les auteurs apprennent à la bibliothécaire à construire la réponse étape par étape, comme on résout un puzzle ou on prouve un problème de mathématiques.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : La bibliothécaire « hallucinante »

Habituellement, lorsque vous posez une question à une IA, elle saisit quelques pages pertinentes d'un livre et tente d'écrire une réponse immédiatement. Parfois, elle a raison. Mais souvent, elle peut « halluciner » — c'est-à-dire affirmer avec confiance quelque chose qui n'est pas réellement dans le livre, ou mélanger des faits. C'est comme un étudiant qui devine la réponse à un examen parce qu'il pense la connaître, plutôt que de consulter le manuel.

2. La Solution : Construire un « arbre logique »

Les auteurs proposent une nouvelle méthode inspirée des démonstrations logiques. Imaginez que vous construisez un arbre.

Les Racines : Ce sont les faits que vous avez trouvés dans les documents (les « hypothèses »).
Les Branches : Ce sont les étapes que vous prenez pour relier ces faits.
Le Fruit : C'est la réponse finale.

Au lieu de sauter directement au fruit, l'IA est forcée de faire pousser les branches d'abord. Elle doit suivre un ensemble spécifique de règles (comme une recette) pour combiner les faits.

3. Les Règles : La « boîte à outils » de l'IA

Le papier définit un petit ensemble de « mouvements » que l'IA peut effectuer, similaires aux coups dans un jeu de société. Par exemple :

Extraire : « Prends cette phrase spécifique du document. »
Combiner : « Prends le Fait A et le Fait B et mets-les ensemble. »
Affiner : « Reformule ce fait pour mieux correspondre à la question, mais ne change pas le sens. »
NoInfo (Aucune info) : « Si aucun des faits n'aide, admettez que vous ne savez pas. »

L'IA doit choisir une règle, l'appliquer aux faits et noter le résultat. Ensuite, elle examine ce résultat et décide : « Est-ce la réponse finale ? Si non, je dois utiliser une autre règle sur ce nouveau résultat. »

4. Pourquoi cela aide : L'analogie du « Chantier de construction »

Pensez à une réponse normale d'IA comme à un entrepreneur qui construit un mur en espérant qu'il tienne. Si le mur est de travers, vous ne savez pas pourquoi jusqu'à ce qu'il s'effondre.

Derivation Prompting est comme un entrepreneur qui doit vous montrer les plans et le journal de construction étape par étape.

Interprétabilité : Parce que l'IA construit un « arbre » d'étapes, vous pouvez examiner les branches intermédiaires et dire : « Attendez, vous avez mal combiné ces deux faits », ou « Vous avez inventé un fait ici ». Il est beaucoup plus facile de repérer l'erreur car le chemin est visible.
Contrôle : En forçant l'IA à suivre des règles, elle est moins susceptible de s'égarer et d'inventer des choses. C'est comme donner à l'IA une liste de contrôle stricte ; elle ne peut pas sauter d'étapes ni en inventer de nouvelles.

5. Ce qu'ils ont découvert

Les auteurs ont testé cela sur un problème réel : répondre aux questions des étudiants sur les règles administratives de l'université. Ils ont comparé trois méthodes :

Long Contexte : Donner tout le livre à l'IA d'un coup.
RAG Standard : La méthode habituelle consistant à saisir quelques pages et à répondre.
Derivation Prompting : La nouvelle méthode étape par étape basée sur des règles.

Les Résultats :

La nouvelle méthode a réduit considérablement les « mauvaises » réponses (réponses incorrectes ou inventées).
Elle n'a pas nécessairement rendu l'IA plus rapide pour trouver la bonne réponse, mais elle a rendu les réponses qu'elle a données beaucoup plus fiables.
Elle a fonctionné le mieux avec un modèle d'IA très intelligent (Claude Opus). Un modèle plus petit et moins puissant (Claude Haiku) pouvait suivre les règles, mais restait parfois bloqué ou produisait moins de réponses de haute qualité, montrant que l'IA doit être « assez intelligente » pour suivre les instructions logiques.

La Conclusion

Ce papier propose un moyen d'empêcher l'IA de deviner en la forçant à « montrer son travail » en utilisant une structure arborescente logique et basée sur des règles. Il transforme l'IA d'un devin confiant en un résolveur de problèmes prudent et étape par étape, la rendant beaucoup plus sûre à utiliser pour des questions importantes basées sur des faits.

Résumé Technique : Prompting de Dérivation pour la Génération Augmentée par Récupération

Énoncé du Problème
Bien que les Grands Modèles de Langage (LLM) aient fait progresser les Réponses aux Questions (QA), ils restent sujets aux hallucinations et aux raisonnements erronés, en particulier dans les tâches intensives en connaissances et spécifiques à un domaine. Le cadre de Génération Augmentée par Récupération (RAG) tente d'atténuer ce problème en ancrant la génération du modèle dans des documents récupérés. Cependant, les techniques existantes d'amélioration du raisonnement, telles que la Chaîne de Pensée (CoT) et l'Arbre de Pensées (ToT), manquent de contraintes explicites sur la manière dont les étapes intermédiaires de raisonnement sont construites. Cette absence de méthodologie systématique permet aux modèles de générer des chemins de raisonnement incontrôlés, conduisant à une logique défectueuse et à des hallucinations même lorsque le contexte est fourni.

Méthodologie : Prompting de Dérivation
Les auteurs proposent le Prompting de Dérivation, une technique novatrice pour l'étape de génération du cadre RAG, inspirée des déductions logiques en logique propositionnelle. Au lieu de générer une réponse libre, la méthode construit un « arbre de dérivation » structuré où une conclusion est systématiquement inférée à partir d'un ensemble d'hypothèses initiales (fragments de documents récupérés) en utilisant des règles prédéfinies.

Mécanisme Central : Le processus traite les fragments récupérés comme un ensemble d'hypothèses $\{h_1, \dots, h_n\}$ . Le LLM a pour tâche d'appliquer un ensemble de règles en langage naturel pour transformer ou combiner ces hypothèses afin de dériver une conclusion $c$ qui répond à la requête $q$ .
Ensemble de Règles : La méthode utilise un ensemble spécifique de règles définies en langage naturel, incluant :
- Extraire : Isoler une partie spécifique d'une hypothèse.
- Concaténer : Combiner des hypothèses indépendantes.
- Instancier : Généraliser une hypothèse à un cas particulier.
- Composer : Fusionner des hypothèses partageant un élément commun.
- Affiner : Adapter une hypothèse pour répondre à la requête sans altérer la sémantique.
- NoInfo : Énoncer explicitement lorsque les hypothèses manquent d'informations nécessaires.
Exécution Algorithmique : Le processus est itératif. Le LLM décide quelle règle appliquer, sélectionne les hypothèses pertinentes et génère une nouvelle conclusion. Si la conclusion n'est pas la réponse finale, elle est ajoutée à la liste des hypothèses pour les étapes suivantes.
Stratégies d'Implémentation : Les auteurs ont évalué deux approches d'implémentation :
1. Prompt en une étape : Isolant chaque application de règle comme un appel LLM indépendant.
2. Prompt de dérivation complète : Utilisant une stratégie Few-Shot pour guider le LLM dans la construction de l'ensemble de l'arbre de dérivation en un seul appel d'inférence.
  L'étude a révélé que le prompt de dérivation complète est significativement plus efficace sur le plan computationnel (remplaçant $n$ inférences par une seule) tout en produisant des résultats comparables.

Étude de Cas et Évaluation
La méthode a été évaluée dans un domaine spécifique : les informations administratives de l'École d'Ingénierie de l'Universidad de la República (Uruguay).

Jeu de Données : 135 requêtes réelles d'utilisateurs dérivées d'e-mails historiques, traitées pour supprimer les données personnelles.
Lignes de Base : L'étude a comparé le Prompting de Dérivation à :
- RAG standard (utilisant un Cross-Encoder pour la récupération).
- Approches de fenêtres de contexte longues (fournissant les documents complets directement au modèle).
Modèles : Les expériences ont utilisé la famille Claude 3 d'Anthropic (Haiku et Opus).
Métrique d'Évaluation : Une évaluation automatisée utilisant Claude Opus comme juge, notant les réponses sur une échelle de 1 à 5 selon une grille distinguant les réponses « inacceptables » (contradictoires/fausses, scores 1–2) et « acceptables » (non contradictoires, scores 3–5).

Résultats
Les expériences ont démontré que le Prompting de Dérivation améliore significativement la précision des systèmes RAG :

Réduction des Réponses Inacceptables : Le Prompting de Dérivation avec Claude Opus a obtenu 89,6 % de réponses acceptables, contre 77,8 % pour le RAG standard et 76,3 % pour les méthodes de Contexte Long. Cela représente une réduction substantielle des hallucinations et des informations contradictoires.
Précision vs Rappel : Bien que la méthode ait drastiquement réduit les erreurs (scores 1 et 2), elle n'a pas nécessairement augmenté le nombre de réponses hautement détaillées (scores 4 et 5). Dans de nombreux cas où d'autres méthodes échouaient avec des hallucinations, le Prompting de Dérivation a correctement identifié un manque d'informations (score 3) via la règle NoInfo.
Dépendance au Modèle : L'efficacité de la méthode est corrélée aux capacités du modèle. Alors que Claude Opus a performé de manière robuste, le modèle plus petit Claude Haiku a montré une diminution des réponses de haute qualité (scores 4 et 5) malgré la réduction des erreurs, suggérant que la construction de dérivations valides nécessite une capacité modèle significative.
Interprétabilité : Une découverte clé est que l'arbre de dérivation est interprétable. Lorsque des erreurs se produisent, elles peuvent être tracées jusqu'à des applications de règles spécifiques (par exemple, une hallucination lors d'une étape Affiner), permettant aux utilisateurs d'identifier un raisonnement défectueux plutôt que de simplement recevoir une réponse erronée.

Signification et Revendications
L'article revendique que le Prompting de Dérivation offre une alternative contrôlée et interprétable aux techniques de raisonnement existantes. En forçant le processus de génération à travers une séquence de règles logiques prédéfinies, la méthode contraint la liberté du modèle d'halluciner, garantissant que les réponses restent ancrées dans les documents récupérés. Les auteurs soulignent que si la méthode améliore la précision et réduit les sorties inacceptables, son succès dépend de la capacité du LLM sous-jacent à comprendre et à appliquer efficacement la logique basée sur des règles. Le travail suggère que cette approche basée sur la logique peut être généralisée à d'autres scénarios RAG et potentiellement à des tâches non RAG, à condition que des ensembles de règles appropriés soient définis.