💬 NLP

$π$ -CoT: Prolog-Initialized Chain-of-Thought Prompting for Multi-Hop Question-Answering

Ce papier présente $\pi$ -CoT, une nouvelle stratégie d'incitation combinant la rigueur de la programmation logique Prolog et la flexibilité des grands modèles de langage pour améliorer significativement la résolution de questions multi-sauts en décomposant les requêtes complexes en sous-questions séquentielles.

Auteurs originaux : Chao Wan, Albert Gong, Mihir Mishra, Carl-Leander Henneking, Claas Beger, Kilian Q. Weinberger

Publié 2026-02-20

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chao Wan, Albert Gong, Mihir Mishra, Carl-Leander Henneking, Claas Beger, Kilian Q. Weinberger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : Le Grand Détective qui se Perd dans ses Pensées

Imaginez que vous avez un super-détective (c'est l'Intelligence Artificielle, ou "LLM"). Ce détective est brillant : il peut lire des milliers de livres, comprendre des blagues et résoudre des énigmes simples.

Mais quand on lui pose une énigme complexe en plusieurs étapes (par exemple : "Qui est la femme du professeur de Défense contre les Arts Sombres à Poudlard qui est aussi un loup-garou ?"), le détective commence à s'embrouiller.

Il tourne en rond comme un chien qui chasse sa queue.
Il oublie ce qu'il a trouvé à la première étape.
Il invente des faits qui n'existent pas (des hallucinations).

C'est ce qu'on appelle le CoT (Chain-of-Thought) : le détective essaie de réfléchir à voix haute, mais sans boussole, il se perd dans la forêt.

🛠️ La Solution : π-CoT (Le Plan d'Architecte)

Les auteurs de l'article proposent une nouvelle méthode appelée π-CoT. L'idée géniale est de ne pas laisser le détective réfléchir seul. Au lieu de cela, on lui donne un plan d'architecte rigide avant qu'il ne commence à chercher.

Voici comment ça marche, étape par étape, avec une analogie simple :

1. Le Traducteur (De la Question au Plan)

Au lieu de laisser le détective lire la question en français et essayer de deviner, on utilise un traducteur spécial (un langage de logique appelé Prolog) pour transformer la question complexe en une série de petites missions simples.

Analogie : Imaginez que vous voulez construire une maison. Au lieu de dire au maçon "Fais-moi une maison", vous lui donnez un plan technique :
1. Creuser les fondations.
2. Monter les murs.
3. Poser le toit.
  Le plan est strict, logique et ne laisse aucune place à l'erreur de début.

2. Le Chasseur de Trésors (La Recherche Étape par Étape)

Le système exécute ces petites missions une par une, comme un jeu de piste.

Mission 1 : "Qui sont les professeurs de Défense ?" -> Le détective cherche dans les livres et trouve : Lockhart, Lupin, Quirrell.
Mission 2 : "Lequel de ces trois est un loup-garou ?" -> Le détective vérifie : Seul Lupin.
Mission 3 : "Qui est la femme de Lupin ?" -> Le détective trouve : Tonks.

À chaque étape, le système note les résultats sur un cahier de bord (une base de données structurée). Le détective ne peut pas sauter d'étape ni inventer de réponse. Il doit suivre le chemin tracé.

3. Le Rapport Final (La Réponse)

Une fois que toutes les petites missions sont terminées, le système a toutes les pièces du puzzle. Il prend ce "cahier de bord" rempli de faits vérifiés et le donne au détective pour la dernière fois.

Analogie : C'est comme si le détective avait enfin tous les indices sur la table. Il n'a plus besoin de chercher, il n'a plus besoin de deviner. Il lit simplement le rapport et dit : "La réponse est Tonks !".

🌟 Pourquoi c'est génial ?

Moins d'erreurs : En forçant le détective à suivre un chemin logique (comme un train sur des rails), on évite qu'il ne parte dans des directions folles.
Mieux avec les documents : Souvent, les détectives (IA) ont du mal à trouver l'information exacte dans une montagne de documents. Ici, le plan dit exactement quoi chercher à chaque étape.
C'est rapide et efficace : Même si cela demande un peu plus de travail au début (créer le plan), cela évite de perdre du temps à corriger des erreurs plus tard.

En Résumé

L'article dit essentiellement : "Ne laissez pas l'IA réfléchir de manière chaotique. Donnez-lui d'abord un plan logique et structuré (comme un code informatique), puis laissez-la utiliser son intelligence pour remplir les détails."

C'est la combinaison parfaite entre la rigueur d'un robot (qui suit les règles) et la flexibilité d'un humain (qui comprend le langage naturel). Le résultat ? Une IA beaucoup plus fiable pour répondre aux questions difficiles qui demandent plusieurs étapes de réflexion.

1. Problématique

Les modèles de langage (LLM) utilisant le Chain-of-Thought (CoT) ont considérablement amélioré leurs capacités de résolution de problèmes. Cependant, ils rencontrent des difficultés majeures face aux questions multi-sauts (multi-hop QA), où plusieurs inférences interconnectées doivent être enchaînées.

Les limitations principales observées sont :

Raisonnement circulaire et déviation : Les modèles ont tendance à s'embourber dans des boucles logiques ou à s'éloigner du chemin de raisonnement correct.
Incohérence logique : La flexibilité du langage naturel, bien qu'utile, conduit souvent à une exploration non structurée qui perd la cohérence logique sur des chaînes de raisonnement complexes.
Échec dans les contextes RAG : Dans les systèmes de génération augmentée par la récupération (RAG), l'intégration d'informations provenant de multiples sources pour répondre à une question complexe échoue souvent car le modèle ne parvient pas à maintenir l'état intermédiaire des inférences.

Les approches existantes de décomposition (transformer une question complexe en sous-questions simples) souffrent souvent d'une mauvaise qualité de décomposition, d'une incapacité à composer les faits de manière fiable, et d'une perte de l'état intermédiaire dans les longues chaînes.

2. Méthodologie : π-CoT

Les auteurs proposent π-CoT (Prolog-Initialized Chain-of-Thought), une stratégie de prompting novatrice qui combine la rigueur structurelle de la programmation logique (Prolog) avec la flexibilité contextuelle des LLM.

L'approche se déroule en trois phases principales :

A. Reformulation en requêtes Prolog

Au lieu de demander au LLM de raisonner directement en langage naturel, le système reformule d'abord la question complexe en une requête Prolog structurée. Cette requête est décomposée automatiquement en une séquence de sous-requêtes à saut unique (single-hop sub-queries).

Exemple : Une question sur "l'épouse du professeur de Défense contre les Arts Sombres à Poudlard qui est aussi un loup-garou" est transformée en une séquence de prédicats : DADA_teacher(X, "Hogwarts"), werewolf(X), wife(X, Y).

B. Exécution itérative via le module SLICE

Le cœur du système est le module SLICE (Single-step Logical Inference with Contextual Evidence). Il résout chaque sous-requête séquentiellement :

Entrée : La sous-requête courante ( $q_t$ ), les solutions partielles précédentes ( $S_{t-1}$ ), et le corpus de documents.
Types de requêtes :
- Vérification : Confirmer si un fait est vrai (ex: "Est-ce que Lupin est un loup-garou ?").
- Extraction : Extraire de nouvelles variables (ex: "Qui est l'épouse de Lupin ?").
Processus : Le LLM traduit la requête Prolog en langage naturel, récupère les passages pertinents (via RAG ou contexte), et génère une réponse.
Mise à jour : Les réponses sont reconverties en faits Prolog et ajoutées à une base de connaissances dynamique. Les solutions valides sont filtrées pour réduire l'espace de recherche pour l'étape suivante.

C. Initialisation du CoT Final

Une fois que toutes les sous-requêtes sont résolues et que la trace d'exécution Prolog est complète, le système construit un contexte riche pour le LLM final. Ce contexte inclut :

La question originale.
Tous les passages récupérés.
Les "notes" (faits intermédiaires traduits en langage naturel).
La solution potentielle fournie par l'interpréteur Prolog.

Le LLM est alors invité à utiliser le Chain-of-Thought pour produire la réponse finale. Comme la majeure partie du travail de raisonnement lourd a déjà été effectué par la structure Prolog, cette étape finale est simplifiée et plus fiable.

3. Contributions Clés

Hybridation Symbolique-Neurale : Introduction d'une méthode qui utilise Prolog non pas comme un moteur d'exécution autonome (qui nécessite une base de données pré-remplie), mais comme un guide de structure pour un LLM accédant à du texte non structuré.
Gestion de l'État Intermediaire : Le mécanisme SLICE maintient explicitement l'état des variables et des faits à chaque étape, évitant ainsi la perte d'information critique souvent observée dans les chaînes de raisonnement longues.
Stratégie sans entraînement (Training-Free) : π-CoT est une méthode de prompting qui fonctionne avec des modèles de langage existants (comme Llama-3.3-70B ou DeepSeek-R1) sans nécessiter de fine-tuning coûteux.
Robustesse aux erreurs de récupération : Même si Prolog ne trouve pas de solution finale (échec de l'exécution), les "notes" intermédiaires générées guident le LLM vers la bonne réponse, démontrant que le processus de raisonnement structuré lui-même apporte une valeur ajoutée.

4. Résultats Expérimentaux

Les auteurs ont évalué π-CoT sur plusieurs benchmarks de questions multi-sauts (HotpotQA, 2WikiMultiHopQA, MuSiQue, et PhantomWiki) dans deux configurations : Open-Domain (RAG) et In-Context.

Performance en Open-Domain (RAG) :
- Sur 2WikiMultiHopQA et MuSiQue, π-CoT surpasse significativement les méthodes de référence (Standard RAG, Self-Ask, IRCoT) en termes de Exact Match (EM) et de score F1.
- Sur HotpotQA, les performances sont comparables aux meilleures méthodes, mais π-CoT ne montre jamais de dégradation par rapport au RAG standard.
- Efficacité : Bien que π-CoT effectue plus d'appels au LLM (pour générer la requête Prolog et l'étape finale), il utilise moins de tokens totaux que les méthodes itératives comme IRCoT, car il utilise des contextes courts et séparés pour chaque étape plutôt qu'un contexte unique qui grandit.
Comparaison avec l'état de l'art (HippoRAG 2) :
- π-CoT surpasse HippoRAG 2 (une méthode avancée d'extraction de graphes de connaissances) sur 2WikiMultiHopQA et MuSiQue, prouvant qu'une extraction de faits hors ligne n'est pas nécessaire pour obtenir une haute précision.
Performance In-Context (PhantomWiki) :
- Sur des données synthétiques complexes (PhantomWiki) où le contexte est très long, π-CoT montre une amélioration massive par rapport au CoT standard (gain relatif de 36% sur PW-M).
- L'analyse par difficulté montre que π-CoT maintient sa précision sur les questions complexes (plusieurs sauts) là où le CoT standard dégrade ses performances.
Analyse d'ablation :
- La suppression de la réponse Prolog fait chuter les performances drastiquement (presque à zéro sur les datasets difficiles), confirmant que la structure logique est indispensable.
- Les "notes" intermédiaires sont cruciales pour le "fuzzy matching" (correspondance approximative) lorsque la correspondance stricte de chaînes de caractères de Prolog échoue.

5. Signification et Impact

Vers des systèmes de raisonnement plus fiables : π-CoT démontre que l'intégration de structures de raisonnement explicites (symboliques) dans les modèles de langage (neuraux) permet de surmonter les limites de cohérence logique des LLM purs.
Interprétabilité : La décomposition en sous-requêtes Prolog et la génération de "notes" rendent le processus de raisonnement transparent et traçable, facilitant le débogage et la compréhension des échecs.
Direction future : Ce travail suggère une voie prometteuse pour entraîner de futurs agents LLM capables de générer des requêtes structurées pour naviguer dans de vastes corpus de connaissances dynamiques, combinant ainsi la puissance de la recherche d'information et la rigueur du raisonnement logique.

En résumé, π-CoT représente une avancée significative en matière de raisonnement multi-sauts, prouvant que contraindre un LLM à suivre un plan logique rigide (via Prolog) avant de laisser libre cours à sa créativité linguistique améliore considérablement la précision et la robustesse des réponses.