Résumé Technique : Raisonnement Abductif avec Bon Sens Probabiliste

1. Énoncé du Problème

L'article aborde les limites des approches neurosymboliques actuelles pour le raisonnement dans les Grands Modèles de Langage (LLM). Bien que les méthodes existantes traduisent avec succès le langage naturel en logique formelle et utilisent des solveurs, elles échouent souvent car les solveurs formels n'ont pas accès aux connaissances du monde de bon sens nécessaires (par exemple, « le blanc est une couleur »).

Les tentatives antérieures pour combler ce fossé (par exemple, LLM-Tres, ARGOS) reposent sur un cadre de raisonnement abductif où le LLM génère des prémisses manquantes ($L$) pour rendre une requête ($c$) logiquement déduite du contexte ($S$). Cependant, ces méthodes supposent implicitement un bon sens monolithique : qu'il existe un ensemble unique et universellement accepté de faits $L$ que tout le monde accepte comme vrais.

Les auteurs soutiennent que cette hypothèse est erronée. En réalité, les croyances de bon sens varient d'un individu à l'autre. Deux personnes peuvent être en désaccord sur une requête non pas à cause d'erreurs de raisonnement, mais parce qu'elles détiennent des ensembles différents, bien que défendables, de croyances de bon sens ($L_1$ vs $L_2$) qui conduisent à des conclusions contradictoires. De plus, supposer un bon sens monolithique rend la probabilité de vérité d'une proposition difficile à interpréter, la réduisant souvent à un score de confiance ininterprétable plutôt qu'à une véritable probabilité.

Le Problème Central : Comment déterminer la valeur de vérité d'une requête $c$ étant donné des prémisses $S$ lorsque les hypothèses de bon sens nécessaires ne sont pas universellement acceptées, mais varient au sein d'une population de raisonneurs ?

2. Méthodologie : Bon Sens Abductif Probabiliste (PACS)

Les auteurs proposent PACS, un cadre qui modélise le bon sens comme une distribution probabiliste sur une population de raisonneurs plutôt que comme un ensemble unique et statique de faits.

2.1 Cadre Théorique

Les auteurs définissent la Probabilité Abductive d'une requête $c$ étant vraie comme la valeur attendue sur l'ensemble de tous les humains ($R$) :
$$AP(S, c) \equiv \mathbb{E}_{R} [ \mathbb{1}[S \land L(R) \vdash c] ]$$
où $L(R)$ représente l'ensemble des croyances de bon sens détenues par le raisonneur $R$. Une requête est considérée « abductivement vraie » si la majorité des raisonneurs concluraient qu'elle est vraie.

Puisque le vecteur de croyances complet $L$ pour tout individu est inaccessible, la méthode approxime cette espérance en échantillonnant séquentiellement des « pensées » individuelles (énoncés épistémiques).

2.2 L'Algorithme d'Échantillonnage

L'algorithme traite la recherche d'une preuve comme un processus d'échantillonnage d'éléments individuels d'un vecteur de croyances $L = (L_1, L_2, \dots, L_{|D|})$.

1. Échantillonnage par la Règle de Chaîne : Le processus échantillonne les croyances une par une en utilisant la règle de chaîne : $p(L) = p(L_1)p(L_2|L_1)\dots$.
2. Arrêt Anticipé : L'échantillonnage ne nécessite pas de générer le vecteur de croyances complet. Il s'arrête dès que les croyances accumulées $\hat{l}$ combinées aux prémisses $S$ déduisent logiquement la requête ($S \land \hat{l} \vdash c$) ou sa négation ($S \land \hat{l} \vdash \neg c$).
3. Optimisation comme MDP : Trouver l'ordre optimal pour échantillonner les croyances afin de minimiser le coût computationnel (temps d'arrêt) est formulé comme un Processus de Décision Markovien (MDP).
   • État : L'ensemble actuel de croyances échantillonnées.
   • Action : Sélectionner la prochaine proposition de croyance à échantillonner.
   • Récompense : Minimiser le nombre attendu d'étapes futures pour atteindre une conclusion.

2.3 Fonction de Score de Remplacement

Le calcul de la récompense attendue exacte nécessite la connaissance de la distribution complète $p(L)$, ce qui est intraitable. Les auteurs dérivent un score de remplacement traitable basé sur le comptage de modèles (le nombre de mondes possibles satisfaisant la logique).
Le score proposé à minimiser de manière gloutonne est :
$$\text{Score}(\phi(t)|S) = \#\sigma_{S \land l_{\phi(1:t)}} \times (v_{S \land \hat{l}_t} - b_{S \land \hat{l}_t}) + 1$$
Où :

• $\#\sigma$ est le nombre d'états entièrement contraints atteignables.
• $v$ est le nombre total de variables dans le problème.
• $b$ est le nombre de variables déjà contraintes.
  Ce score approxime la réduction de l'incertitude, guidant la recherche vers les hypothèses de bon sens les plus informatives.

2.4 Implémentation

• LLM comme Échantillonneur : Le LLM agit comme un échantillonneur conditionnel pour la prochaine proposition de croyance $l_i$.
• Recherche de Type Beam : L'algorithme échantillonne $n$ pensées candidates à chaque étape mais conserve les $m$ meilleurs chemins de score (une variante de la recherche en faisceau).
• Agrégation : Contrairement à la recherche en faisceau standard qui sélectionne le seul chemin au score le plus élevé, PACS agrège les résultats de tous les chemins de recherche complétés. La réponse finale est déterminée par un vote majoritaire à travers les conclusions de ces chemins divers.

3. Contributions Clés

1. Cadre de Bon Sens Probabiliste : L'article introduit une définition formelle du raisonnement abductif qui modélise explicitement l'hétérogénéité des croyances de bon sens humaines, s'éloignant de l'hypothèse d'une vérité monolithique.
2. Algorithme PACS : Un algorithme novateur qui combine les LLM et les solveurs de logique formelle pour échantillonner des chemins de raisonnement divers, utilisant le comptage de modèles pour guider la recherche vers des explications minimales.
3. Validation Empirique : Démonstration que la modélisation de la variation des croyances et l'agrégation de chemins diversifiés conduisent à une précision supérieure par rapport aux méthodes qui supposent un seul chemin de raisonnement « correct » ou qui reposent uniquement sur les scores de confiance des LLM.

4. Résultats Expérimentaux

Les auteurs ont évalué PACS sur trois jeux de données : FOLIO (raisonnement logique), CosmosQA, et QUAIL (compréhension de lecture convertie en vrai/faux).

• Performance : PACS a surpassé la Chaîne de Pensée (COT), la Cohérence de Soi (SC) et les méthodes neurosymboliques antérieures (LoT, LLM-Tres, ARGOS) sur FOLIO et QUAIL.
  • Sur FOLIO, PACS a atteint 88 % de précision (en utilisant Llama 3.3 70B), contre 78 % pour la méthode neurosymbolique suivante (ARGOS) et 73 % pour COT.
  • Sur QUAIL, PACS a atteint 91 %, surpassant la base de recherche en faisceau heuristique (If-Beam) de 6 %.
• Diversité et Robustesse : PACS a considérablement réduit le pourcentage de problèmes où aucun chemin de raisonnement correct n'a été trouvé (par exemple, 3 % sur FOLIO contre 16 % pour If-Beam). Cela indique que PACS explore l'espace des solutions plus efficacement.
• Comparaison avec les Modèles « Réfléchissants » : Même en utilisant un modèle plus petit et non « réfléchissant » (Llama 3 8B), PACS a surpassé un modèle « réfléchissant » moderne de 120B (GPT-OSS-120B) sur FOLIO (82 % contre 82 % sur QUAIL, mais 88 % contre 82 % sur FOLIO), suggérant que les algorithmes de recherche fondés sur des principes peuvent être plus efficaces que la simple mise à l'échelle de la taille du modèle.
• Longueur du Chemin : PACS a trouvé des chemins de raisonnement plus courts (longueur moyenne de 4,6 sur FOLIO) par rapport à If-Beam (6,7), indiquant une meilleure planification et moins de « sur-réflexion ».

5. Signification et Revendications

L'article affirme que le succès de PACS valide deux idées fondamentales :

1. L'Hétérogénéité est Clé : Les systèmes de raisonnement ne devraient pas demander « Quelle est la bonne réponse ? » mais « Que dirait la plupart des gens être correct ? ». Cela nécessite de sommer sur des rationaux d'échantillonnage divers plutôt que de chercher une preuve monolithique unique.
2. Recherche Orientée But : Les systèmes ne devraient pas demander « Quelles sont quelques affirmations vraies ? » mais « Quelles affirmations vraies m'aideront à résoudre ce problème ? ». Cela nécessite une stratégie de minimisation (trouver le chemin le plus court et le plus direct) plutôt qu'une génération exhaustive.

Les auteurs concluent que leur cadre, malgré l'utilisation d'hypothèses relativement naïves (par exemple, distribution uniforme des solutions), démontre que concevoir des algorithmes de recherche concrets et fondés sur des principes est une voie plus efficace pour améliorer les capacités de raisonnement que le simple affinage des LLM ou la dépendance à leur confiance implicite.

6. Limites

Les auteurs reconnaissent plusieurs limites :

• Hypothèse d'Uniformité : La dérivation du score de remplacement suppose un modèle uniforme pour la distribution des états atteignables ($p(\sigma_i|l)$), ce qui est probablement irréaliste.
• Erreurs de Traduction : La méthode repose sur un LLM pré-entraîné pour traduire le langage naturel en logique. Les erreurs à cette étape de traduction introduisent du bruit, particulièrement noté dans le jeu de données CosmosQA où les erreurs de traduction étaient plus fréquentes.
• Portée : L'article n'explore pas l'affinage d'un modèle de traduction logique dédié, ni ne propose un modèle plus complexe pour la distribution des croyances, jugeant cela hors du champ de la présente étude.