Position: Logical Soundness is not a Reliable Criterion for Neurosymbolic Fact-Checking with LLMs

1. Problématique

L'intégration croissante des Grands Modèles de Langage (LLM) dans les pipelines de vérification des faits (fact-checking) a suscité l'adoption de systèmes neurosymboliques. Ces systèmes visent à atténuer les hallucinations et les biais des LLM en utilisant la logique formelle (par exemple, la logique du premier ordre - FOL) pour valider les déclarations. Le principe sous-jacent est que si une affirmation peut être déduite de manière valide à partir de prémisses vérifiées selon des règles de logique formelle, elle est considérée comme fiable.

Cependant, les auteurs identifient une cécité critique dans cette approche : la validité logique formelle ne correspond pas nécessairement à la vérité factuelle ou à l'absence de tromperie dans un contexte humain.

• Le cœur du problème : Il existe un écart systématique entre les inférences que les humains font naturellement (basées sur la pragmatique, le contexte et les modèles mentaux) et les opérations de la logique formelle.
• Conséquence : Une conclusion peut être logiquement valide (déduite correctement de prémisses vraies) mais systématiquement trompeuse pour un lecteur humain, car elle induit des inférences implicites non étayées par les faits.

2. Méthodologie et Approche Théorique

L'article ne propose pas de nouveau modèle d'entraînement, mais une analyse conceptuelle et typologique fondée sur la science cognitive et la linguistique pragmatique.

• Analyse de la divergence : Les auteurs examinent comment les humains interprètent les énoncés complexes (conjonctions, disjonctions, conditionnels) différemment de la logique formelle.
• Typologie des cas d'échec : Ils construisent une typologie de situations où la logique formelle produit des conclusions valides mais qui déclenchent des inférences humaines non fondées. Cette analyse s'appuie sur des théories telles que :
  • La théorie des modèles mentaux (Johnson-Laird) : Les humains représentent les disjonctions ("A ou B") comme une conjonction de possibilités par défaut.
  • Les maximes conversationnelles de Grice (Quantité, Qualité) : Les humains interprètent les conditionnels comme des biconditionnels ("si et seulement si") et infèrent des causalités ou des séquences temporelles là où la logique formelle n'en impose pas.
• Étude de cas (Tableau 1) : Les auteurs illustrent leur propos avec des exemples concrets :
  • Introduction de la disjonction : Si "Les tarifs augmenteront de 10%" est vrai, la logique valide "Les tarifs augmenteront de 10% ou 100%". Cependant, un humain infère à tort qu'il est possible que l'augmentation soit de 100%, ce qui est trompeur.
  • Conditionnels (Perfection conditionnelle) : Un humain interprète souvent "Si A, alors B" comme "Si et seulement si A, alors B", créant une implication inverse fausse que la logique formelle ne détecte pas.

3. Contributions Clés

L'article apporte trois contributions majeures au domaine de la vérification des faits et de l'IA neurosymbolique :

1. Refutation de la validité logique comme critère de fiabilité : Les auteurs démontrent que la validité logique formelle est un critère insuffisant pour détecter la désinformation, car elle échoue à capturer les "demi-vérités" et les implications trompeuses qui sont acceptées par les humains.
2. Repositionnement des tendances des LLM : Ils proposent de considérer les tendances de raisonnement "humaines" des LLM non plus comme des bugs (erreurs de logique), mais comme des fonctionnalités. Ces modèles sont capables de prédire les inférences intuitives (même si elles sont logiquement invalides) que les humains accepteraient.
3. Proposition d'une approche complémentaire : Au lieu d'utiliser la logique formelle pour contraindre les LLM, les auteurs suggèrent d'utiliser les LLM pour valider les sorties des composants formels. Les LLM devraient être utilisés pour détecter si une conclusion logiquement valide induit une inférence trompeuse pour un lecteur humain.

4. Résultats et Arguments Principaux

Bien qu'il s'agisse d'un article de position (théorique), les "résultats" sont les conclusions déduites de l'analyse des cas :

• Échec structurel des systèmes actuels : Les systèmes qui rejettent uniquement les affirmations logiquement invalides laisseront passer des déclarations factuellement vraies mais sémantiquement trompeuses (ex: l'exemple des tarifs douaniers).
• Limites des contre-arguments :
  • L'ajout d'un critère auxiliaire "X" risque de générer des faux positifs en rejetant des inférences intuitives acceptables.
  • L'hypothèse que les acteurs malveillants n'utilisent pas de logique complexe est fausse ; les LLM peuvent générer des énoncés formellement valides pour contourner les filtres.
  • La transparence des traces de déduction ne résout pas le problème, car les utilisateurs finaux ne peuvent pas toujours interpréter la logique formelle, et les LLM utilisés pour expliquer ces traces doivent eux-mêmes comprendre la pragmatique humaine.

5. Signification et Implications

Cet article remet en question le paradigme dominant de la vérification des faits assistée par la logique formelle et propose un changement de direction fondamental :

• Pour la recherche sur le raisonnement des LLM : Il faut étudier les modèles non seulement pour leur capacité à éviter les erreurs humaines, mais aussi pour leur capacité à modéliser le raisonnement humain. Un LLM idéal pour la vérification des faits doit être capable de simuler ce qu'un humain croirait ou inférerait, même si cela contredit la logique stricte.
• Pour l'optimisation des modèles : Les objectifs d'entraînement ne devraient pas forcer une conformité stricte à la logique formelle, car cela supprimerait la sensibilité pragmatique nécessaire pour détecter la désinformation subtile.
• Pour les systèmes neurosymboliques : L'architecture future devrait inverser la hiérarchie de validation : utiliser la logique pour vérifier les faits bruts, mais utiliser les LLM (avec leurs biais cognitifs humains) pour auditer la lisibilité et la non-tromperie des conclusions dérivées par la logique.

En résumé, l'article plaide pour une approche où la validité pragmatique (ce qui est acceptable pour l'esprit humain) prime sur la validité formelle dans le contexte de la détection de la désinformation.