Explanation Generation for Contradiction Reconciliation with LLMs

1. Problématique et Contexte

Les travaux existants en Traitement du Langage Naturel (NLP) traitent généralement les contradictions entre deux énoncés comme des erreurs à résoudre en choisissant quel énoncé accepter ou rejeter (arbitrage). Cependant, dans le raisonnement humain (interactions sociales, domaines professionnels, enquête scientifique), la capacité à hypotheser des explications qui réconcilient des apparences contradictoires est fondamentale.

• Exemple : "Cassie déteste le café" et "Elle achète du café tous les jours" semblent contradictoires. Une explication réconciliatrice serait : "C'est sa tâche quotidienne d'acheter du café pour tous ses collègues."
• Le vide de recherche : Malgré les capacités croissantes des Grands Modèles de Langage (LLM), leur aptitude à générer de telles explications réconciliatrices reste largement inexplorée. La recherche actuelle se concentre sur la détection et l'arbitrage des conflits, négligeant la génération d'explications abductives qui rendent les observations compatibles.

2. Méthodologie

Les auteurs proposent une nouvelle tâche appelée Génération d'Explications Réconciliatrices (REG - Reconciliatory Explanation Generation).

A. Formulation de la tâche

Étant donné une prémisse ($P$) et une hypothèse ($H$) jugées contradictoires par un modèle juge ($M_{NLI}$), le modèle générateur ($M_{expl}$) doit produire une explication ($E$) telle que :

1. Efficacité : La prémisse combinée à l'explication ($P + E$) entraîne logiquement l'hypothèse ($H$).
2. Cohérence : La prémisse ($P$) et l'explication ($E$) ne se contredisent pas mutuellement.

B. Construction du Dataset (Curation)

Au lieu de créer un nouveau dataset coûteux, les auteurs réutilisent des données existantes de Natural Language Inference (NLI) :

• Source : Un sous-ensemble de MultiNLI ré-annoté par ChaosNLI (100 annotateurs humains par instance).
• Sélection : Ils ne retiennent que les instances étiquetées majoritairement comme "Contradiction" par les humains, mais où il existe un désaccord notable (aucune instance n'est unanimement jugée contradictoire, la moyenne étant de 62 %).
• Philosophie : Le désaccord humain est traité comme une fonctionnalité (une opportunité de réconciliation) plutôt que comme un bug.

C. Évaluation Automatique et Métriques

Pour éviter les biais et les coûts de l'annotation humaine, l'évaluation est entièrement automatisée via des modèles juges NLI (LLM) :

• Juges : 9 modèles LLM sélectionnés pour leur précision sur les tâches NLI.
• Métriques :
  • Efficacité : $M_{NLI}(P + E, H) = \text{Entailment}$ (Enchaînement).
  • Cohérence : $M_{NLI}(P, E) \neq \text{Contradiction}$ ET $M_{NLI}(E, P) \neq \text{Contradiction}$.
  • Succès global : Combinaison des deux critères ci-dessus.

D. Expérimentation

• Modèles testés : 18 LLMs variés (Qwen3, Llama-3, Olmo-3, DeepSeek, GPT-5), incluant des versions "Instruct" (non-réfléchies) et "Thinking" (avec chaîne de pensée).
• Protocole : Génération d'explications pour 275 instances de contradictions, suivie de l'évaluation par les 9 juges.

3. Résultats Clés

Les expériences révèlent plusieurs insights sur les capacités actuelles des LLMs :

1. Performance Globale Limitée : La plupart des modèles obtiennent un taux de succès global faible. Les modèles propriétaires (GPT-5-mini, GPT-5.2) surpassent nettement les modèles open-weight, atteignant respectivement 40,25 % et 31,56 % de succès, contre 26,20 % pour le meilleur modèle open-weight (Llama-3.3-70B).
2. Cohérence vs Efficacité :
   • Les modèles sont généralement bons pour générer des explications cohérentes (qui ne contredisent pas la prémisse).
   • Ils échouent souvent à générer des explications efficaces (qui permettent de déduire l'hypothèse).
3. L'effet du "Thinking" (Réflexion) :
   • Paradoxe de la taille : Pour les modèles de taille moyenne (ex: Qwen3-4B, 8B), activer le mode "Thinking" améliore significativement l'efficacité.
   • Plafonnement (Plateau) : Pour les très grands modèles (ex: Qwen3-32B, Olmo-32B), l'ajout de temps de calcul "réfléchi" n'apporte plus d'amélioration, voire dégrade les performances. Cela suggère que les grands modèles ont la capacité de récupérer l'information mais sont bloqués dans l'utilisation de cette connaissance pour générer une explication réussie.
   • Dégradation de la cohérence : Le mode "Thinking" tend à réduire la cohérence des explications, car les modèles peuvent parfois valider des explications incohérentes après une longue chaîne de raisonnement erronée.
4. Corrélation avec la difficulté humaine : Il existe une corrélation négative faible mais significative entre la proportion d'annotateurs humains jugeant une paire comme contradictoire et le taux de succès des modèles. Plus les humains trouvent difficile de réconcilier les énoncés, plus les modèles échouent.

4. Contributions Principales

1. Nouvelle Tâche (REG) : Introduction de la génération d'explications réconciliatrices comme un nouveau benchmark pour évaluer le raisonnement abductif des LLMs.
2. Cadre de Curation de Données : Méthode scalable pour réutiliser les datasets NLI existants en exploitant les désaccords humains, éliminant le besoin d'annotations supplémentaires.
3. Métriques d'Évaluation Automatique : Proposition de métriques basées sur les jugements NLI standard (Entailment/Contradiction) permettant une évaluation à grande échelle sans biais d'annotation humaine.
4. Analyse Empirique : Identification des limites actuelles des LLMs, notamment le plafonnement des gains de performance par le "thinking" à mesure que la taille du modèle augmente.

5. Signification et Implications

Ce travail met en lumière une dimension sous-exploitée du raisonnement des LLMs : la capacité à naviguer dans l'ambiguïté et à construire des contextes qui rendent des faits apparemment incompatibles compatibles.

• Applications : Améliorer les chatbots (pour gérer les malentendus sans simplement rejeter l'utilisateur), les assistants scientifiques (pour formuler des hypothèses face à des données paradoxales) et les outils juridiques (interprétation harmonieuse des textes).
• Limites et Avenir : Les auteurs notent que les explications générées ne sont pas toujours ancrées dans des faits externes (grounding) et que la tâche se limite actuellement à de courts énoncés. De futures recherches devront explorer la génération d'hypothèses multiples, la diversité des explications et l'extension à des contextes documentaires plus longs.

En conclusion, bien que les LLMs actuels montrent des signes de raisonnement, leur capacité à générer des explications réconciliatrices robustes reste un défi majeur, nécessitant de nouvelles stratégies d'entraînement et d'inférence au-delà de la simple augmentation de la taille des modèles ou du temps de calcul.