Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions

1. Problématique et Contexte

Les modèles de langage larges (LLMs) utilisent couramment la méthode Chain-of-Thought (CoT) pour résoudre des tâches complexes en décomposant le problème en étapes intermédiaires de raisonnement. Cependant, cette approche présente deux limites majeures :

• Biais de contenu : Les explications générées par CoT sont souvent sensibles au contenu sémantique, ce qui réduit leur robustesse et leur fidélité (faithfulness), surtout face à des variations adversaires (ex: permutation des choix de réponse).
• Limites des approches purement symboliques : Pour pallier ces défauts, des travaux récents proposent d'utiliser des formalismes logiques et des solveurs symboliques externes. Toutefois, ces méthodes nécessitent une traduction complète du langage naturel vers un langage formel, créant un goulot d'étranglement en termes d'efficacité, de flexibilité et de coût computationnel.

L'objectif de cet article est de trouver un compromis optimal entre la flexibilité du langage naturel et la rigueur du raisonnement symbolique, sans exiger une formalisation complète et coûteuse.

2. Méthodologie : QuaSAR

Les auteurs proposent QuaSAR (Quasi-Symbolic Abstract Reasoning), une variation du CoT qui guide les LLMs pour opérer à un niveau d'abstraction supérieur via des explications "quasi-symboliques". L'idée centrale est de désenchevêtrer le contenu factuel du raisonnement logique en intégrant des éléments symboliques au sein du langage naturel.

Le processus de QuaSAR se déroule en quatre étapes structurées (illustrées dans la Figure 1 de l'article) :

1. Abstraction (s1) : Le modèle identifie et extrait les prédicats, variables et constantes pertinents du problème (qu'ils soient numériques ou verbaux). Cette étape isole la structure logique du contenu sémantique.
2. Formalisation (s2) : Le problème est reformulé en une représentation semi-structurée, mélangeant des expressions symboliques et du langage naturel. Cela permet de traduire les termes concrets en symboles pour minimiser les ambiguïtés sans perdre les nuances importantes.
3. Explication (s3) : Le modèle résout le problème en suivant une chaîne de raisonnement basée sur la structure symbolique définie précédemment. Cela réduit les risques d'erreurs dues aux connaissances contextuelles implicites ou aux relations logiques non explicites.
4. Réponse (s4) : Génération d'une solution finale dans un format strict et concis (ex: "The answer is: [nombre]").

Deux modes d'application :

• Apprentissage en contexte (In-Context Learning - ICL) : Utilisation directe des instructions QuaSAR pour guider des modèles de grande taille (ex: GPT-4o).
• Construction de démonstrations synthétiques : Utilisation de modèles puissants (GPT-4o) pour générer des exemples de raisonnement via QuaSAR, qui servent ensuite à affiner (fine-tuning) des modèles plus petits (ex: Llama-3-8B, Qwen-7B).

3. Contributions Clés

1. Cadre Hybride Innovant : QuaSAR est la première méthode à appliquer systématiquement des démonstrations quasi-symboliques pour un large éventail de tâches de raisonnement, permettant la coexistence d'abstractions symboliques et d'explications en langage naturel.
2. Amélioration de la Robustesse et de la Fidélité : En structurant le raisonnement, QuaSAR atténue les biais de contenu et améliore la vérifiabilité des étapes intermédiaires.
3. Efficacité et Évolutivité : Contrairement aux approches nécessitant des solveurs externes, QuaSAR opère via une seule étape de prompt (ou un fine-tuning), réduisant les coûts et la complexité d'infrastructure tout en maintenant une haute performance.
4. Transfert de Compétences : La méthode démontre qu'il est possible d'améliorer significativement les capacités de raisonnement de modèles plus petits en les entraînant sur des démonstrations générées par des modèles plus grands utilisant QuaSAR.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles (GPT-4o, Llama-3, Qwen-2) et des benchmarks variés incluant des tâches mathématiques (GSM8K, SVAMP, AQuA, Olympiades), de compréhension naturelle (MMLU-Redux, DROP, GPQA) et des tâches symboliques (GSM-Symbolic).

• Performance Globale : QuaSAR surpasse les méthodes de base (CoT standard, CoMAT, Faithful CoT). Sur GPT-4o, il apporte une augmentation moyenne de 8 % de précision par rapport au CoT standard.
• Robustesse Adversaire : Sur des tâches perturbées (ex: permutation des choix dans MMLU-Redux ou variations lexicales dans GSM-Symbolic), QuaSAR maintient une stabilité bien supérieure. Par exemple, sur GSM-Symbolic avec GPT-4o, la baisse de performance est de seulement 1,2 % avec QuaSAR contre 4,7 % avec le CoT.
• Impact sur les Modèles Plus Petits :
  • En mode ICL pur, les modèles plus petits (ex: Llama-3-1B) peinent parfois à suivre la complexité du processus quasi-symbolique sans ajustement.
  • En revanche, lorsque QuaSAR est utilisé pour générer des données d'entraînement (SFT), les modèles plus petits montrent des gains massifs, surpassant souvent les modèles instructés avec des démonstrations CoT classiques.
• Analyse d'Ablation : L'étude montre que les étapes de Formalisation (s2) et d'Explication (s3) sont les plus critiques pour la performance. L'élimination de ces étapes entraîne une chute significative de la précision.
• Auto-correction : Les sorties générées par QuaSAR sont plus faciles à corriger pour les modèles eux-mêmes ou pour d'autres LLMs, car la structure logique explicite permet d'identifier plus facilement l'origine de l'erreur (ex: erreur de substitution dans une équation).

5. Signification et Conclusion

Ce travail démontre que l'intégration d'abstractions symboliques au sein du langage naturel (approche "quasi-symbolique") est une voie prometteuse pour améliorer le raisonnement des LLMs.

• Impact Scientifique : QuaSAR propose une alternative efficace aux approches purement symboliques (trop rigides) et purement textuelles (trop sujettes aux biais). Il valide l'hypothèse que la structure logique explicite, même partiellement symbolique, améliore la fiabilité du raisonnement.
• Implications Pratiques : La méthode offre une solution scalable pour améliorer les capacités de raisonnement de modèles de toutes tailles, en particulier pour les tâches nécessitant une grande précision mathématique ou une résistance aux variations adverses. Elle ouvre également la voie à une meilleure interprétabilité des processus de décision des IA.

En résumé, QuaSAR représente une avancée significative vers des LLMs plus robustes, fiables et capables de généraliser leur raisonnement au-delà des simples associations statistiques de mots.