Résumé technique : Au-delà de la critique de sortie : l'auto-correction via la distillation de tâche

Problématique

Les grands modèles de langage (LLM) ont démontré des capacités significatives en matière de raisonnement et de résolution de problèmes ; cependant, ils produisent fréquemment des erreurs allant de l'étape de raisonnement défaillante à des inexactitudes factuelles. Bien que les mécanismes d'auto-correction — où les modèles critiquent et affinent leurs propres sorties — soient apparus comme une solution prometteuse, les approches existantes opèrent principalement au niveau de la critique de la sortie (output critique). Ces méthodes génèrent généralement une réponse, l'évaluent pour détecter des erreurs de surface, et tentent de les colmater. L'article soutient que cette approche est insuffisante pour les tâches complexes (par exemple, le raisonnement mathématique) car elle ne parvient pas à traiter les failles structurelles plus profondes du raisonnement. De plus, les techniques d'auto-correction actuelles dépendent fortement des capacités intrinsèques des modèles à grande échelle, échouant souvent à fournir des améliorations mesurables pour les modèles plus petits et économes en ressources, qui sont largement utilisés en pratique.

Méthodologie

Les auteurs proposent SELF-THOUGHT, un cadre qui introduit une étape intermédiaire d'abstraction de la tâche avant le raffinement de la solution. Contrairement aux méthodes traditionnelles qui critiquent directement la sortie, SELF-THOUGHT sépare la compréhension de la tâche de la génération de la solution. Le processus suit une boucle itérative :

1. Génération initiale : Le modèle génère une réponse initiale ($\hat{y}_0$) basée sur la requête d'entrée ($x$).
2. Abstraction de la tâche (Distillation) : Au lieu de critiquer la réponse, le modèle agit comme un « méta-distillateur ». Il analyse la requête d'entrée et la réponse initiale pour extraire un modèle de tâche structuré ($d$). Ce modèle capture explicitement :
   • Les variables clés et les points de données.
   • Les contraintes et restrictions du problème (par exemple, règles mathématiques, lois physiques).
   • La structure sous-jacente du problème et la logique de décision.
   • Les formats de sortie attendus.
   • (Optionnellement) Une transformation du problème en une structure programmatique ou algorithmique.
3. Instanciation de la solution : Le modèle utilise le modèle distillé ($d$) comme un guide structuré pour instancier une solution raffinée ($\hat{y}_{t+1}$). Le modèle ancre le processus de raisonnement, garantissant que la nouvelle solution respecte les contraintes et la structure identifiées.

Extension aux modèles plus petits : DISTIL-THOUGHT

Reconnaissant que les modèles plus petits peuvent avoir du mal à générer eux-mêmes des abstractions de haute qualité, les auteurs introduisent DISTIL-THOUGHT. Dans cette variante, un modèle plus grand et plus capable ($M_L$) effectue l'abstraction de la tâche pour générer le modèle structuré ($d_L$). Ce modèle est ensuite réutilisé par un modèle plus petit ($M_S$) pour guider son instanciation de solution. Cela permet aux modèles plus petits de bénéficier des stratégies de raisonnement structurées des modèles plus grands sans nécessiter de vérificateurs externes ou de réglage fin (fine-tuning) coûteux.

Contributions clés

1. Passage de la critique à l'abstraction : L'article recadre l'auto-correction comme un processus de « réflexion sur la tâche » plutôt que de « correction de la réponse ». En formalisant la structure du problème avant de le résoudre, la méthode réduit la propagation des erreurs et conduit à des corrections plus robustes.
2. Évolutivité via la distillation : Le travail démontre que les abstractions de tâches peuvent être transférées entre différentes échelles de modèles. Les modèles distillés provenant de modèles plus grands servent de guides structurés efficaces pour les modèles plus petits, leur permettant d'atteindre une auto-correction fiable là où les méthodes intrinsèques échouent.
3. Légèreté et absence de formation : L'approche ne nécessite aucune donnée d'entraînement supplémentaire ni de réglage fin. Elle repose uniquement sur l'ingénierie de prompt pour guider le modèle à travers l'abstraction et l'instanciation, offrant une voie évolutive pour améliorer le raisonnement à travers diverses tailles de modèles.

Résultats expérimentaux

Les auteurs ont évalué SELF-THOUGHT et DISTIL-THOUGHT sur un ensemble diversifié de benchmarks de raisonnement, incluant Game of 24, Word Sorting, CheckmateInOne, AIME 2024 et AIME 2025, en utilisant des modèles allant de GPT-4O-MINI et O3-MINI à des modèles open-source comme QWEN-2.5-7B et LLAMA-3.3-70B.

• Performance sur les grands modèles : SELF-THOUGHT a systématiquement surpassé les méthodes de base d'auto-correction (par exemple, SELF-REFINE, SELF-TICK, REFLEXION). Par exemple, sur GPT-4O-MINI, il a obtenu une amélioration de 126,30 % sur Game of 24 et une amélioration de 199,85 % sur AIME 2025 par rapport aux tentatives initiales. Crucialement, il a maintenu une grande stabilité, ne convertissant que rarement des réponses initiales correctes en réponses incorrectes (faible $\Delta_{c \to i}$), alors que les méthodes de base dégradaient souvent les performances.
• Performance sur les petits modèles : Les méthodes de base ont souvent dégradé les performances des petits modèles. En revanche, DISTIL-THOUGHT a produit des gains substantiels. Sur QWEN-2.5-7B, il a amélioré la précision moyenne de 154,54 %, et sur LLAMA-3.3-70B, il a atteint une amélioration de 121,42 %.
• Comparaison avec l'échantillonnage : La méthode a surpassé la SELF-CONSISTENCY (une base de comparaison par échantillonnage utilisant le vote majoritaire) sur la plupart des tâches, particulièrement sur les benchmarks lourds en raisonnement, démontrant qu'une distillation de tâche structurée est plus efficace que le simple échantillonnage pour améliorer les réponses finales.
• Études d'ablation : Les expériences ont confirmé que les gains ne sont pas simplement dus au prompting multi-étapes ou à la summarisation. Les variantes ayant supprimé l'étape explicite de distillation de tâche (par exemple, Thought-First, Self-Summary) ont obtenu des résultats nettement inférieurs, validant la nécessité de l'étape d'abstraction structurée.

Signification et affirmations

L'article affirme que SELF-THOUGHT offre une alternative évolutive et efficace aux méthodes actuelles d'auto-correction basées sur le prompting ou le réglage fin. En isolant l'abstraction de la tâche de la force du prompt, les auteurs fournissent une preuve empirique que les représentations de tâches explicitement distillées agissent comme des interfaces de contrôle efficaces pour le raisonnement en aval.

La portée de ce travail réside dans sa capacité à :

• Améliorer la fiabilité de l'auto-correction pour les LLM de pointe et les modèles plus petits.
• Combler l'écart entre les capacités de raisonnement des grands et des petits modèles grâce au transfert de connaissances via des modèles structurés.
• Offrir un mécanisme léger qui ne dépend pas d'outils externes ou d'un entraînement coûteux, ce qui le rend adapté aux environnements à ressources limitées.

Les auteurs concluent que, bien que les techniques d'auto-correction actuelles échouent souvent à détecter les erreurs de raisonnement plus profondes, l'introduction d'une phase d'abstraction structurée permet aux modèles d'ancrer leurs raffinements dans une compréhension plus claire du problème, menant à des systèmes de raisonnement plus fiables et généralisables.