Self-Consistency from Only Two Samples: CoT-PoT Ensembling for Efficient LLM Reasoning

1. Problématique

Les modèles de langage (LLM) souffrent souvent d'erreurs de raisonnement lors de tâches complexes. La technique de cohérence automatique (Self-Consistency ou SC) a été proposée pour améliorer la précision en générant plusieurs chemins de raisonnement (échantillons) pour une même question et en sélectionnant la réponse la plus fréquente (vote majoritaire).

Cependant, cette méthode présente un coût computationnel élevé, nécessitant souvent 40 échantillons ou plus pour atteindre une performance optimale. Les méthodes existantes visant à réduire ce nombre (comme la cohérence adaptative ou l'arrêt précoce basé sur des fenêtres de vote) restent coûteuses (nécessitant généralement au moins 4 à 5 échantillons) et n'atteignent pas toujours la précision de l'échantillonnage complet.

Le défi principal est donc de concevoir une méthode qui améliore à la fois la précision et l'efficacité (réduction drastique du nombre d'appels au modèle) de la cohérence automatique, idéalement en permettant de résoudre la majorité des problèmes avec seulement deux échantillons.

2. Méthodologie : Ensembling Hybride CoT-PoT

Les auteurs proposent une approche novatrice qui combine deux modes de raisonnement distincts et complémentaires :

• Chain-of-Thought (CoT) : Raisonnement en langage naturel, étape par étape.
• Program-of-Thought (PoT) : Raisonnement symbolique où le modèle génère du code (Python) pour exécuter les calculs.

L'idée centrale est que ces deux modalités ont des modes d'erreur différents (le CoT fait souvent des erreurs de calcul arithmétique, tandis que le PoT peut faire des erreurs de formulation symbolique ou de logique). Leur accord mutuel constitue donc un signal de confiance beaucoup plus fort que l'accord entre plusieurs échantillons CoT identiques.

La méthodologie se divise en deux stratégies :

A. Échantillonnage Complet (Full Sampling)

Pour un budget d'échantillonnage fixe (ex: 40), le modèle génère un nombre égal de réponses CoT et PoT. Trois stratégies d'agrégation sont proposées :

1. CPMaj (Majorité globale) : Vote majoritaire sur l'ensemble des réponses CoT et PoT combinées.
2. CPMax (Confiance par modalité) : Sélection de la réponse la plus fréquente au sein de la modalité (CoT ou PoT) qui a la fréquence la plus élevée.
3. CPAgr (Priorité à l'accord inter-modalité) : Les réponses apparaissant à la fois dans CoT et PoT sont prioritaires, suivies d'un vote majoritaire pour les égalités.

B. Stratégies d'Arrêt Précoce (Early Stopping)

C'est la contribution majeure de l'article. Au lieu de générer un grand nombre d'échantillons, la méthode alterne la génération d'une réponse CoT et d'une réponse PoT.

• Principe : Dès qu'il y a accord entre une réponse CoT et une réponse PoT, l'échantillonnage s'arrête.
• Modèle Bayésien : Les auteurs formalisent cet arrêt via un modèle bayésien qui calcule la probabilité qu'une réponse soit "sûre" (correcte ou que l'échantillonnage complet échouerait aussi) étant donné l'accord observé.
• Variantes :
  • Data-independent (Heuristiques) : Comme CPAA (arrêt dès qu'un accord quelconque CoT-PoT est trouvé) ou CPFF (accord strict entre les deux premiers échantillons à température 0).
  • Data-driven : Estimation des paramètres de probabilité (sécurité, accord) à partir de données d'entraînement pour affiner le seuil d'arrêt.
• Intégration de la cohérence adaptative : Un test de majorité parallèle (Beta-stopping) est inclus pour gérer les cas où un mode domine fortement même sans accord immédiat avec l'autre.

3. Contributions Clés

1. Nouvelle approche de cohérence : Introduction d'un ensembling hybride CoT-PoT qui exploite la diversité sémantique entre le langage naturel et le code.
2. Modèle théorique : Développement d'un modèle bayésien général pour l'accord inter-modalité, permettant de dériver des stratégies d'arrêt précoce optimisées.
3. Efficacité sans précédent : Démonstration qu'il est possible d'atteindre une haute précision avec seulement deux échantillons (un CoT + un PoT) pour la majorité des tâches, ce qui n'avait jamais été réalisé par les méthodes précédentes.
4. Évaluation exhaustive : Tests sur 5 benchmarks (GSM8K, MATH, FinQA, SVAMP, TabMWP) et 5 modèles LLM (GPT-3.5, GPT-4o, Mistral, Qwen, DeepSeek-R1), incluant une étude de cas sur un petit modèle (Llama 3B) avec bootstrapping de PoT.

4. Résultats Expérimentaux

• Précision : La méthode CoT-PoT (notamment CPMax en échantillonnage complet) surpasse systématiquement les méthodes SC classiques (CoT-only ou PoT-only) et les méthodes d'arrêt précoce existantes (ASC, ESC). L'amélioration moyenne de précision est d'environ 1,1 %.
• Efficacité (Réduction des échantillons) :
  • La méthode d'arrêt précoce la plus efficace (CPAA) réduit le nombre d'échantillons nécessaires d'un facteur 9,3x par rapport à l'échantillonnage complet standard (40 échantillons).
  • En comparaison, les meilleures méthodes d'arrêt précoce précédentes ne réduisaient le coût que d'un facteur 5,6x.
• Cas des deux échantillons : 78,6 % des tâches peuvent être résolues avec seulement 2 échantillons (un CoT et un PoT) grâce à l'accord immédiat. Pour certains modèles puissants (comme DeepSeek-R1), ce taux dépasse 90 %.
• Robustesse : L'accord CoT-PoT est un signal de confiance bien plus fort que l'accord intra-modalité (deux échantillons CoT), car les erreurs des deux modes sont peu corrélées.
• Étude de cas (Llama 3B) : Même sur un petit modèle avec des capacités PoT faibles, l'utilisation de techniques de bootstrapping (génération de PoT à partir de CoT) permet d'améliorer significativement les performances, validant la généralité de l'approche.

5. Signification et Limites

Signification :
Ce travail démontre que la diversité des chemins de raisonnement est plus cruciale que la simple quantité d'échantillons. En combinant des modalités hétérogènes (langage vs code), on obtient une robustesse accrue avec un coût computationnel minimal. Cela ouvre la voie à des applications LLM plus économes en énergie et en temps de calcul, tout en maintenant une haute fiabilité pour les tâches de raisonnement complexe.

Limites :

• Applicabilité : La méthode est optimale pour les tâches exprimables en programme (mathématiques, algorithmes). Pour des tâches purement sémantiques ou subjectives (QA long, raisonnement créatif), le canal PoT apporte moins de signal.
• Accord erroné : Bien que rare, il existe des cas où CoT et PoT s'accordent sur une mauvaise réponse (ex: mauvaise interprétation sémantique du problème, erreurs de bornes). Cependant, ces cas sont souvent ceux où l'échantillonnage complet échouerait aussi.
• Dépendance initiale : Le bootstrapping de PoT sur de petits modèles nécessite que le modèle ait une capacité minimale de génération de code.

En conclusion, cette recherche propose un changement de paradigme pour l'inférence des LLM : passer d'une accumulation massive d'échantillons identiques à une synergie stratégique entre modalités, permettant de résoudre la majorité des problèmes de raisonnement avec une efficacité inégalée.