Does More Deliberation Help? A Comparative Evaluation of Chain-of-Thought Prompting Strategies for Grade-School Math Reasoning in Open-Source Instruction-Tuned Language Models
Cet article démontre empiriquement que pour les modèles à poids ouverts de petite taille (3,8–8B) ajustés pour l'instruction et résolvant des problèmes de mathématiques de niveau primaire, le prompting de type « Chain-of-Thought » en mode few-shot surpasse de manière significative les bases de référence en zero-shot, tandis que des stratégies de délibération plus complexes telles que la cohérence de soi (self-consistency) et l'arbre de pensée (tree-of-thought) ne parviennent pas à apporter d'améliorations de précision statistiquement fiables par rapport aux méthodes plus simples.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle en évolution rapide, les chercheurs cherchent depuis longtemps un moyen de faire en sorte que les programmes informatiques pensent davantage comme les humains, particulièrement lorsqu'il s'agit de résoudre des problèmes qui nécessitent une séquence d'étapes logiques. Pendant des années, l'approche standard consistait à soumettre à ces systèmes une question directe et à attendre une réponse, mais cela entraînait souvent des erreurs d'arithmétique et de logique. Une percée s'est produite lorsque les scientifiques ont réalisé que si les modèles rédigeaient d'abord leur processus de pensée — montrant leur travail avant d'énoncer une conclusion — leur précision s'améliorait considérablement. Cette technique, connue sous le nom de « chain-of-thought prompting » (incitation par chaîne de pensée), est devenue une pierre angulaire pour amener les machines à raisonner. Cependant, alors que ces outils sont passés de supercalculateurs massifs et coûteux à des versions plus petites et plus abordables que les individus et les entreprises peuvent faire fonctionner sur leurs propres appareils, une question critique a émergé : les astuces de raisonnement les plus complexes et les plus gourmandes en ressources fonctionnent-elles toujours, ou ajoutent-elles simplement un coût inutile sans améliorer le résultat ?
Une étude récente s'est donné pour mission de répondre à cette question en mettant à l'épreuve quatre stratégies de raisonnement différentes sur trois modèles de langage populaires et de plus petite échelle. Les chercheurs se sont concentrés sur un test de référence de cent problèmes mathématiques de niveau primaire, un ensemble d'énigmes conçues pour être simples pour les humains mais difficiles pour les ordinateurs qui sautent des étapes. Ils voulaient voir si les modèles performaient mieux lorsqu'on leur demandait simplement de réfléchir étape par étape, lorsqu'on leur montrait quelques exemples de résolution de problèmes similaires, lorsqu'on leur demandait de générer plusieurs réponses possibles et de voter pour la meilleure, ou lorsqu'on les forçait à explorer un arbre de branchements de différentes idées avant de se décider sur une solution. L'objectif était de déterminer quelle méthode offrait le meilleur équilibre entre précision et efficacité pour le type de modèles qui deviennent courants dans les applications quotidiennes.
L'enquête a révélé une hiérarchie d'efficacité claire et quelque peu surprenante. L'outil le plus puissant s'est avéré être la forme la plus simple de présentation d'exemples. Lorsque les modèles recevaient quelques problèmes résolus pour les étudier avant de tenter de répondre aux questions du test, leur précision bondissait de manière significative par rapport au fait d'être simplement invités à réfléchir attentivement. Cette amélioration était constante sur les trois modèles testés, les taux de réussite augmentant jusqu'à quarante points de pourcentage dans certains cas. Les données ont montré que voir un exemple concret de la manière de décomposer un problème était bien plus précieux que n'importe quelle quantité d'instruction abstraite ou de délibération interne.
En revanche, les stratégies plus élaborées impliquant la génération de multiples chemins de raisonnement n'ont pas apporté les bénéfices attendus. Une approche, qui demande au modèle de générer trois solutions différentes et de choisir la réponse la plus commune, n'a pas réussi à battre la méthode de l'exemple unique. Bien que cette technique soit connue pour aider les modèles plus grands et plus puissants, l'étude a constaté que pour ces systèmes plus petits, l'effort supplémentaire de génération de multiples réponses ne se traduisait pas par une amélioration statistiquement fiable de l'exactitude. Les chercheurs ont noté que les modèles ne commettaient pas assez d'erreurs diverses pour qu'un vote puisse les corriger, ce qui signifie que la puissance de calcul supplémentaire dépensée pour cette méthode était largement gaspillée.
Plus frappant encore fut la performance de la stratégie « tree-of-thought » (arbre de pensée), une méthode complexe où le modèle est encouragé à explorer différents embranchements de pensée, à les évaluer et à revenir en arrière si un chemin mène à une impasse. Cette technique avait précédemment montré de grandes promesses pour les énigmes difficiles nécessitant d'anticiper ou d'essayer plusieurs possibilités. Cependant, sur ces problèmes arithmétiques simples, elle n'a pas été plus performante que la méthode de base consistant à simplement demander au modèle de réfléchir étape par étape sans aucun exemple. Dans deux des trois modèles testés, cette méthode de recherche complexe a même été moins performante que l'approche basée sur des exemples simples. L'étude suggère que pour les problèmes mathématiques courts et linéaires, la charge de travail liée à l'exploration de multiples branches est un fardeau que les modèles ne peuvent justifier, car les problèmes ne nécessitent pas le type d'exploration profonde que cette stratégie fournit.
Les conclusions offrent un guide pratique pour ceux qui utilisent ces technologies. La recherche indique que pour les petits modèles open-source s'attaquant à l'arithmétique standard, la voie la plus efficace n'est pas d'ajouter des mécanismes de raisonnement plus complexes ou de forcer le modèle à réfléchir dans plusieurs directions. Au lieu de cela, le moyen le plus fiable de booster la performance est d'investir du temps dans l'élaboration de quelques exemples de haute qualité qui démontrent la manière correcte de résoudre un problème. Bien que les méthodes plus sophistiquées puissent sembler être un moyen d'obtenir des résultats plus intelligents, les données suggèrent qu'elles ajoutent un coût et un temps considérables sans apporter de gain d'exactitude correspondant pour ce type spécifique de tâche. Pour les praticiens cherchant à déployer ces modèles efficacement, l'étude conclut qu'un exemple bien construit vaut bien plus qu'un algorithme de recherche complexe.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.