Does More Deliberation Help? A Comparative Evaluation of Chain-of-Thought Prompting Strategies for Grade-School Math Reasoning in Open-Source Instruction-Tuned Language Models
Cet article démontre empiriquement que pour les modèles à poids ouverts de petite taille (3,8–8B) ajustés pour l'instruction et résolvant des problèmes de mathématiques de niveau primaire, le prompting de type « Chain-of-Thought » en mode few-shot surpasse de manière significative les bases de référence en zero-shot, tandis que des stratégies de délibération plus complexes telles que la cohérence de soi (self-consistency) et l'arbre de pensée (tree-of-thought) ne parviennent pas à apporter d'améliorations de précision statistiquement fiables par rapport aux méthodes plus simples.