Funnel of Thoughts: Efficient Test-Time Scaling via Early Voting and Rollout Pruning

L'intelligence artificielle moderne a atteint un stade où ses modèles de raisonnement les plus puissants ne se contentent pas de donner une réponse unique à une question difficile. Au lieu de cela, ils génèrent de longues chaînes de pensée sinueuses, explorant plusieurs chemins vers une solution avant de s'arrêter sur une conclusion finale. Ce processus imite la délibération humaine, mais il introduit un défi unique : lorsqu'on pose la même question de manière répétée, ces modèles produisent souvent des réponses différentes, et parfois contradictoires. Pour garantir la fiabilité, les ingénieurs ont adopté une stratégie consistant à demander au modèle de générer de nombreuses tentatives différentes, ou « rollouts », puis à sélectionner la réponse la plus commune parmi elles. Cette méthode, connue sous le nom de vote majoritaire, améliore considérablement la précision sur des tâches complexes comme les mathématiques avancées. Cependant, cela a un coût élevé. Parce que ces chaînes de raisonnement peuvent s'étendre sur des milliers de mots, l'exécution de dizaines d'entre elles simultanément consomme une quantité massive de puissance de calcul. Le coût augmente rapidement à mesure que les chaînes s'allongent, ce qui signifie que la partie la plus coûteuse du processus est souvent la toute fin, là où le modèle peut rester bloqué dans une boucle de l'auto-correction inutile ou d'hésitation.

Une équipe de chercheurs de l'Université de Corée a développé une nouvelle méthode appelée « Funnel of Thoughts » (Entonnoir de Pensées) pour résoudre cette inefficacité sans sacrifier la précision. Leur travail traite d'un problème spécifique : dans un groupe de trente-deux tentatives de raisonnement différentes, certaines sont souvent improductives. Ces tentatives spécifiques ont tendance à s'enfoncer dans des boucles répétitives, questionnant sans fin leur propre logique ou restant bloquées dans des états de « non-réponse », tout en consommant la grande majorité des ressources informatiques. Les chercheurs ont découvert que ces tentatives défaillantes se révèlent par un motif simple et observable dans le texte qu'elles génèrent. Elles utilisent fréquemment des marqueurs d'hésitation spécifiques — des mots et des expressions comme « Attendez », « En fait », « peut-être » ou « Laissez-moi reconsidérer ». En comptant la fréquence d'apparition de ces marqueurs, le système peut identifier quels chemins de raisonnement sont susceptibles d'échouer bien avant qu'ils ne se terminent.

La nouvelle méthode fonctionne en exécutant les trente-deux tentatives en parallèle, comme auparavant, mais elle introduit un « entonnoir » qui rétrécit progressivement le champ. À des points de contrôle spécifiques en cours de route, le système vérifie deux choses. Premièrement, si une tentative a déjà produit une réponse finale claire, elle est immédiatement sauvegardée dans une banque sécurisée, et le système arrête la génération de texte pour cette tentative spécifique. Cela préserve le vote du chemin réussi sans gaspiller davantage d'énergie. Deuxièmement, pour les tentatives encore en cours, le système calcule la densité de ces marqueurs d'hésitation. Si une tentative est remplie de trop nombreux signes d'incertitude, elle est élaguée, ou coupée, précocement. Cela permet au système d'écarter les chemins de raisonnement gaspilleurs tout en conservant les plus productifs qui sont susceptibles de mener à la solution correcte.

Les résultats de cette approche sont substantiels. En utilisant cette méthode, les chercheurs ont été capables de réduire le coût de calcul total, mesuré en opérations d'attention requises par le modèle, de près de la moitié. Dans des tests en conditions réelles sur une seule carte graphique haute performance, cela s'est traduit par une réduction du temps de traitement de plus de trente-sept pour cent. Crucialement, cette efficacité ne s'est pas faite au détriment de la précision. La méthode a maintenu le même haut niveau de correction que l'approche traditionnelle consistant à exécuter les trente-deux tentatives jusqu'à leur terme. En fait, sur certains problèmes difficiles, la nouvelle méthode a même amélioré le résultat final. Cela s'explique par le fait que la méthode traditionnelle permettait parfois à quelques tentatives improductives et répétitives de dominer le vote final simplement parce qu'elles étaient les seules à se terminer, alors que la nouvelle méthode a éliminé ces distractions plus tôt, permettant à la réponse correcte d'émerger plus clairement.

Les chercheurs ont testé cette technique sur six modèles de raisonnement de grande taille différents et sur une variété de bancs d'essai mathématiques exigeants. Ils ont constaté que le signal des marqueurs d'hésitation était constant sur tous les modèles, indépendamment de leur architecture interne ou de leur taille. La méthode s'est également révélée robuste lors de l'application à des tâches en dehors des mathématiques, telles que la réponse à des questions scientifiques complexes ou la génération de code, à condition que le système puisse identifier quand une réponse finale a été atteinte. L'idée clé est que le système n'a pas besoin de comprendre le contenu du raisonnement pour savoir quand s'arrêter ; il a seulement besoin de reconnaître le motif de l'indécision. Cela permet à la méthode de fonctionner sans entraînement supplémentaire ou outils externes complexes, en se basant uniquement sur le texte que le modèle produit déjà.

Ce travail suggère que la partie la plus coûteuse du raisonnement de l'intelligence artificielle est souvent la moins productive. En apprenant à reconnaître les signes précoces d'un blocage du modèle, nous pouvons l'empêcher de gaspiller des ressources sur des chemins qui ne mèneront nulle part. Le « Funnel of Thoughts » démontre qu'il est possible de rendre ces systèmes puissants nettement plus rapides et moins coûteux à exploiter, tout en les gardant tout aussi intelligents. Il offre une manière pratique de passer à l'échelle l'utilisation des modèles de raisonnement avancés, les rendant plus viables pour des applications réelles où la vitesse et le coût sont des facteurs critiques. Les conclusions indiquent que l'avenir d'une IA efficace ne réside peut-être pas dans la construction de modèles plus grands, mais dans des manières plus intelligentes de gérer ceux que nous possédons déjà.