Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation
Cet article présente une méthode pour entraîner des modèles de langage de raisonnement à allouer de manière adaptative le calcul au moment du test en apprenant à choisir entre les modes de raisonnement « NoThink », « Short » et « Long » via l'optimisation de politique relative de groupe (Group Relative Policy Optimization), atteignant une réduction significative du nombre de jetons tout en maintenant ou en améliorant la précision sur divers benchmarks.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les modèles de langage de grande taille sont devenus remarquablement habiles à résoudre des problèmes complexes, souvent en décomposant une question en une longue série d'étapes intermédiaires, tout comme un humain travaillant sur un problème mathématique difficile sur une feuille de papier. Cette approche étape par étape, connue sous le nom de raisonnement par chaîne de pensée (chain-of-thought), permet à ces systèmes d'atteindre des niveaux de précision élevés dans les tâches impliquant les mathématiques et le codage. Cependant, cette capacité s'accompagne d'un coût important : les modèles génèrent souvent beaucoup plus de texte que nécessaire, consommant ainsi de vastes quantités de puissance de calcul et de temps. Même lorsqu'un problème est simple, le modèle peut produire une explication longue et verbeuse, gaspillant des ressources pour des tâches qui pourraient être résolues instantanément. Les chercheurs soupçonnent depuis longtemps que ces systèmes manquent de la capacité de juger l'effort réel qu'une question spécifique requiert, ce qui conduit à une situation où les questions faciles reçoivent le même traitement intensif que les questions difficiles.
Une équipe de chercheurs de la Vrije Universiteit Amsterdam s'est donné pour mission d'apprendre à un modèle à porter ce jugement par lui-même. Ils ont travaillé avec un modèle de raisonnement relativement petit, contenant 1,5 milliard de paramètres, qui avait été entraîné pour résoudre des problèmes mathématiques. Au lieu de forcer le modèle à toujours réfléchir pendant un temps fixe, ils lui ont donné un choix simple dès le début de sa réponse : il pouvait décider de répondre immédiatement sans réfléchir, de raisonner brièvement, ou de s'engager dans un raisonnement approfondi et prolongé. Le modèle a été entraîné en utilisant une méthode appelée apprentissage par renforcement, où il reçoit un retour basé sur le fait que sa réponse est correcte et sur l'efficacité avec laquelle il y est parvenu. L'objectif était de voir si le modèle pouvait apprendre à adapter son effort à la difficulté du problème, économisant du temps sur les tâches faciles tout en consacrant suffisamment de ressources pour résoudre les tâches difficiles.
Les chercheurs ont conçu un système où le modèle émet un seul mot comme premier jet (token) pour signaler son mode de fonctionnement choisi. Si le modèle choisit « NoThink » (Pas de réflexion), il tente de répondre directement. S'il choisit « Short » (Court), il est autorisé à générer une explication brève, mais avec une limite stricte sur le nombre de mots qu'il peut utiliser. S'il choisit « Long » (Long), il est autorisé à raisonner longuement sans limite. Pour s'assurer que le modèle respecte réellement ces choix, les chercheurs ont imposé des limites strictes sur la longueur de la réponse pour les modes plus courts. Si un modèle tentait d'utiliser le mode « Short » mais continuait d'écrire au-delà de la limite, le système marquerait la tentative comme incorrecte, peu importe si la réponse finale était juste. Cela a forcé le modèle à apprendre que l'étiquette choisie au début avait des conséquences réelles sur son comportement.
Pour éviter que le modèle ne se contente d'ignorer le choix et ne revienne systématiquement à l'option la plus longue et la plus sûre, les chercheurs ont ajusté les récompenses qu'il recevait. Ils ont rendu les modes « NoThink » et « Short » plus gratifiants pour les réponses très courtes, tandis que le mode « Long » offrait une récompense constante quelle que soit la longueur. Cela a créé un paysage où la meilleure stratégie dépendait du problème : pour une question triviale, la réponse la plus rapide offrait le score le plus élevé, tandis qu'un problème difficile nécessitait l'effort prolongé du mode « Long » pour réussir. Ils ont également ajouté un mécanisme d'équilibrage qui poussait doucement le modèle à utiliser les trois options, garantissant qu'il ne s'effondre pas en utilisant une seule stratégie pour chaque problème.
Les résultats ont montré que le modèle a appris avec succès à trier les problèmes par difficulté. Sur un ensemble de 500 problèmes mathématiques mis de côté, le modèle a commencé à diriger les questions faciles vers les modes « NoThink » ou « Short » et les questions difficiles vers le mode « Long ». Au cours de l'entraînement, la précision du modèle est restée presque identique à celle de la version originale non modifiée, mais la longueur moyenne de ses réponses a considérablement diminué. Les chercheurs ont constaté que la nouvelle politique réduisait le nombre moyen de mots générés de 41 pour cent, faisant passer la longueur de la réponse de près de 4 800 tokens à environ 2 800. Cela signifiait que le modèle résolvait le même nombre de problèmes correctement tout en utilisant moins de la moitié de l'effort de calcul.
Crucialement, cette efficacité ne s'est pas faite au détriment de la performance sur des problèmes qu'il n'avait jamais vus auparavant. Lors d'un test sur un autre ensemble de problèmes mathématiques de niveau élémentaire, le modèle a économisé une quantité de texte encore plus importante, réduisant le nombre de tokens de 76 pour cent tout en maintenant une précision élevée. Sur un ensemble de problèmes mathématiques de compétition extrêmement difficiles, où un raisonnement profond est presque toujours requis, le modèle a correctement choisi le mode « Long » pour presque chaque question, égalant la performance de la base de référence sans perdre de temps avec des raccourcis. L'étude démontre qu'un modèle de raisonnement peut être entraîné à s'autoréguler, en allouant plus de temps de réflexion uniquement lorsque le problème l'exige. Cela suggère une voie d'avenir pour rendre l'intelligence artificielle plus efficace, permettant aux systèmes d'être à la fois intelligents et économes, plutôt que simplement verbeux.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.