Résumé Technique : ATLAS : Agentic Test-time Learning-to-Allocate Scaling

Problématique

Le passage à l'échelle du calcul au moment de l'inférence est devenu un mécanisme primaire pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Cependant, l'orchestration de ce calcul reste largement « conçue par l'ingénieur ». Les approches existantes reposent sur des budgets d'échantillonnage fixes, des boucles de raffinement statiques, des règles de notation prédéterminées ou des politiques de recherche rigides (par exemple, Best-of-N, Self-Refine, Tree of Thoughts) pour décider comment le calcul est alloué. Dans ces cadres, le modèle est chargé de résoudre le problème, mais une règle définie par l'humain ou un contrôleur externe dicte quand s'arrêter, combien d'échantillons générer et comment agréger les résultats. Cette séparation prive le modèle d'agence sur le processus d'allocation, ce qui peut conduire à une utilisation sous-optimale du calcul, une couverture médiocre ou un détournement de la récompense (reward hacking). Le défi central abordé est de déplacer le contrôle de la mise à l'échelle au moment du test des règles statiques externes vers le modèle lui-même, lui permettant de décider dynamiquement de la quantité de calcul à dépenser et de quand terminer en fonction du contexte spécifique du problème.

Méthodologie

Le papier présente ATLAS (Agentic Test-time Learning-to-Allocate Scaling), un cadre où un orchestrateur LLM possède la boucle de contrôle de bout en bout. Le système fonctionne via un processus séquentiel et étatique :

1. La Boucle de l'Orchestrateur : Un orchestrateur LLM gère un pool croissant de solutions candidates. Il ne résout pas le problème directement. Au lieu de cela, il observe le problème original et l'historique accumulé des solutions candidates (la « trajectoire »).
2. L'Action explore : L'outil principal de l'orchestrateur est une action unique appelée explore. Lorsqu'elle est invoquée, cette action déploie un nouveau solveur indépendant pour le problème original. Crucialement, le solveur ne reçoit que l'énoncé du problème, garantissant que chaque candidat est conditionnellement indépendant. Le solveur renvoie une observation structurée contenant la réponse, le raisonnement, l'approche et la confiance.
3. L'Action stop : Sur la base de son évaluation des preuves accumulées, l'orchestrateur peut choisir de s'arrêter. Lors de l'arrêt, il synthétise la réponse finale directement à partir de l'intégralité de l'historique des candidats et des traces de raisonnement. Cette « gestion étatique des preuves » permet à l'orchestrateur de prendre des décisions de synthèse basées sur le contexte complet du processus de recherche, plutôt que sur un simple pool de réponses finales.
4. Espace d'Actions Extensible : Bien que l'instanciation minimale utilise un explore[] sans paramètre (décidant uniquement quand s'arrêter), le cadre supporte un espace d'actions extensible. Les variantes incluent :
   • ATLAS-MM : Permet à l'orchestrateur de sélectionner quel modèle de solveur déployer (par exemple, choisir entre différents niveaux de capacité comme Haiku, Sonnet ou Opus).
   • ATLAS-MI : Permet à l'orchestrateur de passer des instructions spécifiques au solveur pour qu'il se concentre sur des sous-étapes ou des stratégies de raisonnement particulières.
5. Effort d'Exploration (Explore Effort) : Le cadre inclut un hyperparamètre, « l'effort d'exploration », qui définit le seuil d'arrêt de l'orchestrateur (Faible, Moyen, Élevé). Cela détermine la quantité de preuves requises avant que l'orchestrateur ne juge le problème « résolu », équilibrant le coût et le gain d'information attendu.

La logique de décision est encodée dans le prompt de l'orchestrateur sous forme de principes déclaratifs (par exemple, « une convergence authentique signifie que des solveurs indépendants arrivent à la même réponse via des méthodes différentes ») plutôt que de règles prescriptives, permettant au modèle d'adapter sa stratégie au problème spécifique.

Contributions Clés

1. Orchestration Agentique : Le papier introduit ATLAS, un cadre où le LLM décide lui-même de l'allocation de calcul et des critères d'arrêt en contexte, remplaçant les boucles et les fonctions de score spécifiées à la main.
2. Gestion Étatique des Preuves : Les auteurs démontrent que le fait que l'orchestrateur synthétise directement la réponse finale à partir de la trajectoire complète (historique Pensée/Action/Observation) est un moteur clé de performance. Les études d'ablation montrent que remplacer cette synthèse directe par un intégrateur séparé dégrade ou ne parvient pas à améliorer la précision sur trois des quatre benchmarks.
3. Espace d'Actions Scalable : Le cadre permet d'étendre l'espace d'actions pour inclure la sélection du solveur et les stratégies de prompting. L'extension multi-modèles (ATLAS-MM) montre que la valeur de l'orchestrateur augmente avec la richesse de son espace de décision.
4. Transfert Agnostique au Benchmark : Le prompt de l'orchestrateur est conçu pour être agnostique aux benchmarks, permettant au même contrôleur de se transférer sur des tâches textuelles et des tâches conditionnées par l'image sans réentraînement.

Résultats Expérimentaux

Les auteurs ont évalué ATLAS avec un socle Claude Sonnet 4.6 sur quatre benchmarks diversifiés : HLE-Verified (QA scientifique), LiveCodeBench (génération de code), GPQA-Diamond (science de niveau doctorat) et BabyVision (raisonnement multimodal).

• Performance : ATLAS a atteint une précision compétitive tout en utilisant nettement moins d'appels d'API que les baselines à workflow fixe (ex: Self-Refine, Budget Forcing, Majority Voting).
  • HLE-Verified : 56,00 % (contre 53,00 % pour Self-Refine).
  • LiveCodeBench : 82,29 % (égale Self-Refine sans arrêt précoce, mais avec un coût inférieur).
  • GPQA-Diamond : 85,86 % (contre 85,35 % pour Self-Refine sans arrêt précoce).
  • BabyVision : 23,71 % (contre 21,39 % pour Self-Refine).
• Extension Multi-Modèles (ATLAS-MM) : En ajoutant le choix du solveur à l'espace d'actions, ATLAS-MM a encore amélioré les performances :
  • HLE-Verified : 60,00 %.
  • LiveCodeBench : 85,63 %.
  • GPQA-Diamond : 88,38 %.
  • BabyVision : 23,97 %.
• Efficacité des Coûts : ATLAS domine strictement les baselines sur la frontière Pareto coût-précision, atteignant une précision moyenne plus élevée avec des coûts par question substantiellement moindres. L'orchestrateur ajuste dynamiquement le calcul, s'arrêtant tôt pour les problèmes faciles et explorant davantage pour les problèmes difficiles, alors que les baselines suivent souvent des budgets fixes ou s'arrêtent prématurément.
• Ablations :
  • Capacité de l'Orchestrateur : La précision sur GPQA-Diamond augmentait avec le niveau de capacité du modèle orchestrateur (Haiku < Sonnet < Opus).
  • Intégrateur Séparé : L'ajout d'un modèle intégrateur séparé pour la synthèse finale augmentait le coût sans améliorer la précision, confirmant la valeur de la synthèse directe de l'orchestrateur.
  • Effort d'Exploration : Des niveaux d'effort plus élevés ont conduit à une précision non décroissante sur tous les benchmarks, le coût augmentant de manière la plus significative sur les benchmarks à format libre (HLE, LiveCodeBench, BabyVision) par rapport au GPQA-Diamond à choix multiples.

Signification et Revendications

Le papier positionne ATLAS comme un changement dans la surface de conception de la mise à l'échelle au moment du test. Plutôt que de se concentrer sur la logique du contrôleur (les « règles » du jeu), le cadre expose l'espace d'action à l'agent. Les auteurs affirment que toute décision qu'un agent devrait prendre en contexte — qu'il s'agisse de s'arrêter, d'utiliser un certain modèle ou de la manière de prompter — peut être exposée comme un argument à l'action explore sans nécessiter de réentraînement.

La signification réside dans la démonstration qu'un orchestrateur LLM, lorsqu'il a l'agence de gérer son propre budget de calcul via une boucle étatique, peut surpasser les stratégies de mise à l'échelle rigides et conçues par l'ingénieur. Les résultats suggèrent que le rôle d'« orchestrateur » est distinct du rôle de « solveur » et que la valeur de l'orchestrateur augmente avec la richesse de l'espace de décision qu'il est autorisé à naviguer. Le papier conclut que la gestion étatique des preuves est un composant critique de ces gains, permettant au modèle de synthétiser des réponses basées sur le contexte complet de son historique de recherche plutôt que sur le simple ensemble de candidats finaux.