General learned delegation by clones

1. Problématique : L'inefficacité du "Test-Time Scaling"

Les modèles de langage (LLMs) de pointe améliorent leurs performances grâce à une augmentation du calcul au moment de l'inférence (test-time scaling). Cependant, les approches actuelles souffrent d'inefficacités majeures sous des budgets d'inférence fixes :

• Raisonnement sériel (Chain of Thought) : Augmente la latence et la consommation de tokens.
• Échantillonnage parallèle non coordonné : Des méthodes comme la "self-consistency" génèrent de multiples chemins de raisonnement complets et redondants, ne les agrégeant qu'à la fin. Cela gaspille des ressources de calcul.
• Limites du contexte long : Dans les tâches à long contexte, les modèles peinent à utiliser efficacement les informations situées au milieu du contexte, et le "fenêtre de contexte" utile est souvent bien inférieure à la taille nominale.

Le défi central est de déterminer quoi paralléliser, comment allouer le budget de contexte à chaque sous-tâche, et comment recombiner les résultats intermédiaires de manière optimale, sans dépasser le budget de tokens ou de temps imparti.

2. Méthodologie : SELFCEST

Les auteurs proposent SELFCEST (SELF-reinforCEment by Shared-weight Training), un cadre qui transforme la délegation de tâches en un problème d'apprentissage par renforcement (RL) end-to-end.

Concepts Clés

• Agent Racine et Clones : Un modèle de base (l'agent racine) est capable de générer dynamiquement des "clones" (des instances du même modèle avec les mêmes poids) dans des contextes séparés.
• Outil Personnalisé : Le modèle apprend à utiliser un outil spécifique pour "épouser" (spawn) des clones. Chaque clone reçoit une sous-tâche précise (ex: calculer un terme d'une équation, extraire une information spécifique) et un budget de contexte dédié.
• Partage de Paramètres : Tous les agents (racine et clones) partagent les mêmes paramètres $\theta$. Cela permet un entraînement end-to-end où la politique globale apprend à la fois à décomposer le problème et à coordonner les sous-routines.

Entraînement et Attribution de Crédit

Le défi majeur est l'attribution de crédit dans un système multi-agents : si la réponse finale est correcte, comment savoir quels clones ont contribué positivement et lesquels ont échoué ?

• Optimisation Relative de Politique par Groupes (GRPO) : Les auteurs utilisent GRPO pour estimer l'avantage d'une trajectoire par rapport à la moyenne d'un groupe de trajectoires, évitant ainsi la complexité d'un modèle critique (critic) séparé.
• Fonction de Récompense Globale : La récompense est basée sur l'exactitude de la réponse finale, pénalisée par la consommation de tokens (racine et clones) et les erreurs de formatage (JSON).
• Porte de Déroulement (Rollout Gating) : Pour stabiliser l'entraînement et éviter que les clones échoués ne dégradent la politique, les auteurs introduisent un mécanisme de filtrage. Seuls les clones respectant un "protocole dur" (retour d'une réponse finale parseable) reçoivent un gradient. Cela agit comme une approximation biaisée mais efficace de l'attribution de crédit, supprimant les trajectoires pathologiques.

3. Contributions Principales

1. Formulation Minimale de la Délegation : Introduction d'un outil unique permettant à un agent racine de créer des clones de même poids pour des sous-tâches parallèles, traitant la décomposition comme une primitive d'inférence apprise.
2. Recette d'Entraînement RL End-to-End : Une méthode pour entraîner une politique d'inférence multi-thread sous un budget de coût unifié, sans nécessiter de rôles d'agents prédéfinis ou de stratégies de prompting manuelles.
3. Analyse de l'Attribution de Crédit : Une étude théorique et pratique sur l'attribution de crédit dans les trajectoires partagées, proposant le rollout gating comme solution stable pour les modèles de base moins capables.
4. Preuves Empiriques : Démonstration d'améliorations significatives du compromis précision-coût (frontière de Pareto) sur des tâches de raisonnement long et de contexte long.

4. Résultats Expérimentaux

Les expériences ont été menées sur le modèle Qwen3-4B-Instruct et comparées à des baselines (modèle de base, version "Thinking", et échantillonnage parallèle).

• Raisonnement Arithmétique (Mathématiques) :

  • SELFCEST atteint une précision supérieure (83% contre 68% pour le modèle de base) tout en utilisant moins de tokens (1705 tokens en moyenne contre 2028 pour le modèle de base).
  • Il surpasse les méthodes de "self-consistency" (échantillonnage x8) en termes de latence et de coût, tout en maintenant une meilleure précision.
  • Le modèle apprend à décomposer des calculs complexes (ex: $(a \times b) + (c \times d)$) en sous-tâches parallèles gérées par des clones.

• Raisonnement Long et Contexte Long (QA Multi-sauts) :

  • Sur les benchmarks 2WikiMultiHopQA et MuSiQuE, SELFCEST améliore la précision (0.70 vs 0.65 pour le modèle de base sur 2Wiki) tout en réduisant drastiquement la consommation de tokens (644 tokens vs 1214).
  • Le modèle apprend à agir comme un pipeline de récupération d'information (RAG) agentique, enclenchant des clones pour récupérer des informations spécifiques dans de longs documents.

• Généralisation :

  • Le modèle montre une capacité de généralisation hors distribution (OOD), réussissant sur des tâches non vues pendant l'entraînement (ex: passage de l'arithmétique pure à des problèmes AIME ou de QA).
  • L'ablation study confirme que le rollout gating est indispensable pour la stabilité de l'entraînement ; sans lui, le modèle oublie ses capacités de base ou devient instable.

5. Signification et Impact

Ce travail propose un changement de paradigme dans l'optimisation de l'inférence des LLM :

• De la Parallélisation Brute à la Délegation Apprise : Au lieu de simplement lancer plus d'échantillons (ce qui est coûteux), SELFCEST apprend à allouer dynamiquement les ressources de calcul (tokens, contexte) aux bons endroits.
• Efficacité des Ressources : En réduisant la latence et le coût des tokens tout en augmentant la précision, cette méthode rend les modèles de raisonnement avancés plus accessibles, notamment sur du matériel contraint (edge devices).
• Primitive d'Inférence : La délegation devient une primitive de premier ordre pour le raisonnement conscient du calcul (compute-aware reasoning), permettant aux modèles de gérer leur propre complexité computationnelle de manière autonome.

En résumé, SELFCEST offre une voie pratique pour transformer l'inférence multi-thread en une politique apprise, optimisant le compromis entre précision et coût computationnel grâce à une délegation dynamique et coordonnée.