Résumé Technique : HEAVYSKILL – La Pensée Lourde en tant que Compétence Intérieure dans l'Entraînement Agentique

Énoncé du Problème

Les récents progrès dans les entraînements agentiques ont réussi à résoudre des tâches de raisonnement complexes en orchestrant plusieurs agents disposant de mémoire, de compétences et d'outils. Cependant, les mécanismes sous-jacents à cette performance restent obscurcis par des conceptions de systèmes intricées. Les approches actuelles reposent souvent sur des boucles d'orchestration externes qui activent des sous-agents en parallèle et synthétisent les résultats, ou utilisent des modifications architecturales spécialisées et des recettes de post-entraînement pour susciter un raisonnement parallèle. L'article soutient que la quête de capacités de raisonnement s'est concentrée de manière excessive sur les stratégies de mise à l'échelle au moment du test (TTS) qui amplifient les ressources de calcul, tandis que la contribution spécifique de la « pensée lourde » en tant que compétence internalisable au sein des paramètres du modèle reste sous-explorée. De plus, les méthodes existantes manquent souvent d'un cadre unifié et portable pouvant être découplé d'infrastructures spécifiques pour fonctionner comme une capacité native du Grand Modèle de Langage (LLM).

Méthodologie

Les auteurs proposent HEAVYSKILL, une perspective et un cadre qui traitent la « pensée lourde » non pas simplement comme une unité d'exécution dans un entraînement d'orchestration, mais comme une compétence intérieure internalisée au sein du modèle. Cette compétence est définie comme un pipeline en deux étapes : raisonnement parallèle suivi de délibération séquentielle.

1. Le Cadre de la Pensée Lourde

Le pipeline d'inférence est décomposé en deux phases distinctes :

• Raisonnement Parallèle : Étant donné un problème $q$, le modèle génère $K$ trajectoires de raisonnement indépendantes ($T_{\pi_\theta}(q, K) = \{y_1, \dots, y_K\}$). Ces trajectoires sont générées sans accès aux sorties les unes des autres pour garantir la diversité.
• Délibération Séquentielle : Un deuxième modèle (ou le même modèle) agrège les trajectoires générées. Cette étape implique un processus de « résumé » où le modèle évalue de manière critique les chemins de raisonnement, identifie les erreurs et synthétise une réponse finale.
• Cache Mémoire Sérialisé : Pour faire le lien entre ces phases, le cadre introduit un mécanisme de cache mémoire. Étant donné que les trajectoires complètes dépassent souvent les limites de contexte, elles sont élaguées, mélangées pour éviter un biais de position, et sérialisées dans un contexte ($C(x_c)$) pour l'étape de délibération.
• Délibération Itérative (Optionnelle) : Le cadre prend en charge un raffinement itératif où la sortie de l'étape de délibération est réinjectée dans le cache mémoire en tant que nouvelle entrée pour des cycles d'analyse ultérieurs.

2. HEAVYSKILL en tant que Compétence Lisible

Une innovation clé est la distillation de ce flux de travail en un fichier de compétence lisible (par exemple, HeavySkill.md). Contrairement aux flux de travail traditionnels qui reposent sur des pipelines Python externes pour gérer les appels API et l'état, HEAVYSKILL est un document lisible par l'homme et interprétable par le modèle.

• Structure : Le fichier de compétence contient quatre composants :
  1. Conditions d'Activation : Règles déclaratives déterminant quand déclencher la pensée lourde (par exemple, raisonnement complexe par rapport à des requêtes simples).
  2. Protocole de Raisonnement Parallèle : Instructions pour lancer $K$ agents indépendants avec des stratégies diverses.
  3. Prompt de Délibération : Un modèle de base instruisant le modèle à évaluer de manière critique, et non pas simplement à voter, sur les trajectoires. Il interdit explicitement la concaténation superficielle et exige une véritable synthèse.
  4. Contraintes de Sortie : Règles pour le formatage de la réponse finale (par exemple, \boxed{} pour les mathématiques).
• Portabilité : Étant un document en texte brut, il peut être injecté dans n'importe quel entraînement agentique (par exemple, Claude Code, CodeX, Hermes) qui prend en charge le chargement de compétences, permettant à l'orchestrateur d'exécuter le protocole de manière autonome sans modification de code.

3. Optimisation via RLVR

L'article explore l'adaptation de l'Apprentissage par Renforcement à partir de Récompenses Vérifiables (RLVR) pour optimiser la pensée lourde. L'hypothèse est que le RLVR peut simultanément améliorer la largeur du raisonnement (via la génération parallèle) et la profondeur (via la délibération), permettant potentiellement au modèle de dépasser ses contraintes intrinsèques par trajectoire.

Contributions Clés

1. Proposition de Cadre : Introduction d'un cadre simple, sans entraînement, pour reproduire la pensée lourde via le raisonnement parallèle et la délibération séquentielle.
2. Étude Empirique Complète : La première évaluation systématique de la pensée lourde à travers diverses échelles de modèles (de 7B aux modèles de pointe) et domaines de tâches (STEM, codage, raisonnement général).
3. Distillation de Compétence : La conceptualisation de la pensée lourde en tant que « compétence intérieure » portable et lisible, qui découple la capacité de raisonnement de l'infrastructure d'orchestration spécifique.
4. Analyse Systématique : Des aperçus détaillés sur l'interdépendance des composants du cadre, y compris les rôles de la diversité des trajectoires, la sélection de modèles pour la délibération, et les effets du raffinement itératif.

Résultats Expérimentaux

Performance sur les Tâches STEM

Évalué sur des benchmarks incluant AIME25, BeyondAIME, HMMT25-Feb et GPQA-Diamond :

• Surperformance Cohérente : La pensée lourde (mesurée par Heavy-Mean@4 ou HM@4) surpasse systématiquement les tentatives à trajectoire unique (Mean@K) et les stratégies traditionnelles Best-of-N comme le vote majoritaire (Vote@K).
• Lois de Mise à l'Échelle : L'augmentation du nombre de trajectoires parallèles ($K$) et l'utilisation de la délibération séquentielle entraînent une amélioration continue des performances, validant la pensée lourde comme une réalisation pratique de la mise à l'échelle au moment du test.
• Approche des Limites Théoriques : Des modèles plus puissants (par exemple, DeepSeek V3.2, GPT-5 Thinking) sous la pensée lourde s'approchent de la borne supérieure théorique Pass@K. Dans certains cas, le processus de délibération (Heavy-Pass@K) dépasse le Pass@K brut, suggérant que le modèle peut synthétiser des solutions correctes absentes de toute trajectoire brute individuelle.
• Hiérarchie : Une hiérarchie de performance cohérente a été observée : Heavy-Pass@k ≥ Heavy-Mean@K ≥ Vote@K ≥ Mean@K.

Performance sur les Tâches de Raisonnement Général

• Objectif vs Subjectif : Le cadre montre des gains substantiels sur des tâches objectives et vérifiables (par exemple, LiveCodeBench, IFEval). Cependant, les gains sont marginaux ou parfois négatifs sur des tâches subjectives basées sur les préférences (par exemple, Arena-Hard), indiquant que la délibération séquentielle excelle dans les tâches orientées « justesse » mais peut avoir des difficultés avec les nuances orientées « préférence ».
• Sélection de Modèle : L'étape de délibération ne nécessite pas strictement un modèle doté d'un pouvoir de raisonnement intrinsèque supérieur. Des modèles plus grands, suivant les instructions (par exemple, Qwen2.5-32B) utilisés comme délibérateurs peuvent considérablement améliorer les performances, même s'ils sont moins performants pour résoudre les problèmes de manière autonome, soulignant l'importance des capacités de synthèse par rapport au pouvoir de raisonnement brut à la deuxième étape.

Délibération Itérative et Utilisation d'Outils

• Itération : Bien que l'augmentation des itérations améliore généralement la précision, elle introduit un compromis où Heavy-Pass@K peut se dégrader en raison du bruit cumulatif ou des biais des étapes antérieures.
• Intégration d'Outils : Le cadre s'intègre avec succès à des outils externes (par exemple, interpréteurs Python). La pensée lourde surpasse les bases de vote dans les scénarios entrelacés d'outils, exploitant efficacement les retours d'exécution pour affiner les trajectoires.

Adaptation RLVR

Les expériences préliminaires de RLVR montrent que l'application de l'apprentissage par renforcement aux trajectoires de pensée lourde peut améliorer davantage Heavy-Mean@4 d'environ 10 %. Cependant, des problèmes de stabilité ont été observés avec des nombres de trajectoires plus élevés ($K=16$) en raison des limitations de longueur de séquence, suggérant la nécessité d'une configuration prudente.

Importance et Revendications

L'article revendique que HEAVYSKILL offre une voie prometteuse vers des LLM auto-évolutifs qui internalisent le raisonnement complexe sans dépendre de couches d'orchestration fragiles. En abstrayant l'entraînement agentique en une capacité inhérente de « pensée lourde », les auteurs démontrent que :

1. Le Raisonnement est une Compétence Intérieure : Le raisonnement complexe peut être distillé en une compétence transférable opérant sous n'importe quel entraînement agentique.
2. La Délibération est Clé : La délibération séquentielle est plus efficace qu'un simple consensus statistique (vote) pour synthétiser des réponses correctes à partir de multiples chemins de raisonnement.
3. Évolutivité : La profondeur et la largeur de la pensée lourde sont apprenables et évolutives via l'apprentissage par renforcement, offrant un mécanisme pour pousser les LLM au-delà de leurs limites de raisonnement actuelles.

Les auteurs adoptent une stance modeste, notant que si la pensée lourde surpasse considérablement les stratégies traditionnelles, elle n'est pas une panacée pour tous les types de tâches (en particulier les préférences subjectives) et que la dynamique du RLVR dans ce contexte nécessite une exploration plus approfondie. Ce travail établit principalement l'efficacité et les limites de la pensée lourde en tant que composant fondamental pour les systèmes agentiques de nouvelle génération.