Résumé Technique : TMAS – Mise à l'échelle du calcul au moment de l'inférence par la synergie multi-agents

1. Énoncé du problème

La mise à l'échelle au moment de l'inférence (TTS) est apparue comme un paradigme visant à améliorer les capacités de raisonnement des grands modèles de langage (LLM) en allouant un calcul supplémentaire durant l'inférence. Alors que les premières approches se concentraient sur l'extension de trajectoires de génération uniques (par exemple, la chaîne de pensée) ou sur l'agrégation de solutions indépendantes parallèles (par exemple, la cohérence autonome), les méthodes structurées récentes tentent d'organiser le raisonnement à travers plusieurs trajectoires et cycles de raffinement.

Cependant, les méthodes TTS structurées existantes rencontrent des limitations significatives dans l'équilibre entre exploration (essai de diverses voies de solution) et exploitation (raffinement des directions prometteuses) :

• Coordination faible : Les méthodes d'agrégation de trajectoires reposent souvent sur des informations historiques bruitées sans filtrer explicitement ce qu'il faut conserver, entraînant une réutilisation sous-optimale du signal.
• Collaboration insuffisante : Les systèmes de vérification-raffinement introduisent un feedback explicite mais laissent souvent les différentes trajectoires faiblement couplées, échouant à partager des résultats intermédiaires réutilisables ou un feedback local entre les tentatives.
• Granularité de la mémoire : Les approches actuelles ne parviennent pas à distinguer entre les conclusions intermédiaires fiables de bas niveau (signaux locaux) et les insights stratégiques de haut niveau (modèles globaux), limitant ainsi le partage efficace d'informations.

Le défi central consiste à concevoir un cadre qui coordonne explicitement la collaboration multi-agents, gère une mémoire hiérarchique pour séparer l'expérience locale de la stratégie globale, et aligne le modèle pour qu'il utilise efficacement cette structure sans se piéger dans des modèles sous-optimaux.

2. Méthodologie : Le cadre TMAS

Les auteurs proposent TMAS (Calcul au moment de l'inférence par la synergie multi-agents), un cadre qui organise l'inférence comme un processus collaboratif entre des agents spécialisés. Le système fonctionne de manière itérative, équilibrant l'exploration parallèle avec l'exploitation séquentielle.

2.1. Architecture multi-agents

TMAS emploie cinq agents spécialisés pour gérer le pipeline d'inférence :

1. Agent de solution ($A_{sol}$) : Génère $N$ trajectoires de solutions candidates en parallèle. Il utilise une stratégie $\epsilon$-gloutonne : avec une probabilité $1-\epsilon$, il exploite l'expérience accumulée et les déploiements précédents ; avec une probabilité $\epsilon$, il explore guidé par des directives de haut niveau pour éviter la redondance.
2. Agent de vérification ($A_{ver}$) : Effectue $M$ passes de vérification indépendantes sur chaque candidat, fournissant un feedback analytique et des scores scalaires (exactitude, exactitude partielle ou erreurs).
3. Agent de résumé ($A_{sum}$) : Agrège les résultats de vérification en résumés concis au niveau du déploiement, mettant en évidence les étapes validées et les failles logiques.
4. Agent d'expérience ($A_{exp}$) : Extrait des signaux réutilisables de bas niveau à partir des déploiements actuels pour mettre à jour la Banque d'Expérience. Cela inclut les conclusions intermédiaires vérifiées, les compétences concrètes et les heuristiques spécifiques d'évitement d'erreurs.
5. Agent de directive ($A_{guide}$) : Abstrait des approches stratégiques de haut niveau à partir des déploiements parallèles pour mettre à jour la Banque de Directives. Cela enregistre les directions de solutions globales et les insights structurels pour orienter les agents subséquents loin des modèles précédemment tentés (et échoués).

2.2. Gestion hiérarchique de la mémoire

TMAS introduit deux banques de mémoire distinctes pour faciliter le flux d'informations structuré :

• Banque d'Expérience : Stocke des signaux de raisonnement concrets et spécifiques à la trajectoire (par exemple, « ancre vérifiée $T(2)=3$ »). Ceux-ci sont réutilisés pour affiner le raisonnement local et éviter de répéter des erreurs spécifiques.
• Banque de Directives : Stocke des journaux stratégiques de haut niveau (par exemple, « tentative d'induction avec argument de division »). Ceux-ci sont utilisés pour imposer la diversité, garantissant que les nouveaux déploiements ne répètent pas simplement des cadres stratégiques précédemment explorés.

2.3. Apprentissage par renforcement à récompense hybride

Pour aligner le modèle avec le processus collaboratif TMAS, les auteurs conçoivent un Système de Récompense Hybride basé sur GRPO (Optimisation de la politique relative de groupe). Contrairement à l'apprentissage par renforcement standard qui optimise uniquement pour l'exactitude finale, ce système inclut trois objectifs complémentaires :

1. Récompense d'exactitude standard : Préserve la capacité de raisonnement de base (récompense +1 pour les réponses correctes, -1 sinon).
2. Récompense d'utilisation de l'expérience : Encourage le modèle à utiliser efficacement la Banque d'Expérience. Si un problème est difficile à résoudre sans la banque mais soluble avec elle, le modèle reçoit une prime proportionnelle à la difficulté du problème sans la banque. Cela empêche la banque d'être traitée comme un contexte passif.
3. Récompense d'exploration de stratégie nouvelle : Encourage la découverte de nouvelles stratégies de solution de haut niveau. Les déploiements suivant une directive non couverte par la banque existante reçoivent une récompense plus élevée, tandis que ceux répétant des stratégies connues sont pénalisés, même s'ils sont corrects.

3. Contributions clés

1. Cadre TMAS : Un système multi-agents novateur qui organise explicitement le flux d'informations entre les agents, les trajectoires et les itérations. Il transforme les tentatives de raisonnement indépendantes en un processus itératif coordonné via des agents d'Expérience et de Directive spécialisés.
2. Mécanisme de mémoire hiérarchique : L'introduction de banques séparées pour l'expérience de bas niveau (signaux locaux réutilisables) et les directives de haut niveau (évitement stratégique) afin d'équilibrer l'exploitation des résultats fiables avec l'exploration de voies diverses.
3. Schéma d'apprentissage par renforcement à récompense hybride : Un objectif d'entraînement adapté à TMAS qui optimise conjointement la compétence de raisonnement de base, l'utilisation efficace de l'expérience et l'exploration de stratégies nouvelles, abordant le compromis exploration-exploitation dans le raisonnement itératif.

4. Résultats expérimentaux

Les auteurs ont évalué TMAS sur des benchmarks de raisonnement exigeants : IMO-AnswerBench-50 et HLE-Math-100, en utilisant Qwen3-30B et Qwen3-4B comme modèles de base.

• Mise à l'échelle itérative : TMAS a démontré une mise à l'échelle itérative plus forte que les bases existantes (Self-Refine, Verify-Refine, PaCoRe, RSE). Alors que d'autres méthodes stagnaient ou se dégradaient lors des itérations ultérieures, TMAS a continué à s'améliorer, atteignant les meilleures performances en phase tardive (par exemple, 40,50 % sur IMO-AnswerBench-50 avec Qwen3-30B à l'itération 19).
• Impact de l'apprentissage par renforcement hybride : L'entraînement avec le système de récompense hybride a considérablement amplifié l'efficacité de la mise à l'échelle. Sur le modèle Qwen3-4B, TMAS+Hybrid-RL a non seulement atteint une précision de pointe plus élevée, mais a également atténué la dégradation des performances observée avec Vanilla-RL (entraînement avec des récompenses d'exactitude uniquement) lors des itérations ultérieures.
• Efficacité du modèle : L'entraînement par apprentissage par renforcement hybride a considérablement réduit l'écart de performance entre les modèles 4B et 30B. Sur IMO-AnswerBench-50, l'écart est passé de 23,44 à 9,62 points, suggérant qu'un calcul itératif efficace au moment de l'inférence peut permettre aux modèles plus petits d'approcher les performances de modèles beaucoup plus grands.
• Études d'ablation :
  • Le retrait de l'un ou l'autre des modules d'Expérience ou de Directive a dégradé les performances, le retrait conjoint causant la chute la plus sévère.
  • Un coefficient d'exploration intermédiaire ($\epsilon=0,2$) a produit des résultats optimaux, confirmant la nécessité d'un équilibre entre découverte et exploitation.
  • Des nombres de vérification excessifs (par exemple, 16) ou de solutions parallèles (par exemple, 12) n'ont pas produit d'améliorations monotones, indiquant des rendements décroissants et une introduction potentielle de bruit.

5. Importance et limites

L'article affirme que TMAS représente une avancée significative dans l'organisation du calcul au moment de l'inférence en allant au-delà de la simple agrégation de trajectoires ou de la vérification. En structurant explicitement le flux d'informations et en séparant la mémoire en niveaux hiérarchiques, TMAS permet une collaboration plus efficace entre les trajectoires de raisonnement. Le schéma de récompense hybride est présenté comme un facilitateur crucial pour entraîner les modèles à exploiter cette structure complexe.

Limites :

• Goulot d'étranglement de la vérification : Les auteurs identifient une « frontière de capacité partagée » où, sur les problèmes les plus difficiles, l'agent de vérification (instancié à partir de la même famille de modèles) peut avoir du mal à distinguer entre des solutions plausibles mais erronées et des solutions correctes. Cela peut entraîner des signaux de feedback peu fiables pour la boucle de raffinement.
• Contraintes computationnelles : L'évaluation n'a pas été menée sur des modèles de pointe (par exemple, GPT-5.5) en raison des contraintes de coût et d'API.
• Construction des données : Le pipeline d'apprentissage par renforcement actuel nécessite un modèle enseignant externe pour pré-construire des trajectoires de démarrage à froid et des données d'entraînement basées sur la mémoire. Les auteurs suggèrent que des travaux futurs pourraient intégrer dynamiquement des trajectoires d'itérations précédentes pour élargir la source de données.

En conclusion, TMAS offre une approche structurée pour mettre à l'échelle le calcul au moment de l'inférence qui équilibre efficacement l'exploration et l'exploitation grâce à la synergie multi-agents et à la mémoire hiérarchique, démontrant qu'un calcul supplémentaire peut se traduire par une amélioration des performances de raisonnement lorsqu'il est correctement organisé.