Résumé Technique : MENTOR

Énoncé du Problème

L'intégration des modèles de langage de grande taille (LLM) avec des outils externes (par exemple, des interprètes de code, des API de recherche) a permis des capacités de raisonnement avancées. Cependant, les coûts d'inférence élevés des modèles à grande échelle limitent leur déploiement pratique, ce qui motive la distillation de ces capacités d'utilisation d'outils vers des modèles de langage de petite taille (SLM).

Les méthodes de distillation actuelles reposent principalement sur l'apprentissage supervisé (SFT), où les modèles étudiants sont entraînés pour répliquer strictement les trajectoires générées par le modèle enseignant. Les auteurs identifient que cet alignement rigide avec des distributions de jetons statiques entrave l'autonomie exploratoire des SLM aux capacités limitées, entraînant une faible généralisation hors domaine (OOD).

Bien que l'apprentissage par renforcement (RL) offre une alternative en permettant aux modèles d'apprendre par l'interaction, la conception de structures de récompense pour les SLM présente un dilemme majeur :

1. Récompenses de résultat éparses : Fournir des récompenses uniquement pour la justesse finale offre un guidage insuffisant, menant à une exploration inefficace et à l'évitement des outils.
2. Correspondance de trajectoire stricte : Imposer une réplication exacte de la séquence impose un fardeau d'optimisation trop restrictif aux SLM, entravant leur capacité à apprendre la logique stratégique sous-jacente et à s'adapter à des outils inédits.

L'article postule que les SLM présentent un « comportement d'utilisation d'outils fragile » caractérisé par un décalage entre la fréquence d'invocation des outils et les taux de réussite, ce qui se traduit souvent par des appels d'outils invalides et un désalignement stratégique avec l'enseignant.

Méthodologie : MENTOR

Pour remédier à ces limitations, les auteurs proposent MENTOR (Model Enhancement by Non-rigid Teacher-Optimized Rewards), un cadre d'apprentissage par renforcement conçu pour combler le fossé stratégique entre l'enseignant et l'étudiant grâce à une structure de récompense flexible et sensible au processus.

Cadre Fondamental

MENTOR utilise l'algorithme de Group Relative Policy Optimization (GRPO). Au lieu de traiter la trajectoire de l'enseignant comme une cible rigide pour une correspondance séquentielle, il sert de référence stratégique pour guider le processus exploratoire de l'étudiant.

Conception de Récompense Flexible

L'innovation centrale réside dans un signal de récompense composite $R(O^{(s)}, O^{(t)})$ qui équilibre trois composantes :
$$R = w_c R_c + w_a R_a + w_v R_v$$

1. Récompense de Correction ($R_c$) : Un signal binaire (1 ou 0) indiquant si la réponse finale de l'étudiant correspond au résultat de l'enseignant (vérifié par rapport à la vérité de terrain). Cela garantit que le modèle reste orienté vers la tâche.
2. Récompense d'Alignement avec l'Enseignant ($R_a$) : Contrairement à la correspondance de séquence stricte, cette composante utilise une approche de correspondance basée sur des ensembles. Elle récompense l'étudiant si l'ensemble des outils utilisés correspond à l'ensemble des outils de l'enseignant, indépendamment de l'ordre d'exécution ou du nombre d'appels. Cela encourage l'étudiant à adopter la stratégie de sélection d'outils de haut niveau de l'enseignant tout en permettant de la flexibilité dans le chemin de raisonnement.
3. Récompense de Validation d'Outil ($R_v$) : Un signal binaire qui pénalise les appels d'outils invalides ou malformés. Cette composante est cruciale pour les SLM, qui sont sujets aux erreurs d'exécution, garantissant que le modèle apprenne à générer du code exécutable.

Le cadre permet à l'étudiant d'explorer des chemins de raisonnement alternatifs valides utilisant les bons outils, plutôt que de forcer une imitation littérale jeton par jeton de la trajectoire de l'enseignant.

Contributions Clés

1. Identification du Dilemme de la Récompense : Les auteurs démontrent empiriquement que les SLM aux capacités limitées font face à un goulot d'étranglement où les signaux de résultat éparses ne parviennent pas à induire l'utilisation d'outils, tandis que les contraintes de trajectoire strictes entraînent un excès d'appels invalides et une faible généralisation.
2. Le Cadre MENTOR : Ils introduisent une structure de récompense flexible et sensible au processus qui atténue ce dilemme. En découplant l'alignement stratégique (sélection d'outils) des contraintes séquentielles rigides, MENTOR fournit un guidage modéré qui s'adapte aux capacités limitées du SLM.
3. Validation Empirique : Des expériences approfondies sur plusieurs benchmarks montrent que MENTOR surpasse significativement les approches SFT et les bases de comparaison de RL strict, particulièrement dans les scénarios OOD.

Résultats Expérimentaux

Les auteurs ont évalué MENTOR en utilisant Qwen3-235B comme enseignant et divers modèles Qwen2.5 et Qwen3 (de 1.5B à 8B) comme étudiants.

• Performance In-Domain : Sur les benchmarks de raisonnement mathématique (ex. AIME, AMC, MATH), MENTOR a systématiquement atteint la précision la plus élevée parmi toutes les bases de comparaison, y compris SFT et les autres variantes de RL. Par exemple, sur le modèle 7B, MENTOR a amélioré la précision mathématique globale à 28,63 % contre 26,64 % pour le RL strict et 22,48 % pour le SFT.
• Généralisation Out-of-Domain : MENTOR a démontré une supériorité en zero-shot sur des outils et domaines inédits (BFCL-v4 et tâches RAG). L'alignement flexible a permis aux SLM de s'adapter plus efficacement aux nouveaux schémas d'appel d'outils que les modèles entraînés avec une correspondance de trajectoire rigide.
• Analyse Comportementale :
  • Utilisation d'Outils : Les modèles entraînés avec MENTOR présentaient des distributions d'utilisation d'outils étroitement alignées avec l'enseignant, tandis que les modèles SFT conservaient des habitudes d'invocation sous-optimales préexistantes.
  • Stabilité : MENTOR a réduit la fréquence des appels d'outils invalides et a éliminé les « boucles de vérification redondantes » observées dans les bases de comparaison SFT et RL strict, où les modèles continuaient d'appeler des outils même après avoir dérivé la réponse correcte.
  • Études d'Ablation : Le retrait de la récompense d'alignement avec l'enseignant ($R_a$) ou de la récompense de validation d'outil ($R_v$) a entraîné des chutes de performance significatives, confirmant la nécessité de la structure de récompense composite.

Signification et Revendications

L'article affirme que, dans les environnements d'utilisation d'outils vérifiables, l'alignement flexible de l'utilisation d'outils est plus efficace que la réplication stricte de la trajectoire pour développer des petits modèles adaptables.

• Apprentissage Stratégique vs Imitatif : Les résultats suggèrent que les SLM n'ont pas besoin de mémoriser des séquences de jetons spécifiques pour apprendre l'utilisation d'outils ; ils bénéficient plutôt de l'apprentissage de la logique stratégique de la sélection d'outils (c'est-à-dire quels outils utiliser) tout en conservant l'autonomie de déterminer comment les séquencer.
• Combler l'Écart de Capacité : MENTOR réduit efficacement l'écart de performance entre les modèles 1.5B–8B et leur enseignant 235B, offrant une voie viable pour le déploiement d'agents IA capables sur les appareils sans dépendre d'infrastructures cloud coûteuses.
• Limitations : Les auteurs notent modestement que leur approche suppose que le modèle étudiant possède une capacité initiale à générer des appels d'outils exécutables (nécessitant souvent un bref pré-entraînement SFT). Ils reconnaissent également que l'évaluation actuelle est limitée aux contextes contrôlés d'outils exécutables (mathématiques et recherche) et n'aborde pas encore la complexité des environaux interactifs du monde réel (ex. navigation web, suivi d'état multi-étapes).

En conclusion, MENTOR propose que l'avenir de la distillation d'utilisation d'outils ne réside pas dans l'imposition d'une imitation parfaite des modèles plus grands, mais dans la fourniture de signaux flexibles guidés par l'enseignant qui respectent les contraintes de capacité tout en favorisant des stratégies de raisonnement robustes et généralisables.