MidTool: Mid-training Data Synthesis for Agentic Tool Use

Les modèles de langage de grande taille sont les moteurs d'une nouvelle génération d'assistants numériques, capables de lire, d'écrire et de raisonner avec une fluidité quasi humaine. Pour que ces systèmes soient véritablement utiles, ils doivent faire plus que simplement répondre à des questions ; ils doivent être capables d'agir. Cela signifie savoir quand solliciter un outil, tel qu'une calculatrice, un moteur de recherche ou une interface logicielle, et l'utiliser correctement pour résoudre un problème. Dans le paysage actuel de l'intelligence artificielle, les chercheurs ont largement traité cette capacité à utiliser des outils comme une étape finale de l'entraînement. Ils prennent un modèle puissant, pré-entraîné, puis lui apprennent spécifiquement comment appeler des fonctions ou interagir avec des logiciels par un processus de réglage fin (fine-tuning). Cependant, cette approche fait peser une lourde charge sur cette étape finale, forçant le modèle à apprendre des comportements complexes, comme la planification d'une séquence d'actions ou la récupération après une information manquante, tout cela d'un seul coup, et souvent sans une fondation profonde de la manière dont ces outils fonctionnent réellement dans le monde réel.

Une équipe de chercheurs de l'Université de Washington et de Snowflake a proposé une voie différente. Ils suggèrent que la capacité à utiliser des outils devrait être cultivée plus tôt dans la vie du modèle, lors d'une étape intermédiaire de l'entraînement qui se situe entre l'apprentissage large initial et l'instruction spécialisée finale. Ils appellent ce processus le « mid-training » (entraînement intermédiaire). Pour tester cette idée, ils ont construit un ensemble de données massif et personnalisé, conçu spécifiquement pour enseigner aux modèles comment interagir avec des outils. Ils ont nommé leur projet MidTool. En injectant ces données spécialisées dans leurs modèles avant les étapes finales d'entraînement, ils ont découvert que les modèles apprenaient à utiliser les outils plus efficacement, avec une meilleure compréhension de la planification des actions et de la gestion des erreurs, que les modèles qui ne recevaient que l'entraînement final standard.

Les chercheurs ont commencé par rassembler une collection diversifiée de matériels contenant la connaissance brute du fonctionnement des outils. Ils n'ont pas seulement cherché des exemples d'utilisation d'outils ; ils ont collecté les manuels, le code, la documentation et les spécifications techniques qui décrivent comment ces outils sont censés fonctionner. Cela comprenait des millions de pages web, des milliers de documents techniques au format PDF, de vastes répertoires de code informatique et des définitions structurées d'interfaces de programmation d'applications (API) du monde réel. Ils ont traité ces sources comme les « manuels scolaires » de leurs étudiants IA. À partir de cette matière brute, ils ont créé un mélange d'entraînement contenant 20,3 milliards de tokens, une mesure de la quantité de texte traité. Ce mélange était soigneusement équilibré, puisant environ 42 % dans des documents web, 26 % dans du code, 23 % dans des PDF et 9 % dans des exemples directs et synthétisés d'agents utilisant des outils.

Pour transformer cette collection statique de documents en une expérience d'apprentissage dynamique, les chercheurs ont utilisé une approche à deux volets pour générer des exemples d'entraînement. La première méthode se concentrait sur l'ancrage (grounding). Ils ont pris des documents techniques et du code, puis ont demandé au modèle d'imaginer des scénarios où un utilisateur aurait besoin d'utiliser les outils décrits dans ces textes. Le modèle devait apprendre à lire un manuel désordonné ou un extrait de code complexe, identifier quels outils étaient disponibles et déterminer quelles informations étaient nécessaires pour les utiliser. Cela a appris au modèle à reconnaître les « affordances » d'un outil — ce qu'il est capable de faire — en fonction du contexte. La seconde méthode se concentrait sur l'exécution. Ici, les chercheurs ont utilisé de vraies définitions d'outils pour générer des récits étape par étape d'un agent résolvant un problème. Ces réces incluaient l'agent élaborant un plan, appelant un outil, recevant une réponse, puis décidant de la suite des opérations. Crucialement, ces exemples incluaient également des scénarios où l'information était manquante ou l'outil échouait, enseignant au modèle comment se rétablir et demander des clarifications plutôt que d'abandonner ou de deviner.

L'équipe a testé cette approche en utilisant deux versions d'un modèle de langage de base, l'une de 4 milliards de paramètres et l'autre de 8 milliards. Ils ont entraîné ces modèles sur leur nouvel ensemble de données MidTool, puis ont appliqué les étapes d'entraînement final standard utilisées par d'autres chercheurs. Ils ont ensuite soumis les modèles à des tests sur trois benchmarks différents conçus pour mesurer la capacité d'une IA à utiliser des outils. Ces tests allaient de commandes simples en une seule étape à des tâches complexes en plusieurs étapes nécessitant l'interaction avec de véritables environnements logiciels. Les résultats ont montré un schéma clair : les modèles ayant bénéficié du mid-training ont systématiquement surpassé ceux qui n'en avaient pas bénéficié. L'amélioration était la plus notable dans les tâches les plus difficiles, particulièrement celles exigeant plusieurs étapes ou la capacité à gérer des outils inconnus. Par exemple, sur un test mesurant la capacité à utiliser des outils dans une conversation multi-tours, le modèle de 4 milliards de paramètres a vu son score bondir de plus de 10 points par rapport à un modèle ayant uniquement reçu l'entraînement final.

L'étude a également révélé les limites de cette approche. Bien que les modèles entraînés par mid-training soient devenus nettement meilleurs dans l'utilisation générale des outils, ils ne sont pas devenus experts dans chaque type de tâche. Testés sur un benchmark spécifique impliquant une recherche web profonde et itérative, les modèles n'ont pas montré le même niveau d'amélioration. Cela suggère que si une base générale aide à comprendre comment utiliser les outils et suivre des instructions, des comportements hautement spécialisés comme la recherche approfondie ou l'exploration complexe peuvent nécessiter leurs propres données d'entraînement dédiées. Les chercheurs ont constaté que le mid-training fournissait une base forte et stable qui rendait l'entraînement final ultérieur plus efficace. Les modèles apprenaient à converger plus rapidement et atteignaient des niveaux de performance plus élevés, indiquant que l'étape de mid-training les aidait à construire une meilleure compréhension interne de la manière dont les outils s'articulent entre eux.

Ce travail remet en question l'hypothèse prédominante selon laquelle l'utilisation d'outils est simplement une compétence que l'on ajoute à la toute fin du développement d'un modèle. Au contraire, il suggère que la capacité à interagir avec le monde via des outils est une capacité fondamentale qui gagne à être tissée dans le savoir central du modèle. En exposant les modèles à la structure de la documentation des outils et à la logique des flux de travail des outils très tôt, les chercheurs ont créé un système plus robuste et adaptable. Les conclusions impliquent que pour que la prochaine génération d'agents IA soit véritablement efficace, leur entraînement doit inclure une phase dédiée où ils apprennent non seulement quels outils existent, mais aussi comment les reconnaître, planifier avec eux et se rétablir lorsque les choses tournent mal. Cette étape intermédiaire de l'entraînement semble être la clé pour débloquer une forme d'agence plus naturelle et fiable dans l'intelligence artificielle.