Training on Broken Contexts: Source Loss and Repair in Tool-Augmented LLM Post-Training
Cet article identifie et quantifie un échec critique dans l'entraînement des LLM augmentés par des outils, où les politiques de construction de séquences standards rompent le lien entre les cibles de l'assistant et leurs observations d'outils sources, et propose des stratégies de reconstruction qui améliorent significativement la couverture de la supervision et l'intégrité du contexte tout en réduisant la redondance des jetons.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les assistants d'intelligence artificielle modernes sont de plus en plus conçus pour agir comme des agents capables de solliciter des outils externes afin de résoudre des problèmes. Lorsqu'un utilisateur pose une question, le modèle peut décider d'appeler une base de données, de vérifier un service météorologique ou de récupérer le statut d'une commande. Pour apprendre à un modèle comment faire cela, les chercheurs lui fournissent des milliers d'exemples de ces interactions. Ces exemples ne sont pas de simples questions et réponses ; ce sont des conversations complexes contenant la requête de l'utilisateur, la décision du modèle d'utiliser un outil, les données brutes renvoyées par cet outil, et enfin, la réponse du modèle qui utilise ces données pour répondre à l'utilisateur. L'objectif de l'entraînement est de montrer au modèle l'histoire complète afin qu'il apprenne à relier les points entre le résultat d'un outil et la réponse finale.
Cependant, il existe une étape cachée dans ce processus qui se produit après que les conversations ont été rédigées, mais avant que le modèle ne les apprenne réellement. Pour faire tenir ces longues histoires dans la mémoire de l'ordinateur, le logiciel d'entraînement doit les découper, les réorganiser ou les tronçonner pour qu'elles respectent une limite de taille spécifique. Cet article examine ce qui se passe lorsque ce découpage et cette réorganisation échouent. Les chercheurs ont posé une question simple mais critique : lorsque l'ordinateur découpe une conversation pour la faire tenir dans un créneau d'entraînement, arrive-t-il parfois qu'il conserve la réponse finale tout en jetant accidentellement les données de l'outil sur lesquelles cette réponse était basée ? Si le modèle est évalué sur une réponse, mais que la preuve de cette réponse est absente de sa vue, on demande au modèle d'apprendre un tour de magie plutôt qu'un processus logique.
Les chercheurs ont examiné trois grandes collections de conversations utilisant des outils qui sont couramment utilisées pour entraîner ces systèmes. Ils ont construit un système de suivi qui suivait chaque morceau de texte de la conversation originale à travers le processus de découpage et de réorganisation. Ils ont cherché spécifiquement les moments où le modèle était censé apprendre d'une valeur renvoyée par un outil, telle qu'un numéro de commande spécifique ou un code d'erreur, et ont vérifié si cette valeur était toujours visible pour le modèle lorsqu'il apprenait à rédiger la réponse. Ils ont testé cela sur différentes tailles de blocs d'entraînement, allant de très courts à assez longs, et ont utilisé plusieurs méthodes différentes pour décider comment le logiciel découpe et empaquette le texte.
Les résultats ont révélé un problème significatif avec la préparation actuelle de certaines données d'entraînement. Lorsque le logiciel utilise une méthode qui divise les longues conversations en morceaux plus petits pour les faire tenir dans une taille fixe, il sépare fréquemment la réponse des données de l'outil sur lesquelles elle repose. Dans l'un des ensembles de données étudiés, près de quarante pour cent des réponses conservées étaient enseignées au modèle sans l'observation de l'outil qui les justifiait. Dans un autre ensemble de données, environ vingt pour cent des réponses étaient similairement orphelines. Cela signifie que le modèle est récompensé pour générer un texte qu'il ne peut pas nécessairement connaître, car la preuve dont il a besoin a été coupée et placée dans une autre partie de la séquence d'entraînement que le modèle ne peut pas voir à ce moment précis.
L'étude a également découvert que la manière dont les données sont découpées modifie ce que le modèle apprend réellement. Une méthode courante d'empaquetage, qui tente de faire tenir autant d'exemples que possible dans un seul bloc sans les diviser, évite entièrement ce problème de séparation. Cependant, cette méthode est si stricte qu'elle rejette la majeure partie des données d'entraînement, ne conservant qu'une infime fraction des conversations originales. Les chercheurs ont montré qu'il existe un compromis : les méthodes qui conservent presque toutes les données rompent souvent le lien entre l'outil et la réponse, tandis que les méthodes qui maintiennent le lien intact rejettent souvent trop de données pour être utiles.
Pour corriger cela, les chercheurs ont proposé une nouvelle façon de reconstruire les exemples d'entraînement. Au lieu de découper aveuglément le texte, ils ont suggéré de regrouper les parties liées d'une même conversation afin que les données de l'outil et la réponse restent toujours dans la même fenêtre de visualisation. Ils ont découvert qu'en regroupant soigneusement ces pièces, ils pouvaient conserver le même nombre de bonnes réponses tout en utilisant moins de mémoire informatique et en éliminant des milliers de morceaux dupliqués. Ils ont également découvert que, pour certains ensembles de données, la liste des règles décrivant comment utiliser un outil prend tellement de place qu'elle expulse la conversation réelle de la fenêtre. En simplifiant ces listes de règles pour ne montrer que les parties spécifiques nécessaires pour un seul appel, ils ont pu intégrer beaucoup plus d'exemples utiles dans le processus d'entraînement.
Enfin, les chercheurs ont examiné le code logiciel utilisé par de nombreux développateurs pour préparer ces données et y ont trouvé une erreur cachée dans une version largement utilisée. Cette erreur a provoqué le fait que le logiciel répète accidentellement des parties du texte ou mélange l'ordre des mots lors du traitement de grands lots de données, créant un flux d'informations qui ne correspondait plus du tout à la conversation originale. Cette découverte souligne que le problème ne réside pas seulement dans les données elles-mêmes, mais aussi dans les outils utilisés pour les préparer. L'article conclut que la manière dont les données d'entraînement sont construites est tout aussi importante que les données elles-mêmes. Si le lien entre la sortie d'un outil et la réponse du modèle est rompu lors de la préparation, le modèle ne peut pas apprendre à utiliser l'outil correctement, peu importe la quantité de données qu'il voit. Les chercheurs insistent sur le fait que les futurs systèmes d'entraînement doivent vérifier que le contexte requis pour une réponse est réellement présent lorsque le modèle apprend à partir de celle-ci.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.