Mitigating Exploration Bias in RL for Multi-Instruction Following
Cet article traite du biais d'exploration vers les instructions faciles dans le suivi multi-instructions basé sur l'apprentissage par renforcement en proposant un cadre à deux étapes qui combine le bootstrap comportemental pour activer les instructions difficiles et des récompenses sensibles à la rareté pour les prioriser, améliorant de manière significative la performance du modèle sur les benchmarks vérifiables.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les grands modèles de langage sont les moteurs qui propulsent les chatbots et les assistants d'écriture devenus partie intégrante de la vie quotidienne. À la base, ces systèmes sont conçus pour suivre des instructions, prenant la requête d'un utilisateur pour la transformer en une réponse utile. Depuis des années, les chercheurs utilisent une méthode d'entraînement appelée apprentissage par renforcement pour apprendre à ces modèles comment être meilleurs dans cette tâche. Dans cette approche, le modèle tente de résoudre un problème, reçoit un score basé sur sa performance, et utilise ce retour d'information pour améliorer sa tentative suivante. C'est une manière puissante de raffiner le comportement, un peu comme l'entraînement d'un animal avec des friandises, mais appliqué au raisonnement numérique complexe. Cependant, une nouvelle étude suggère que lorsque ces modèles sont confrontés à une requête unique contenant plusieurs règles ou contraintes différentes, la méthode d'entraînement standard échoue souvent. Au lieu d'apprendre à satisfaire chaque partie de la requête, le modèle a tendance à ignorer les parties difficiles et à se concentrer uniquement sur les parties faciles, laissant l'utilisateur avec une réponse qui n'est que partiellement correcte.
Les chercheurs derrière cette étude, travaillant avec des équipes d'universités du Texas et de Californie, ont cherché à comprendre pourquoi cela se produit et comment le corriger. Ils ont découvert que le problème provient de deux questions principales. Premièrement, lorsqu'un modèle commence son entraînement, il est souvent trop faible pour résoudre les parties les plus difficiles d'une requête complexe. Parce qu'il ne peut pas réussir ces tâches difficiles, il n'obtient jamais le retour positif nécessaire pour les apprendre, et finit donc simplement par arrêter d'essayer. Deuxièmement, le système de notation utilisé pendant l'entraînement traite chaque instruction comme étant égale. Si un modèle satisfait une règle facile et une règle difficile, il obtient le même score total que s'il avait satisfait deux règles faciles. Cela encourage le modèle à poursuivre les victoires faciles pour augmenter rapidement son score, plutôt que de lutter à travers les contraintes difficiles qui demandent plus d'efforts. Le résultat est un modèle biaisé vers la voie facile, laissant les défis plus difficiles inexplorés.
Pour résoudre cela, l'équipe a proposé un cadre en deux étapes conçu pour forcer le modèle à prêter attention aux instructions difficiles. La première étape est une phase de préparation qu'ils appellent le « bootstrapping comportemental ». Avant que l'entraînement principal ne commence, les chercheurs identifient les types spécifiques d'instructions que le modèle ne parvient pas à suivre actuellement. Ils génèrent ensuite un petit ensemble ciblé d'exemples où le modèle est guidé pour réussir ces tâches difficiles spécifiques. En s'entraînant sur ces données de haute qualité pendant une courte période, le modèle « réveille » sa capacité à gérer ces contraintes difficiles. Il ne s'agit pas d'enseigner tout au modèle à partir de zéro, mais plutôt de lui donner une petite impulsion pour garantir qu'il ait une chance de réussir avant que l'entraînement principal ne commence. Cette étape garantit que le modèle ne renonce pas immédiatement aux parties difficiles lorsque le véritable entraînement débute.
La seconde étape consiste à modifier la façon dont le modèle est récompensé pendant la phase d'entraînement principale. Au lieu de donner le même poids à chaque instruction, les chercheurs ont introduit une nouvelle méthode de notation qui prête attention à la rareté ou à la difficulté d'une instruction spécifique. Si le modèle suit avec succès une instruction qu'il réussit rarement, il reçoit une récompense plus grande. S'il suit une instruction qu'il maîtrise déjà facilement, la récompense est plus petite. Cela crée une forte incitation pour le modèle à explorer le territoire difficile qu'il évitait auparavant. Les chercheurs ont également ajouté un bonus pour la combinaison réussie d'instructions. Si un modèle parvient à satisfaire deux règles en même temps, surtout lorsque ces règles sont difficiles à combiner, il reçoit un crédit supplémentaire. Cela encourage le modèle à chercher des solutions qui satisfont l'ensemble des contraintes, plutôt que de simplement choisir et sélectionner les plus faciles.
L'équipe a testé ces idées en utilisant deux versions différentes d'un modèle de langage, l'une avec 1,7 milliard de paramètres et une autre avec 7 milliards. Ils ont entraîné ces modèles sur un ensemble de données contenant des requêtes comportant trois à cinq instructions chacune. Les résultats ont été frappants. Les modèles entraînés avec la nouvelle méthode en deux étapes ont nettement surpassé ceux entraînés avec l'approche standard. Sur un ensemble de tests primaire conçu pour vérifier le respect des instructions, le meilleur modèle a amélioré sa précision de plus de neuf points par rapport à la méthode standard. Cette amélioration était si substantielle que le plus petit modèle de 1,7 milliard, lorsqu'il était entraîné avec cette nouvelle méthode, a performé aussi bien que des modèles commerciaux beaucoup plus grands qui possèdent des dizaines de fois plus de puissance de calcul. Les chercheurs ont également mesuré l'équilibre de la performance du modèle et ont constaté que la nouvelle méthode a réussi à réduire l'écart entre la manière dont le modèle gérait les instructions faciles par rapport aux instructions difficiles.
L'étude a également examiné ce qui se passe à l'intérieur du modèle pendant l'entraînement. Ils ont observé que la méthode d'entraînement standard provoquait la perte de la capacité du modèle à explorer différentes possibilités, un phénomène connu sous le nom de « effondrement de l'entropie », où le modèle reste bloqué dans une boucle étroite de réponses sûres et faciles. En revanche, la nouvelle méthode a maintenu vivante l'exploration du modèle, lui permettant de continuer à rechercher des solutions complexes. Les chercheurs ont noté que l'approche fonctionne mieux lorsque les données d'entraînement sont soigneusement équilibrées ; trop de données dans la phase de préparation initiale pourrait en réalité nuire à la flexibilité du modèle par la suite. Bien que la méthode ait été testée sur des instructions pouvant être vérifiées par un programme informatique, les chercheurs reconnaissent que l'appliquer à des requêtes plus ouvertes, telles que celles impliquant le style ou le ton, nécessiterait des travaux supplémentaires. Néanmoins, les conclusions offrent une voie claire pour rendre l'intelligence artificielle plus fiable face à des requêtes complexes et multidimensionnelles. En s'attaquant au biais vers la voie facile, ce travail aide à garantir que ces outils puissants peuvent véritablement suivre toute l'étendue de l'intention d'un utilisateur.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.