Different Feedback, Different Updates: Selective Self-Learning from User Interactions for Large Language Models
Le document introduit SLIFT, un cadre d'auto-apprentissage sélectif qui décompose le retour utilisateur en corrections valides pour la tâche, en spécifications propres à une condition et en composants nuls afin d'entraîner des adaptateurs LoRA complémentaires, Généraliste et Spécialiste, sur un socle figé, permettant ainsi aux grands modèles de langage de s'améliorer de manière persistante avec des portées de généralisation appropriées.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous enseignez à un robot très intelligent, mais un peu têtu, comment devenir un meilleur interlocuteur. Vous ne voulez pas simplement qu'il mémorise un script ; vous voulez qu'il apprenne de chaque discussion qu'il a avec de vraies personnes. C'est le monde des Grands Modèles de Langage (LLM), les cerveaux d'IA super-intelligents qui se cachent derrière les chatbots et les assistants d'écriture. Ces modèles sont comme de gigantesques bibliothèques de connaissances humaines, mais ils peuvent faire des erreurs, passer à côté du sujet ou donner des réponses qui sont techniquement correctes mais agaçamment ennuyeuses.
Pour les corriger, nous comptons généralement sur le retour de l'utilisateur. Lorsqu'un humain dit : « C'est faux », ou « Rends cela plus court », le modèle reçoit un indice. Mais voici la partie délicate : un seul commentaire d'un utilisateur est souvent un cocktail désordonné de différentes instructions. Une phrase peut dire : « Corrige cette erreur de mathématiques » (une règle stricte), tandis que la suivante dit : « Je préfère un ton humoristique » (une préférence optionnelle), et la troisième dit : « Au fait, raconte-moi une blague sur les chats » (ce qui n'a rien à voir avec le problème de mathématiques d'origine). Si le robot essaie d'apprendre de tout cela à la fois comme s'il s'agissait de la même chose, il pourrait s'embrouiller, commencer à faire des blagues pendant des examens de mathématiques, ou oublier de savoir faire des calculs de base. La grande question que se posent les chercheurs est la suivante : comment apprendre au robot à écouter les bonnes parties d'un message et à ignorer le reste, afin qu'il devienne plus intelligent au fil du temps sans devenir bizarre ?
Ce document présente un nouveau système ingénieux appelé SLIFT (qui signifie Self-Learning from Interaction Feedback via Task-Relative Specialization — Apprentissage auto-dirigé par le feedback d'interaction via la spécialisation relative à la tâche) pour résoudre exactement ce problème. Voyez SLIF comme une équipe super organisée de deux robots travaillant ensemble pour apprendre d'un commentaire utilisateur désordonné.
D'abord, le système agit comme un détective. Lorsqu'un utilisateur envoie un message de feedback, SLIFT le décompose en minuscules morceaux atomiques. Il classe ensuite chaque morceau dans l'un des trois seaux suivants :
- Fix (Corriger) : Ce sont les « indispensables ». Si l'utilisateur a dit : « La réponse est 5, pas 3 », il s'agit d'une règle que chaque future réponse à ce type de question devra suivre. C'est un changement permanent du comportement par défaut du robot.
- Spec (Spécifier) : Ce sont les « agréables à avoir » ou les préférences spécifiques. Si l'utilisateur a dit : « Utilise une analogie culinaire », c'est très bien pour ce problème de mathématiques spécifique, mais peut-être pas pour une question d'histoire. Il s'agit d'un raffinement conditionnel.
- Null (Nul) : Ce sont les parties à « ignorer ». Si un utilisateur demande soudainement un poème sur les chats tout en posant une question de mathématiques, c'est un bruit sans rapport. Cela ne devrait pas modifier la façon dont le robot apprend du tout.
Une fois le feedback trié, SLIFT utilise deux « apprenants » différents (appelés adaptateurs) pour gérer les mises à jour, plutôt que de forcer un seul cerveau à tout faire.
Le premier apprenant est le Généraliste. C'est comme la personnalité centrale du robot. Il ne regarde que les éléments Fix. Si l'utilisateur a signalé une erreur factuelle, le Généraliste apprend à faire en sorte que cette erreur ne se reproduise plus jamais dans ses réponses par défaut. Il « grave » cette correction dans sa mémoire permanente, de sorte qu'il n'ait pas à y réfléchir à chaque fois.
Le second apprenant est le Spécialiste. Celui-ci est le « vérificateur de contexte ». Il ne modifie pas la personnalité centrale du Généraliste. Au lieu de cela, il attend que le Généraliste donne une réponse, puis il demande : « Hé, avons-nous oublié certaines des préférences Spec pour cette situation spécifique ? ». Si le Généraliste a donné une réponse mathématique correcte mais a oublié d'utiliser l'analogie culinaire demandée, le Spécialiste intervient. Il dit : « Garde les maths, mais ajoute l'analogie », et fournit un petit coup de pouce ciblé pour corriger juste ce point précis. Si le Généraliste a déjà tout fait correctement, le Spécialiste se contente de dire : « Garde tel quel », et ne fait rien.
L'article a testé ce système sur deux types de données différents : des chats simulés où un ordinateur jouait le rôle de l'utilisateur, et des chats réels provenant de véritables humains. Les résultats suggèrent que SLIFT fonctionne très bien. Sur les tests simulés, il a considérablement amélioré les scores du modèle par rapport aux autres méthodes. Sur les tests en conditions réelles, il a rendu le modèle meilleur pour suivre les instructions et rédiger des réponses de qualité, sans compromettre sa capacité à résoudre des problèmes de raisonnement complexes.
Les auteurs ont découvert que la clé du succès était de ne pas traiter tout le feedback comme un gros bloc informe. En séparant les règles « à corriger absolument » des préférences « agréables à avoir » et du « bruit » à ignorer, le modèle pouvait apprendre les bonnes choses au bon moment. Le Généraliste est devenu plus intelligent sur les bases, tandis que le Spécialiste a appris à être un éditeur utile pour des situations spécifiques. Cette approche suggère que pour que l'IA apprenne véritablement des humains, elle doit être sélective, sachant exactement ce qu'elle doit mémoriser pour toujours et ce qu'elle ne doit utiliser que pour le moment présent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.