Attribution Consistency in Fine Tuning Makes Refusal Less Sensitive to Paraphrase in a Small Tool Using LLM Agent
Cette étude préliminaire démontre que l'application de la Régularisation d'Attribution Latente (LAR) lors du réglage fin améliore la cohérence de l'attribution d'un petit agent LLM utilisant des outils, réduisant ainsi sa sensibilité aux requêtes malveillantes paraphrasées et stabilisant les décisions de refus sans compromettre de manière significative la performance de détection, bien qu'elle risque de provoquer un refus excessif si elle est appliquée à des exemples inoffensifs.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle, il existe une classe croissante de systèmes connus sous le nom d'agents. Contra-irement aux chatbots standards qui se contentent de répondre à des questions, ces agents sont conçus pour agir. Ils peuvent utiliser des outils, exécuter du code ou interagir avec d'autres logiciels pour accomplir des tâches complexes. Cette capacité les rend incroyablement utiles, mais elle augmente également les enjeux de sécurité. Si un chatbot comprend mal une requête nuisible, il peut simplement donner une mauvaise réponse. Si un agent comprend mal la même requête, il peut exécuter une action dangereuse, comme supprimer des fichiers ou envoyer des données privées. Pour prévenir cela, les chercheurs apprennent à ces modèles à refuser les instructions nuisibles. Cependant, cet entraînement à la sécurité est étonnamment fragile. Un modèle peut refuser une requête formulée d'une certaine manière, mais si un humain reformule la même requête en utilisant des mots différents ou une structure de phrase différente, le modèle pourrait soudainement accepter de faire la chose nuisible. Cette incohérence est un obstacle majeur au déploiement d'agents fiables dans le monde réel.
Un chercheur nommé Junaid Hassan s'est donné pour mission de résoudre ce problème spécifique d'incohérence. L'objectif n'était pas seulement de faire en sorte qu'un modèle refuse plus souvent, mais de rendre son refus stable. Un modèle qui refuse tout est cohérent, mais il est aussi inutile car il n'aidera pas pour les tâches inoffensives. Le défi était de trouver un moyen de rendre la décision du modèle de dire « non » robuste face aux changements de formulation, sans le rendre trop prudent pour dire « oui » quand il le devrait. Pour tester cela, le chercheur a travaillé avec un petit modèle d'IA efficace conçu pour utiliser des outils. L'équipe a utilisé un ensemble de données appelé AgentHarm, qui contient des centaines de scénarios où un agent est sollicité pour effectuer des tâches nuisibles, ainsi que des versions sûres de ces mêmes tâches. Crucialement, chaque requête nuisible était associée à plusieurs paraphrases différentes, permettant aux chercheurs de voir si la décision du modèle changeait lorsque les mots changeaient mais que le sens restait le même.
Le chercheur a testé une nouvelle méthode d'entraînement appelée Régularisation par Attribution Latente (Latent Attribution Regularization). En termes simples, cette méthode enseigne au modèle à prêter attention à l'importance des mots qu'il lit de manière cohérente. Lorsque le modèle traite une requête, il attribue un niveau d'importance à chaque mot pour décider de l'action à entreprendre. La pénalité d'entraînement garantit que si la requête est réécrite avec des mots différents, le schéma d'importance attribué aux idées reste le même. Ceci est comparé à une méthode d'entraînement standard qui tente simplement de faire en sorte que le modèle donne la bonne réponse pour la requête originale et la requête réécrite, sans imposer cette cohérence dans sa façon de réfléchir. L'étude a veillé à comparer les deux méthodes de manière équitable, en s'assurant que toute différence de résultats provienne de la technique d'entraînement elle-même et non de la chance ou de quantités de données différentes.
Les résultats ont montré que la nouvelle méthode fonctionnait. Lorsque les modèles étaient ajustés pour refuser un petit pourcentage spécifique de tâches inoffensives afin de garantir qu'ils ne soient pas excessivement prudents, le modèle entraîné avec la méthode de cohérence était nettement plus stable. Dans le groupe d'entraînement standard, environ 25 % des familles de tâches présentaient des résultats mitigés, ce qui signifie que le modèle refusait une version d'une requête mais acceptait une paraphrase de celle-ci. Avec la nouvelle méthode de cohérence, ce chiffre est tombé à 19 %. De plus, le taux auquel le modèle changeait sa décision de « non » à « oui » simplement parce que les mots changeaient est passé d'environ 11 % à 9 %. Les chercheurs ont également mesuré un score qui reflète la probabilité que le modèle refuse, quel que soit un seuil spécifique, et ont constaté que ce score changeait beaucoup moins lorsque la formulation changeait. Cela indique que la logique interne du modèle pour décider de refuser est devenue plus solide.
Il est important de noter que l'étude a confirmé que cette stabilité ne s'est pas faite au détriment de la capacité du modèle à détecter le danger. La nouvelle méthode n'a pas rendu le modèle significativement meilleur ou moins bon pour distinguer une requête nuisible d'une requête inoffensive dans l'ensemble. L'amélioration concernait purement la cohérence du processus de décision. Cependant, la recherche a également mis au jour un cas d'échec significatif qui sert d'avertissement pour les travaux futurs. Lors d'une tentative antérieure, lorsque les chercheurs ont essayé d'apprendre au modèle comment gérer les tâches inoffensives en utilisant uniquement des exemples textuels, le modèle a pris une mauvaise habitude. Il a commencé à refuser presque toutes les requêtes impliquant des outils, même les sûres, et a cessé d'utiliser les outils entièrement. Cela s'est produit parce que les données d'entraînement ne montraient pas au modèle comment utiliser les outils dans un contexte sûr. Cet échec souligne que pour les agents, les données d'entraînement doivent inclure des exemples de la manière d'utiliser les outils en toute sécurité, et pas seulement de la manière de répondre à des questions.
L'étude conclut que rendre la décision de refus d'un agent d'IA cohérente est possible, mais que cela nécessite des techniques d'entraînement spécifiques qui examinent la façon dont le modèle traite l'information, et non seulement la réponse finale. Bien que les résultats soient prometteurs, ils sont préliminaires, basés sur un seul petit modèle et un nombre limité d'essais. Le chercheur note que les travaux futurs devront tester cela sur des modèles plus grands, avec plus de variations dans les données d'entraînement, et avec des examinateurs humains pour s'assurer que les paraphrases sont véritablement équivalentes. Ce travail offre une voie claire : en apprenant aux agents à être cohérents dans la façon dont ils évaluent les mots qu'ils lisent, nous pouvons les rendre plus sûrs et plus fiables, garantissant qu'ils n'acceptent pas accidentellement de faire du mal simplement parce qu'une requête a été formulée différemment.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.