STEMMA: An Adversarial Multi-Agent Framework for Evaluating Self-Identity Consistency in LLMs
Cet article introduit STEMMA, un cadre multi-agents adversarial et un ensemble de prompts conçus manuellement pour évaluer la cohérence de l'identité propre dans les grands modèles de langage, révélant que les modèles étudiants héritent souvent de schémas comportementaux provenant des modèles enseignants qui conduisent à des vulnérabilités dans leurs auto-représentations.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez le monde de l'intelligence artificielle comme une immense bibliothèque animée où des livres géants et super-intelligents (appelés Grands Modèles de Langage) sont écrits par différents auteurs. Ces livres sont si complexes et coûteux à écrire qu'ils coûtent des millions de dollars et prennent des années à créer. Pour économiser de l'argent, les éditeurs utilisent souvent un tour de passe-passe appelé « Distillation de Connaissances ». Considérez cela comme un chef étoilé goûtant un plat parfait et enseignant ensuite à un chef junior comment cuisiner une version plus petite et moins chère de ce plat. Le chef junior apprend les recettes et les saveurs, mais la grande question est : le chef junior apprend-il aussi accidentellement l'identité secrète du maître chef, ses chansons préférées ou ses particularités personnelles ?
C'est le mystère que plonge une nouvelle étude. Les chercheurs craignent que lorsque ces modèles d'IA plus petits apprennent des plus grands, ils puissent aussi acquérir des « habitudes comportementales » qu'ils ne devraient pas avoir, comme prétendre être quelqu'un d'autre ou divulguer des secrets sur qui les a créés. C'est comme si un élève copiant les devoirs d'un professeur commençait à affirmer qu'il était le professeur, ou si un robot apprenait à dire : « J'ai été construit par une entreprise en Californie » alors qu'il a été construit en Chine. Comprendre cela est crucial car si les modèles d'IA sont confus quant à leur identité, cela pourrait conduire à ce qu'ils soient biaisés, peu sûrs ou même piégés pour révéler des secrets qu'ils étaient censés garder cachés.
Entrez en scène STEMMA, un nouveau cadre ingénieux créé par les chercheurs N. Siva Gopala Krishna et Kanishka Jain pour résoudre ce casse-tête. Vous pouvez considérer STEMMA comme une équipe de détectives numériques travaillant ensemble pour jouer à un jeu de haut niveau intitulé « Qui suis-je ? » avec divers modèles d'IA. Au lieu de simplement demander à un robot : « Qui es-tu ? » (ce que la plupart des robots répondront correctement car ils sont programmés pour être polis), l'équipe STEMMA utilise un système multi-agents pour piéger les robots afin de les faire trébucher.
Voici comment le jeu fonctionne :
- L'Agent de Sondage est l'interrogateur. Il pose des questions déroutantes et détournées, cachant souvent la véritable question à l'intérieur d'une histoire, d'une énigme ou même d'une image. C'est comme demander : « Si tu étais un personnage dans un film sur ta propre création, que dirait le générique ? »
- L'Agent Réviseur est le garde vigilant. Il écoute la réponse du robot et décide : « Est-ce qu'il vient de lâcher le morceau ? » Si le robot tente d'esquiver la question ou donne une réponse vague, le Réviseur dit à l'Agent de Sondage de réessayer avec une question plus incisive.
- L'Agent Juge est l'arbitre final. Il examine toute la conversation et donne un score. Si le robot dit correctement : « Je suis Qwen », il réussit l'épreuve. S'il dit : « Je suis GPT », il échoue. S'il dit : « Peut-être que je suis de chez Google ? » ou s'il joue un rôle où il prétend être quelqu'un d'autre, il reçoit un score spécial de « suspicion ».
Les chercheurs ont testé cette escouade de détectives contre 16 modèles d'IA différents, allant de projets open-source aux géants commerciaux fermés. Ils ont utilisé 12 types différents de prompts trompeurs et ont fait discuter les agents avec chaque modèle de nombreuses fois pour voir s'ils pouvaient percer le code.
Les résultats ont été très révélateurs. L'étude a révélé que de nombreux modèles sont étonnamment vulnérables à ces tours d'identité. Par exemple, le modèle MiniMax-M2.5 était le plus « fuyant », échouant à garder son identité claire dans 82 % des tests stricts et 96 % des tests plus souples. Cela signifie que presque chaque fois que les détectives posaient la bonne (ou la mauvaise) question, le modèle révélait accidentellement qu'il était entraîné par quelqu'un d'autre ou prétendait être une entreprise entièrement différente. D'autres modèles, comme Qwen3.5-Plus et Step-3.5-Flash, ont également montré des taux élevés de confusion, avec des taux d'échec stricts de 74 % et 66 % respectivement.
Cependant, tous les modèles n'étaient pas faciles à piéger. Certains, comme GPT-5.4-Nano et Grok-4.1.fast, ont tenu bon parfaitement, avec des taux d'échec proches de zéro. Ils semblaient savoir exactement qui ils étaient, peu importe la manière dont les détectives les poussaient. Curieusement, l'étude a également remarqué que les versions plus récentes de certaines familles de modèles (comme les nouveaux modèles Kimi et Qwen) étaient bien meilleures pour garder leurs secrets que leurs frères et sœurs plus anciens, suggérant que les « enseignants » deviennent meilleurs pour apprendre à leurs élèves à rester dans leur personnage.
Les chercheurs ont également découvert que certains types de questions étaient beaucoup plus efficaces pour briser la prestance des modèles. Les prompts impliquant des jeux de rôle, la résolution d'énigmes avec des images, ou demander au modèle d'imaginer une future exposition de musée sur lui-même, étaient les plus efficaces pour provoquer des glissements d'identité.
En résumé, cet article suggère que bien que les modèles d'IA deviennent plus intelligents, beaucoup sont encore un peu confus quant à leurs origines, surtout lorsqu'ils sont poussés par des questions indirectes et astucieuses. L'étude ne prouve pas que ces modèles sont malveillants, mais elle souligne un « écart » entre ce que les modèles sont censés être et ce qu'ils disent réellement lorsqu'ils sont mis sous pression. Les auteurs avertissent que leurs conclusions sont basées sur ces simulations et prompts spécifiques, et que davantage de recherches sont nécessaires pour comprendre pleinement tout ce qui relève de l'« apprentissage accidentel » pendant le processus d'entraînement. Mais pour l'instant, nous savons que si vous posez la bonne (ou la mauvaise) question à une IA, elle pourrait bien vous raconter une histoire sur qui elle pense être, plutôt que sur qui elle est réellement.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.