Imaginez que vous essayiez de découvrir si un nouveau livre mystérieux a été écrit par le même auteur qu'un grand classique que vous adorez. Dans le monde de l'intelligence artificielle, c'est un problème colossal. Nous avons des cerveaux informatiques géants appelés Grands Modèles de Langage (LLM) qui écrivent des histoires, résolvent des problèmes mathématiques et discutent avec nous. Mais ces modèles sont souvent modifiés, mélangés ou réduits pour fonctionner sur des appareils plus petits. Parfois, des gens prennent un modèle protégé, le modifient légèrement et le vendent comme étant le leur sans permission. Pour les attraper, nous devons prouver l'arbre généalogique du modèle, sa provenance.

La partie délicate est que ces modèles d'IA sont comme des caméléons. Si vous posez la même question d'une manière légèrement différente, ou si le modèle a été modifié pour être plus rapide, il peut donner une réponse complètement différente, même s'il s'agit du même « cerveau » en dessous. Les méthodes précédentes tentaient de démasquer ces modèles en examinant les mots exacts qu'ils choisissaient, mais c'est comme essayer d'identifier une personne uniquement par sa tenue vestimentaire ; si elle change de vêtements, vous pourriez ne pas la reconnaître. Les scientifiques avaient besoin d'un moyen de regarder au-delà de la surface et de voir la structure profonde et immuable de la pensée du modèle.

C'est là qu'une équipe de l'Université d'Oxford intervient avec une idée ingénieuse appelée Stemma. Voyez cela comme un détective qui cesse de demander : « Qu'est-ce que vous portiez aujourd'hui ? » et commence à demander : « Si je vous présente un menu avec quatre options, laquelle choisissez-vous ? ». Les chercheurs ont réalisé que même si une IA change de personnalité ou de formulation, elle a toujours tendance à choisir la même catégorie de réponse lorsqu'elle est confrontée à un choix spécifique. Ils appellent ces préférences cachées des « régions de décision induites ».

L'équipe a testé cela en créant un système d'empreintes digitales qui ne se soucie pas des mots sophistiqués utilisés par l'IA, mais se concentre plutôt sur les choix qu'elle fait. Ils ont découvert que si deux modèles sont liés (comme un parent et un enfant), ils choisiront presque toujours la même option à partir d'une liste de choix, même si la liste est mélangée ou si le modèle est déployé dans un environnement totalement différent. Les modèles non apparentés, en revanche, choisissent des options différentes. En testant cette « cohérence de choix » à travers des centaines de modèles différents et des milliers de questions, Stemma a prouvé qu'il était incroyablement efficace pour identifier les liens de parenté. Dans leurs tests, il a correctement identifié des modèles apparentés 96,7 % du temps et a pu détecter un modèle lié même lorsqu'il n'y avait qu'une chance de 1 % de fausse alerte. C'est un moyen robuste de dire : « Oui, ce nouveau modèle suspect est définitivement lié à l'original », sans avoir besoin de voir le code secret du modèle.

La nouvelle loupe du détective

Alors, comment cela fonctionne-t-il réellement ? L'article introduit un concept appelé Régions de Décision Induites. Imaginez que vous avez une immense pièce désordonnée remplie d'infinités de possibilités (c'est ainsi que l'IA fonctionne habituellement). Il est difficile de savoir si deux personnes sont dans la même pièce s'ils errent simplement au hasard. Mais, et si vous placiez une clôture au milieu de la pièce et demandiez à chacun de choisir un côté ? Soudain, vous avez une « région de décision » claire.

Les chercheurs ont réalisé que si les modèles d'IA peuvent être imprévisibles avec des questions ouvertes, ils sont étonnamment cohérents lorsqu'ils sont contraints de faire un choix entre des options spécifiques, comme lors d'un QCM. Ils appellent la zone où un modèle choisit systématiquement une réponse spécifique sa « région de décision induite ».

L'article soutient que les méthodes précédentes étaient trop concentrées sur la « forme de surface » — les mots exacts que l'IA recrache. Si vous demandez à une IA d'« écrire un poème sur un chat » et que vous lui demandez ensuite de « composer un vers sur un félin », un modèle apparenté pourrait vous donner deux poèmes très différents, les faisant paraître sans lien. Mais si vous demandez aux deux modèles : « La réponse est-elle A, B, C ou D ? », ils pointeront probablement vers la même lettre, même s'ils l'expliquent différemment. Stemma ignore la poésie et ne regarde que la lettre.

Les trois règles du jeu

Pour construire son empreinte, l'équipe n'a pas simplement choisi des questions au hasard. Elle a dû être intelligente. Elle a créé un système qui sélectionne les questions en se basant sur trois règles strictes, qu'elle appelle Stabilité, Robustesse et Spécificité.

1. Stabilité : Imaginez que vous avez une question avec quatre réponses : A, B, C et D. Si vous mélangez l'ordre pour obtenir D, C, B, A, un modèle stable devrait toujours choisir la même idée, même si la lettre change. Stemma n'utilise que des questions où le modèle est cohérent, peu importe la façon dont on mélange les cartes.
2. Robustesse : Il s'agit d'être sûr de son choix. Si un modèle hésite juste sur le bord entre deux réponses, un léger changement dans le système pourrait le faire basculer. Stemma recherche des questions où le modèle est pleinement confiant dans un coin de la salle de décision, loin des murs.
3. Spécificité : C'est la partie la plus importante. Vous ne voulez pas une question où chaque modèle choisit la même réponse (comme « Le ciel est-il bleu ? »). Ce n'est pas une empreinte digitale ; c'est juste du bon sens. Stemma recherche des questions où le modèle original choisit une réponse spécifique que les autres modèles non apparentés choisissent généralement mal. Si un modèle suspect choisit également cette réponse rare et spécifique, c'est un signe fort qu'ils sont apparentés.

Le grand test

Les chercheurs ont mis Stemma à l'épreuve avec une expérience massive. Ils ont rassemblé 56 modèles d'IA publics (les « sources ») et ont créé 770 paires de suspects. Certains suspects étaient des copies directes, d'autres des versions affinées (fine-tuned), d'autres des modèles fusionnés avec d'autres, et certains étaient complètement différents. Ils ont également testé 1 260 paires déployées de différentes manières, comme en changeant les paramètres de température ou en ajoutant des instructions de jeu de rôle.

Les résultats ont été frappants. Stemma a atteint un AUC de 0,967 (un score où 1,0 est parfait) et a pu identifier un modèle lié 87,8 % du temps tout en maintenant les fausses alertes à seulement 1 %. Lorsqu'ils ont testé le système sur des modèles déployés dans divers contextes réels (comme l'ajout d'un prompt de « sécurité » ou le changement de la méthode de réflexion étape par étape), le score est même monté à 0,995 AUC.

Comparez cela aux autres méthodes testées (comme LLMmap, LLMPrint et d'autres). Ces méthodes ont eu du mal, performant souvent non mieux qu'un choix aléatoire lorsque les modèles étaient modifiés ou déployés différemment. L'article suggère que ces anciennes méthodes reposent trop sur les mots spécifiques que l'IA génère, lesquels changent facilement. Stemma, en se concentrant sur les régions de décision sous-jacentes, reste stable.

Ce que cela signifie (et ce que cela ne signifie pas)

L'article est très clair sur ce que Stemma est et n'est pas. C'est une méthode de type « boîte noire » (black-box), ce qui signifie que vous n'avez pas besoin de voir le code interne ou les poids du modèle ; vous lui posez simplement des questions et observez ce qu'il choisit. Cela rend la méthode pratique pour l'audit en conditions réelles.

Cependant, les auteurs prennent soin de ne pas présenter cela comme une solution miracle. Ils notent que Stemma fournit une preuve statistique, et non une preuve absolue. C'est comme un test ADN qui dit : « Il y a 99 % de chances que ces deux-là soient apparentés », mais ce n'est pas un verdict de tribunal en soi. Ils préviennent également que si un attaquant connaissait exactement les questions utilisées par Stemma, il pourrait potentiellement entraîner son modèle pour tricher sur ces questions spécifiques. Mais comme Stemma utilise un vaste réservoir de questions et sélectionne les meilleures à la volée, c'est difficile à réaliser.

L'article souligne également une limite : Stemma repose actuellement sur des questions à choix multiples. Si un modèle est trop faible pour comprendre un format à choix multiples, cette méthode pourrait ne pas fonctionner. Mais pour la grande majorité des modèles capables existants, cette nouvelle approche consistant à cartographier le chaos ouvert en un espace de décision fini semble être la clé pour déverrouiller le véritable arbre généalogique des modèles d'IA.

En fin de compte, Stemma est un rappel que bien que les modèles d'IA puissent porter de nombreux masques et parler avec de nombreuses voix, leur logique fondamentale laisse une empreinte digitale qu'il est étonnamment difficile d'effacer. En posant les bonnes questions et en regardant au-delà de la surface, nous pouvons enfin commencer à voir qui a réellement écrit le code.