🤖 AI

LLM DNA: Tracing Model Evolution via Functional Representations

Cet article présente « LLM DNA », un cadre sans entraînement fondé sur des principes mathématiques qui extrait des représentations fonctionnelles de faible dimension pour retracer des relations évolutives non documentées et construire des arbres phylogénétiques à travers des centaines de grands modèles de langage.

Auteurs originaux : Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde des grands modèles de langage (LLM) comme une immense bibliothèque chaotique contenant des millions de livres. Certains livres sont des chefs-d'œuvre originaux, d'autres sont des copies, certains des résumés, et d'autres encore des versions réécrites avec de nouveaux chapitres ajoutés. Le problème est que la bibliothèque ne possède pas de catalogue clair. Nous ne savons pas toujours quel livre a été copié à partir de quel autre, ni comment un livre a évolué en un autre. Cela rend difficile de vérifier si un livre respecte les règles (les licences), de repérer si une idée dangereuse (comme une faille de sécurité) a été copiée d'un mauvais livre, ou de comprendre comment la bibliothèque grandit.

Ce papier, intitulé "LLM DNA", propose une solution inspirée par la biologie : donner à chaque modèle d'IA son propre code génétique unique.

L'idée centrale : la génétique de l'IA

Tout comme l'ADN biologique nous indique qui sont vos parents et quels traits vous avez hérités, les auteurs souhaitent créer un « ADN » pour les modèles d'IA qui révèle leur histoire familiale et leur personnalité fonctionnelle.

Ils définissent cet ADN de LLM comme une courte liste compacte de nombres (un vecteur) qui agit comme une empreinte digitale. Si deux modèles sont apparentés (par exemple, l'un est une version affinée de l'autre), leur ADN devrait sembler très similaire. S'ils ne sont pas apparentés, leur ADN devrait sembler très différent.

Comment cela fonctionne (le pipeline « RepTrace »)

Les auteurs ont construit un outil appelé RepTrace pour extraire cet ADN. Voici le processus, expliqué simplement :

L'essai routier : Au lieu d'examiner le code interne du modèle (qui est souvent caché ou différent pour chaque modèle), ils traitent le modèle comme une boîte noire. Ils lui soumettent un ensemble de questions ou d'invitations aléatoires (comme un test de conduite).
La réaction : Ils enregistrent la manière dont le modèle répond.
La traduction : Ils convertissent ces réponses textuelles en une « carte sémantique » (une représentation mathématique du sens). Par exemple, les mots « vacances » et « congés » sont des chaînes de lettres différentes, mais le système ADN comprend qu'ils signifient la même chose.
La compression : Ils utilisent un tour de passe-passe mathématique (projection aléatoire) pour écraser cette énorme quantité d'informations en une petite liste gérable de nombres. Cette liste est l'ADN.

Crucialement, ce processus est sans entraînement. Vous n'avez pas besoin d'enseigner au système comment trouver l'ADN ; il le calcule simplement en fonction du comportement du modèle.

Ce qu'ils ont découvert

Les chercheurs ont testé cela sur 305 modèles d'IA différents provenant de diverses entreprises (comme Meta, Google et Alibaba). Voici ce qu'ils ont constaté :

Arbres généalogiques : Lorsqu'ils ont comparé l'ADN de différents modèles, ils ont pu dessiner un « arbre généalogique » (arbre phylogénétique). Cet arbre a correctement regroupé les modèles d'une même famille (comme tous les modèles « Llama ») ensemble, même si les chercheurs n'avaient pas indiqué au système quels modèles appartenaient à quelle famille.
Connexions cachées : L'ADN a révélé des relations qui n'étaient pas officiellement documentées. Par exemple, il a montré que certains modèles prétendant être basés sur une version d'une famille étaient en fait plus proches d'une version différente, ou que deux modèles de différentes entreprises étaient étonnamment similaires dans leur « génétique ».
Vitesse d'évolution : En examinant les branches de l'arbre généalogique, ils ont pu voir quelles familles de modèles évoluaient plus vite que d'autres. Certaines familles (comme Qwen) ont montré des changements rapides, tandis que d'autres (comme Llama) étaient plus stables.
Robustesse : L'ADN est resté cohérent même s'ils changeaient les questions posées ou utilisaient différents types de modèles pour lire les réponses. C'est comme une empreinte digitale qui reste la même que vous appuyiez votre doigt légèrement ou fermement.

Pourquoi cela compte (selon le papier)

Les auteurs suggèrent que cet « ADN » peut être utilisé pour trois choses pratiques principales :

Vérification des licences : Il peut aider à vérifier si un nouveau modèle a été illégalement copié à partir d'un modèle protégé, même si les créateurs ne l'ont pas admis.
Audit de sécurité : Si un modèle « parent » présente une faille de sécurité (comme une porte dérobée), ses « enfants » (descendants) l'ont probablement aussi. L'arbre ADN aide les auditeurs à repérer rapidement ces lignées à risque.
Sélection de modèles : Il aide les utilisateurs à choisir le bon modèle. Si vous avez besoin d'un modèle très stable qui ne changera pas souvent de comportement, vous choisissez une branche avec des étapes évolutives courtes. Si vous voulez les toutes dernières fonctionnalités les plus expérimentales, vous choisissez une branche à évolution rapide.

La conclusion

Le papier soutient que nous pouvons prouver mathématiquement que cet « ADN » existe et qu'il capture fidèlement l'essence du comportement d'une IA. En transformant des modèles d'IA complexes et opaques en codes génétiques simples et comparables, nous pouvons enfin commencer à cartographier, gérer et comprendre l'écosystème explosif de l'intelligence artificielle.

Résumé technique : LLM DNA : Traçage de l'évolution des modèles via des représentations fonctionnelles

Énoncé du problème

La prolifération rapide des grands modèles de langage (LLM) a créé un vaste paysage opaque où des millions de modèles existent avec des relations évolutives non documentées. Retracer l'évolution des modèles par le biais d'un affinage (fine-tuning), d'une distillation ou d'une adaptation est crucial pour l'audit de sécurité (par exemple, le suivi du transfert de portes dérobées), la gouvernance des modèles (par exemple, la vérification de la conformité aux licences) et la conception de systèmes multi-agents. Cependant, les méthodes existantes pour définir l'« ADN des LLM » souffrent de limitations significatives :

Spécificité des tâches : De nombreuses approches compressent les modèles en des représentations optimisées pour des tâches spécifiques (par exemple, le routage ou l'apprentissage par ensemble), échouant à généraliser à travers les tâches ou à capturer les caractéristiques intrinsèques des modèles.
Ensembles fixes : Certaines méthodes agnostiques aux tâches (par exemple, EmbedLLM) définissent des représentations par rapport à un ensemble fixe de modèles, ce qui signifie que la représentation change à mesure que de nouveaux modèles sont ajoutés, l'empêchant d'être une propriété intrinsèque d'un modèle unique.
Dépendance structurelle : Les méthodes de provenance reposant sur la similarité des tokens ou la corrélation des paramètres échouent souvent à généraliser à travers des LLM hétérogènes ayant des architectures et des tokeniseurs différents.

Il manque un cadre formel et principiel pour définir et extraire un « ADN » stable et intrinsèque qui capture le comportement fonctionnel et la lignée évolutive des LLM.

Méthodologie

L'article propose LLM DNA, un cadre formel qui définit mathématiquement et extrait une représentation de faible dimension du comportement fonctionnel d'un LLM, analogue à l'ADN biologique.

1. Fondement théorique

Les auteurs définissent formellement un LLM comme une fonction mappant des séquences d'entrées discrètes vers des vecteurs de logits continus. Ils définissent l'ADN des LLM comme un vecteur de faible dimension $\tau_f$ obtenu via une application bi-Lipschitz de l'espace fonctionnel des LLM $\mathcal{F}$ vers un espace ADN $\mathcal{D}$ .

Condition bi-Lipschitz : Le mappage garantit que la distance entre deux vecteurs ADN est bornée par la distance fonctionnelle entre les modèles correspondants ( $c_1 \cdot d_H(f_1, f_2) \le d_\tau(\tau_{f_1}, \tau_{f_2}) \le c_2 \cdot d_H(f_1, f_2)$ ).
Propriétés : Cette définition garantit mathématiquement deux propriétés clés :
- Héritage : De petites perturbations d'un modèle (par exemple, un affinage) entraînent de petits changements dans son ADN.
- Déterminisme génétique : Les modèles ayant un ADN similaire présentent des comportements fonctionnels similaires.
Preuve d'existence : En utilisant le lemme de Johnson–Lindenstrauss (JL), les auteurs prouvent qu'une telle embedding de faible dimension existe pour tout ensemble fini de LLM, préservant la géométrie de l'espace fonctionnel.

2. Pipeline d'extraction pratique : RepTrace

Pour extraire l'ADN des LLM en pratique sans entraînement, les auteurs introduisent RepTrace, un pipeline évolutif et sans entraînement :

Représentation sémantique : Au lieu de comparer des chaînes brutes, le pipeline utilise un modèle d'embedding de phrases pour convertir les réponses des modèles en vecteurs sémantiques. Cela gère l'équivalence sémantique (par exemple, « vacances » vs « congés ») et fonctionne avec des API propriétaires.
Distance fonctionnelle stochastique : Étant donné que l'évaluation de l'espace d'entrée complet est irréalisable, la méthode approxime la distance fonctionnelle en utilisant une distance fonctionnelle stochastique. Cela implique d'échantillonner un ensemble de prompts représentatifs, de collecter des réponses et de calculer la distance euclidienne attendue entre les embeddings sémantiques concaténés des sorties.
Projection aléatoire : S'appuyant sur l'insight théorique du lemme JL, la représentation fonctionnelle de haute dimension est projetée dans un vecteur ADN de faible dimension en utilisant une projection linéaire gaussienne aléatoire. Cette étape est efficace sur le plan computationnel et ne nécessite pas d'entraînement spécifique à la tâche.

Contributions clés

Définition formelle et preuve d'existence : L'article fournit la première définition mathématique formelle de l'ADN des LLM en tant que représentation bi-Lipschitz et prouve son existence en utilisant le lemme JL.
Cadre d'extraction sans entraînement : Il propose RepTrace, un pipeline général et évolutif qui extrait l'ADN de LLM hétérogènes (architectures, tokeniseurs et tailles variables) sans nécessiter de réentraînement ni d'accès aux paramètres internes.
Validation empirique : Des expériences extensives sur 305 LLM démontrent que l'ADN des LLM détecte efficacement les relations évolutives, surpassant les bases de référence existantes dans les tâches de détection de relations et de routage de modèles.
Analyse évolutive : Les auteurs construisent un arbre phylogénétique de LLM basé sur les distances ADN, révélant des changements architecturaux (de encodeur-décodeur à décodeur uniquement), une progression temporelle et des relations de lignée précédemment non documentées.

Résultats expérimentaux

Détection de relations : Sur un jeu de données de 305 modèles, l'ADN des LLM a atteint un AUC de 0,992 pour la détection de paires de modèles corrélés par rapport à des paires indépendantes, surpassant significativement les bases de référence telles que Random, Greedy et PhyloLM (AUC 0,788).
Routage de modèles : Dans une tâche de routage de modèles sans entraînement, les vecteurs ADN des LLM figés ont surpassé les embeddings appris par EmbedLLM (0,672 de précision contre 0,665), démontrant que l'ADN capture des propriétés fonctionnelles intrinsèques sans optimisation spécifique à la tâche.
Stabilité : La représentation ADN s'est révélée robuste à travers différents jeux de données (corrélation du test de Mantel $r > 0,75$ ), des entrées aléatoires et des variations dans les modèles de chat. Elle a également montré que l'affinage modifie les valeurs ADN de manière monotone avec la taille des données tout en préservant le motif structurel global.
Insights phylogénétiques : L'arbre évolutif construit s'est aligné correctement sur les changements architecturaux connus et les calendriers de publication. Il a également identifié des relations non documentées, telles que le regroupement de orca-2-13b de Microsoft et de vicuna-7b-v1.1 de LMSYS au sein de clusters basés sur Llama, suggérant leurs modèles de base malgré une documentation vague.

Importance et revendications

L'article revendique que l'ADN des LLM fournit un cadre principiel et piloté par les données pour comprendre l'écosystème des LLM. Son importance réside dans :

Gouvernance et sécurité : Offrir une méthode fonctionnelle pour vérifier la lignée des modèles, ce qui est crucial pour faire respecter la conformité aux licences et tracer la propagation des risques de sécurité (par exemple, les portes dérobées) des modèles ancêtres vers les descendants.
Évolutivité : Contrairement aux méthodes précédentes nécessitant un réentraînement ou des ensembles de modèles fixes, RepTrace permet l'extraction immédiate de l'ADN pour de nouveaux modèles, soutenant la nature dynamique du paysage des LLM.
Insight évolutif : En traitant les LLM comme des espèces en évolution, le cadre permet la visualisation de l'histoire du domaine, révélant des vitesses évolutives distinctes au sein des familles (par exemple, Qwen et Gemma évoluant plus vite que Llama) et découvrant des connexions cachées que les métadonnées seules ne peuvent révéler.

Les auteurs soulignent que, bien que la définition actuelle n'attribue pas de sens mathématique spécifique aux sous-séquences ADN, les propriétés de stabilité et d'héritage observées fournissent une base solide pour les travaux futurs en matière de gestion des modèles, d'atténuation des risques et de modification ciblée des comportements des LLM.