🤖 AI

LLM DNA: Tracing Model Evolution via Functional Representations

Dit artikel introduceert "LLM DNA", een wiskundig onderbouwd, trainingsvrij raamwerk dat laag-dimensionale functionele representaties extrahert om niet-gedocumenteerde evolutionaire relaties te traceren en fylogenetische bomen te construeren over honderden grote taalmodellen heen.

Oorspronkelijke auteurs: Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

Gepubliceerd 2026-05-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van Large Language Models (LLM's) voor als een enorme, chaotische bibliotheek met miljoenen boeken. Sommige boeken zijn originele meesterwerken, sommige zijn kopieën, sommige zijn samenvattingen en sommige zijn herschreven versies met nieuwe hoofdstukken toegevoegd. Het probleem is dat de bibliotheek geen duidelijk catalogussysteem heeft. We weten niet altijd welk boek van welk ander is gekopieerd, of hoe één boek zich heeft ontwikkeld tot een ander. Dit maakt het moeilijk om te controleren of een boek de regels (licenties) naleeft, om te zien of een gevaarlijk idee (zoals een beveiligingslek) is overgenomen uit een slecht boek, of om te begrijpen hoe de bibliotheek groeit.

Dit artikel, getiteld "LLM DNA," stelt een oplossing voor die is geïnspireerd op de biologie: elk AI-model zijn eigen unieke genetische code geven.

De Kernidee: AI-Genetica

Net zoals biologisch DNA ons vertelt wie je ouders zijn en welke eigenschappen je hebt geërfd, willen de auteurs een "DNA" creëren voor AI-modellen dat hun familielijn en functionele persoonlijkheid onthult.

Ze definiëren dit LLM DNA als een korte, compacte lijst van getallen (een vector) die fungeert als een vingerafdruk. Als twee modellen verwant zijn (bijvoorbeeld omdat het ene een fijngefineerde versie is van het andere), zou hun DNA er zeer vergelijkbaar uit moeten zien. Als ze niet verwant zijn, zou hun DNA er zeer verschillend uit moeten zien.

Hoe Het Werkt (De "RepTrace"-Pijplijn)

De auteurs bouwden een hulpmiddel genaamd RepTrace om dit DNA te extraheren. Hier is het proces, eenvoudig uitgelegd:

De Proefrit: In plaats van te kijken naar de interne code van het model (die vaak verborgen is of voor elk model anders is), behandelen ze het model als een zwarte doos. Ze voeden het met een reeks willekeurige vragen of prompts (zoals een rijexamen).
De Reactie: Ze registreren hoe het model antwoordt.
De Vertaling: Ze zetten deze tekstantwoorden om in een "semantische kaart" (een wiskundige representatie van betekenis). Bijvoorbeeld, de woorden "vakantie" en "holiday" zijn verschillende reeksen letters, maar het DNA-systeem begrijpt dat ze hetzelfde betekenen.
De Compressie: Ze gebruiken een wiskundige truc (random projectie) om deze enorme hoeveelheid informatie samen te drukken tot een klein, hanteerbaar lijstje met getallen. Dit lijstje is het DNA.

Cruciaal is dat dit proces trainingsvrij is. Je hoeft het systeem niet te leren hoe het DNA moet vinden; het berekent het gewoon op basis van hoe het model zich gedraagt.

Wat Ze Ontdekten

De onderzoekers testten dit op 305 verschillende AI-modellen van diverse bedrijven (zoals Meta, Google en Alibaba). Hier is wat ze vonden:

Stambomen: Toen ze het DNA van verschillende modellen vergeleken, konden ze een "stamboom" (fylogenetische boom) tekenen. Deze boom groepeerde modellen uit dezelfde familie (zoals alle "Llama"-modellen) correct samen, zelfs al vertelden de onderzoekers het systeem niet welke modellen tot welke familie behoorden.
Verborgen Verbindingen: Het DNA onthulde relaties die niet officieel gedocumenteerd waren. Bijvoorbeeld, het toonde aan dat sommige modellen die beweerden gebaseerd te zijn op één versie van een familie, eigenlijk dichter bij een andere versie stonden, of dat twee modellen van verschillende bedrijven verrassend vergelijkbaar waren in hun "genetica".
Evolutiesnelheid: Door naar de takken van de stamboom te kijken, konden ze zien welke modelfamilies sneller evolueerden dan andere. Sommige families (zoals Qwen) vertoonden snelle veranderingen, terwijl andere (zoals Llama) stabieler waren.
Robuustheid: Het DNA bleef consistent, zelfs als ze de gestelde vragen veranderden of verschillende soorten modellen gebruikten om de antwoorden te lezen. Het is als een vingerafdruk die hetzelfde blijft, of je nu je vinger licht of stevig drukt.

Waarom Dit Belangrijk Is (Volgens Het Artikel)

De auteurs suggereren dat dit "DNA" voor drie belangrijke praktische doeleinden kan worden gebruikt:

Licentiecontrole: Het kan helpen verifiëren of een nieuw model illegaal is gekopieerd van een beschermd model, zelfs als de makers dit niet toegeven.
Veiligheidsaudits: Als een "ouder"-model een beveiligingslek heeft (zoals een backdoor), hebben zijn "kinderen" (afstammelingen) dit waarschijnlijk ook. Het DNA-boom helpt auditors deze risicovolle lijnen snel op te sporen.
Modelselectie: Het helpt gebruikers het juiste model te kiezen. Als je een model nodig dat zeer stabiel is en zijn gedrag niet vaak verandert, kies je een tak met korte evolutionaire stappen. Als je de nieuwste, meest experimentele functies wilt, kies je een tak met snelle evolutie.

De Conclusie

Het artikel betoogt dat we wiskundig kunnen bewijzen dat dit "DNA" bestaat en dat het de essentie van hoe een AI zich gedraagt, getrouw vastlegt. Door complexe, ondoorzichtige AI-modellen om te zetten in eenvoudige, vergelijkbare genetische codes, kunnen we eindelijk beginnen met het in kaart brengen, beheren en begrijpen van het exploderende ecosysteem van kunstmatige intelligentie.

Technische Samenvatting: LLM DNA: Het Traceerbaar Maken van Model-evolutie via Functionele Representaties

Probleemstelling

De snelle proliferatie van Large Language Models (LLM's) heeft een enorm, ondoorzichtig landschap gecreëerd waar miljoenen modellen bestaan met niet-gedocumenteerde evolutionaire relaties. Het traceren van hoe modellen evolueren via fine-tuning, distillatie of adaptatie is cruciaal voor veiligheidsaudits (bijvoorbeeld het traceren van backdoor-overdracht), modelgovernance (bijvoorbeeld het verifiëren van licentiecompliance) en het ontwerp van multi-agent systemen. Bestaande methoden voor het definiëren van "LLM DNA" lijden echter onder aanzienlijke beperkingen:

Taakspecificiteit: Veel benaderingen comprimeren modellen tot representaties die zijn geoptimaliseerd voor specifieke taken (bijvoorbeeld routing of ensemble learning), waardoor ze niet generaliseren over taken of intrinsieke modelkarakteristieken vastleggen.
Vaste Sets: Sommige taakagnostische methoden (bijvoorbeeld EmbedLLM) definiëren representaties ten opzichte van een vaste set modellen, wat betekent dat de representatie verandert naarmate er nieuwe modellen worden toegevoegd, waardoor het geen intrinsieke eigenschap van een enkel model kan zijn.
Structurele Afhankelijkheid: Provenance-methoden die vertrouwen op token-ähnelijkheid of parametercorrelatie, falen vaak bij het generaliseren over heterogene LLM's met verschillende architecturen en tokenizers.

Er ontbreekt een principiële, formele raamwerk om een stabiele, intrinsieke "DNA" te definiëren en te extraheren die het functionele gedrag en de evolutionaire lijn van LLM's vastlegt.

Methodologie

Het artikel stelt LLM DNA voor, een formeel raamwerk dat wiskundig de definitie en extractie van een laag-dimensionale representatie van het functionele gedrag van een LLM definieert, analoog aan biologisch DNA.

1. Theoretische Grondslag

De auteurs definiëren formeel een LLM als een functie die discrete inputsequenties afbeeldt op continue logit-vectoren. Zij definiëren LLM DNA als een laag-dimensionale vector $\tau_f$ verkregen via een bi-Lipschitz-afbeelding van de LLM-functionele ruimte $\mathcal{F}$ naar een DNA-ruimte $\mathcal{D}$ .

Bi-Lipschitz-voorwaarde: De afbeelding zorgt ervoor dat de afstand tussen twee DNA-vectoren begrensd is door de functionele afstand tussen de corresponderende modellen ( $c_1 \cdot d_H(f_1, f_2) \le d_\tau(\tau_{f_1}, \tau_{f_2}) \le c_2 \cdot d_H(f_1, f_2)$ ).
Eigenschappen: Deze definitie garandeert wiskundig twee sleuteleigenschappen:
- Overerving: Kleine verstoringen aan een model (bijvoorbeeld fine-tuning) resulteren in kleine veranderingen in zijn DNA.
- Genetisch Determinisme: Modellen met vergelijkbaar DNA vertonen vergelijkbaar functioneel gedrag.
Bestaanbewijs: Met behulp van het Johnson–Lindenstrauss (JL) Lemma bewijzen de auteurs dat een dergelijke laag-dimensionale embedding bestaat voor elke eindige set LLM's, waarbij de geometrie van de functionele ruimte behouden blijft.

2. Praktische Extractiepijplijn: RepTrace

Om LLM DNA in de praktijk te extraheren zonder training, introduceren de auteurs RepTrace, een schaalbare, training-vrije pijplijn:

Semantische Representatie: In plaats van ruwe strings te vergelijken, gebruikt de pijplijn een sentence-embedding-model om modelresponsen om te zetten in semantische vectoren. Dit behandelt semantische equivalentie (bijvoorbeeld "vakantie" versus "holiday") en werkt met gesloten bron-API's.
Stochastische Functionele Afstand: Aangezien het evalueren van de volledige inputruimte onhaalbaar is, benadert de methode de functionele afstand met behulp van een Stochastische Functionele Afstand. Dit omvat het stalen van een set representatieve prompts, het verzamelen van responsen en het berekenen van de verwachte Euclidische afstand tussen de samengevoegde semantische embeddings van de outputs.
Random Projectie: Door gebruik te maken van het theoretische inzicht uit het JL Lemma, wordt de hoog-dimensionale functionele representatie geprojecteerd naar een laag-dimensionale DNA-vector met behulp van een random Gaussische lineaire projectie. Deze stap is computatie-efficiënt en vereist geen taakspecifieke training.

Belangrijkste Bijdragen

Formele Definitie en Bestaanbewijs: Het artikel biedt de eerste formele wiskundige definitie van LLM DNA als een bi-Lipschitz-representatie en bewijst het bestaan ervan met behulp van het JL Lemma.
Training-vrij Extractieframework: Het stelt RepTrace voor, een algemeen, schaalbaar pijplijn dat DNA extrahert uit heterogene LLM's (variërende architecturen, tokenizers en maten) zonder hertraining of toegang tot interne parameters.
Empirische Validatie: Uitgebreide experimenten op 305 LLM's tonen aan dat LLM DNA evolutionaire relaties effectief detecteert en bestaande baselines overtreft in relatie-detectie en model-routingtaken.
Evolutionaire Analyse: De auteurs construeren een fylogenetische boom van LLM's op basis van DNA-afstanden, die architecturale verschuivingen (encoder-decoder naar decoder-only), temporele progressie en eerdere niet-gedocumenteerde lijnrelaties onthult.

Experimentele Resultaten

Relatie-detectie: Op een dataset van 305 modellen behaalde LLM DNA een AUC van 0,992 voor het detecteren van gecorreleerde versus onafhankelijke modelparen, wat significant beter presteerde dan baselines zoals Random, Greedy en PhyloLM (AUC 0,788).
Model-routing: In een training-vrije model-routingtaak presteerden bevroren LLM DNA-vectoren beter dan embeddings geleerd door EmbedLLM (0,672 nauwkeurigheid versus 0,665), wat aantoont dat DNA intrinsieke functionele eigenschappen vastlegt zonder taakspecifieke optimalisatie.
Stabiliteit: De DNA-representatie bleek robuust over verschillende datasets (Mantel-test correlatie $r > 0,75$ ), willekeurige inputs en variaties in chat-sjablonen. Het toonde ook aan dat fine-tuning DNA-waarden monotoon verandert met de datasetgrootte, terwijl het globale structurele patroon behouden blijft.
Fylogenetische Inzichten: De geconstrueerde evolutionaire boom stemde correct overeen met bekende architecturale verschuivingen en release-tijdlijnen. Het identificeerde ook niet-gedocumenteerde relaties, zoals het clusteren van Microsoft's orca-2-13b en LMSYS's vicuna-7b-v1.1 binnen op Llama gebaseerde clusters, wat wijst op hun basismodellen ondanks vage documentatie.

Betekenis en Claims

Het artikel beweert dat LLM DNA een principiële, datagedreven raamwerk biedt voor het begrijpen van het LLM-ecosysteem. De betekenis hiervan ligt in:

Governance en Veiligheid: Het bieden van een functionele methode om model-lijn te verifiëren, wat cruciaal is voor het afdwingen van licentiecompliance en het traceren van de verspreiding van veiligheidsrisico's (bijvoorbeeld backdoors) van vooroudermodellen naar nakomelingen.
Schaalbaarheid: In tegenstelling tot eerdere methoden die hertraining of vaste modelsets vereisen, staat RepTrace toe om direct DNA voor nieuwe modellen te extraheren, wat de dynamische aard van het LLM-landschap ondersteunt.
Evolutionair Inzicht: Door LLM's te behandelen als evoluerende soorten, maakt het raamwerk de visualisatie van de geschiedenis van het veld mogelijk, waarbij verschillende evolutionaire snelheden over families worden onthuld (bijvoorbeeld Qwen en Gemma evolueren sneller dan Llama) en verborgen connecties worden blootgelegd die metadata alleen niet kan onthullen.

De auteurs benadrukken dat, hoewel de huidige definitie geen specifieke wiskundige betekenis toekent aan DNA-subsequenties, de waargenomen stabiliteit en overervingseigenschappen een solide fundament vormen voor toekomstig werk in modelbeheer, risicobeperking en gerichte modificatie van LLM-gedrag.