🤖 AI

LLM DNA: Tracing Model Evolution via Functional Representations

Dieser Beitrag stellt „LLM DNA" vor, ein mathematisch fundiertes, trainingsfreies Framework, das niedrigdimensionale funktionale Repräsentationen extrahiert, um nicht dokumentierte evolutionäre Zusammenhänge nachzuvollziehen und phylogenetische Bäume über Hunderte von großen Sprachmodellen hinweg zu konstruieren.

Ursprüngliche Autoren: Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

Veröffentlicht 2026-05-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhaomin Wu, Haodong Zhao, Ziyang Wang, Jizhou Guo, Qian Wang, Bingsheng He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich die Welt der Large Language Models (LLMs) als eine riesige, chaotische Bibliothek mit Millionen von Büchern vor. Einige Bücher sind originale Meisterwerke, einige sind Kopien, einige sind Zusammenfassungen und einige sind neu geschriebene Versionen mit hinzugefügten Kapiteln. Das Problem ist, dass die Bibliothek keinen klaren Katalog hat. Wir wissen nicht immer, welches Buch von welchem kopiert wurde oder wie ein Buch in ein anderes überging. Dies erschwert es zu prüfen, ob ein Buch die Regeln (Lizenzen) einhält, zu erkennen, ob eine gefährliche Idee (wie eine Sicherheitslücke) aus einem schlechten Buch kopiert wurde, oder zu verstehen, wie die Bibliothek wächst.

Dieser Artikel mit dem Titel "LLM DNA" schlägt eine Lösung vor, die von der Biologie inspiriert ist: jedem KI-Modell einen eigenen, einzigartigen genetischen Code zu geben.

Die Kernidee: KI-Genetik

So wie biologische DNA uns sagt, wer Ihre Eltern sind und welche Eigenschaften Sie geerbt haben, wollen die Autoren eine "DNA" für KI-Modelle erstellen, die ihre Familiengeschichte und funktionale Persönlichkeit offenlegt.

Sie definieren diese LLM-DNA als eine kurze, kompakte Liste von Zahlen (ein Vektor), die wie ein Fingerabdruck fungiert. Wenn zwei Modelle verwandt sind (z. B. ist eines eine feinabgestimmte Version des anderen), sollte ihre DNA sehr ähnlich aussehen. Wenn sie nicht verwandt sind, sollte ihre DNA sehr unterschiedlich aussehen.

Wie es funktioniert (Die "RepTrace"-Pipeline)

Die Autoren entwickelten ein Werkzeug namens RepTrace, um diese DNA zu extrahieren. Hier ist der Prozess, einfach erklärt:

Die Probefahrt: Anstatt den internen Code des Modells zu betrachten (der oft verborgen ist oder bei jedem Modell unterschiedlich ist), behandeln sie das Modell wie eine Blackbox. Sie füttern es mit einer Reihe zufälliger Fragen oder Aufforderungen (wie bei einer Fahrprüfung).
Die Reaktion: Sie notieren, wie das Modell antwortet.
Die Übersetzung: Sie wandeln diese Textantworten in eine "semantische Karte" (eine mathematische Darstellung der Bedeutung) um. Zum Beispiel sind die Wörter "Urlaub" und "Ferien" unterschiedliche Buchstabenfolgen, aber das DNA-System versteht, dass sie dasselbe bedeuten.
Die Komprimierung: Sie verwenden einen mathematischen Trick (zufällige Projektion), um diese riesige Informationsmenge in eine winzige, handhabbare Liste von Zahlen zu quetschen. Diese Liste ist die DNA.

Entscheidend ist, dass dieser Prozess training-frei ist. Sie müssen dem System nicht beibringen, wie es die DNA findet; es berechnet sie einfach basierend darauf, wie sich das Modell verhält.

Was sie entdeckten

Die Forscher testeten dies an 305 verschiedenen KI-Modellen verschiedener Unternehmen (wie Meta, Google und Alibaba). Hier ist, was sie fanden:

Stammbäume: Als sie die DNA verschiedener Modelle verglichen, konnten sie einen "Stammbaum" (phylogenetischen Baum) zeichnen. Dieser Baum gruppierte Modelle derselben Familie (wie alle "Llama"-Modelle) korrekt zusammen, obwohl die Forscher dem System nicht mitgeteilt hatten, welche Modelle zu welcher Familie gehörten.
Versteckte Verbindungen: Die DNA enthüllte Beziehungen, die nicht offiziell dokumentiert waren. Zum Beispiel zeigte sie, dass einige Modelle, die behaupteten, auf einer bestimmten Version einer Familie zu basieren, tatsächlich näher an einer anderen Version waren, oder dass zwei Modelle verschiedener Unternehmen in ihrer "Genetik" überraschend ähnlich waren.
Evolutionstempo: Indem sie die Äste des Stammbaums betrachteten, konnten sie sehen, welche Modellfamilien schneller evolvieren als andere. Einige Familien (wie Qwen) zeigten schnelle Veränderungen, während andere (wie Llama) stabiler waren.
Robustheit: Die DNA blieb konsistent, selbst wenn sie die gestellten Fragen änderten oder verschiedene Modelltypen zur Auswertung der Antworten verwendeten. Es ist wie ein Fingerabdruck, der gleich bleibt, egal ob Sie Ihren Finger leicht oder fest aufdrücken.

Warum dies wichtig ist (laut dem Artikel)

Die Autoren schlagen vor, dass diese "DNA" für drei Hauptanwendungen genutzt werden kann:

Lizenzprüfung: Sie kann helfen zu überprüfen, ob ein neues Modell illegal von einem geschützten kopiert wurde, selbst wenn die Schöpfer dies nicht zugeben.
Sicherheitsaudits: Wenn ein "Eltern"-Modell eine Sicherheitslücke (wie eine Hintertür) hat, haben seine "Kinder" (Nachkommen) diese wahrscheinlich auch. Der DNA-Baum hilft Auditoren, diese riskanten Abstammungslinien schnell zu erkennen.
Modellauswahl: Es hilft Benutzern, das richtige Modell auszuwählen. Wenn Sie ein Modell benötigen, das sehr stabil ist und sein Verhalten nicht oft ändert, wählen Sie einen Ast mit kurzen evolutionären Schritten. Wenn Sie die neuesten, experimentellsten Funktionen wollen, wählen Sie einen Ast mit schneller Evolution.

Das Fazit

Der Artikel argumentiert, dass wir mathematisch beweisen können, dass diese "DNA" existiert und das Wesen des Verhaltens einer KI getreu erfasst. Indem wir komplexe, undurchsichtige KI-Modelle in einfache, vergleichbare genetische Codes verwandeln, können wir endlich beginnen, das explodierende Ökosystem der künstlichen Intelligenz zu kartieren, zu verwalten und zu verstehen.

Technische Zusammenfassung: LLM-DNA: Nachverfolgung der Modellentwicklung durch funktionale Repräsentationen

Problemstellung

Die rasante Verbreitung von Large Language Models (LLMs) hat eine riesige, undurchsichtige Landschaft geschaffen, in der Millionen von Modellen mit nicht dokumentierten evolutionären Beziehungen existieren. Die Nachverfolgung, wie sich Modelle durch Feinabstimmung, Destillation oder Anpassung entwickeln, ist für Sicherheitsaudits (z. B. Nachverfolgung von Backdoor-Übertragungen), Modell-Governance (z. B. Überprüfung der Lizenzkonformität) und das Design von Multi-Agenten-Systemen von entscheidender Bedeutung. Allerdings leiden bestehende Methoden zur Definition von „LLM-DNA" unter erheblichen Einschränkungen:

Aufgabenspezifität: Viele Ansätze komprimieren Modelle in Repräsentationen, die für bestimmte Aufgaben optimiert sind (z. B. Routing oder Ensemble-Lernen), und versagen dabei, über Aufgaben hinweg zu generalisieren oder intrinsische Modelleigenschaften zu erfassen.
Feste Mengen: Einige aufgabenunabhängige Methoden (z. B. EmbedLLM) definieren Repräsentationen relativ zu einer festen Menge von Modellen, was bedeutet, dass sich die Repräsentation ändert, sobald neue Modelle hinzugefügt werden, und verhindert somit, dass sie eine intrinsische Eigenschaft eines einzelnen Modells darstellt.
Strukturelle Abhängigkeit: Herkunftsverfahren, die auf Token-Ähnlichkeit oder Parameterkorrelation beruhen, versagen oft bei der Generalisierung über heterogene LLMs mit unterschiedlichen Architekturen und Tokenisierern hinweg.

Es fehlt ein prinzipieller, formaler Rahmen, um eine stabile, intrinsische „DNA" zu definieren und zu extrahieren, die das funktionale Verhalten und die evolutionäre Abstammung von LLMs erfasst.

Methodik

Der Artikel schlägt LLM-DNA vor, einen formalen Rahmen, der mathematisch eine niedrigdimensionale Repräsentation des funktionalen Verhaltens eines LLM definiert und extrahiert, analog zur biologischen DNA.

1. Theoretische Grundlage

Die Autoren definieren ein LLM formal als Funktion, die diskrete Eingabesequenzen auf kontinuierliche Logit-Vektoren abbildet. Sie definieren LLM-DNA als einen niedrigdimensionalen Vektor $\tau_f$ , der über eine bi-Lipschitz-Abbildung vom funktionalen LLM-Raum $\mathcal{F}$ in einen DNA-Raum $\mathcal{D}$ gewonnen wird.

Bi-Lipschitz-Bedingung: Die Abbildung stellt sicher, dass der Abstand zwischen zwei DNA-Vektoren durch den funktionalen Abstand zwischen den entsprechenden Modellen begrenzt ist ( $c_1 \cdot d_H(f_1, f_2) \le d_\tau(\tau_{f_1}, \tau_{f_2}) \le c_2 \cdot d_H(f_1, f_2)$ ).
Eigenschaften: Diese Definition garantiert mathematisch zwei Schlüsseleigenschaften:
- Vererbung: Kleine Störungen eines Modells (z. B. Feinabstimmung) führen zu kleinen Änderungen seiner DNA.
- Genetischer Determinismus: Modelle mit ähnlicher DNA zeigen ähnliches funktionales Verhalten.
Existenzbeweis: Mithilfe des Johnson–Lindenstrauss (JL)-Lemmas beweisen die Autoren, dass eine solche niedrigdimensionale Einbettung für jede endliche Menge von LLMs existiert und die Geometrie des funktionalen Raums erhält.

2. Praktische Extraktionspipeline: RepTrace

Um LLM-DNA in der Praxis ohne Training zu extrahieren, stellen die Autoren RepTrace vor, eine skalierbare, trainingsfreie Pipeline:

Semantische Repräsentation: Anstatt Rohstrings zu vergleichen, verwendet die Pipeline ein Sentence-Embedding-Modell, um Modellantworten in semantische Vektoren umzuwandeln. Dies behandelt semantische Äquivalenz (z. B. „Urlaub" vs. „Ferien") und funktioniert mit Closed-Source-APIs.
Stochastischer funktionaler Abstand: Da die Evaluierung des gesamten Eingaberaums nicht machbar ist, approximiert die Methode den funktionalen Abstand mithilfe eines stochastischen funktionalen Abstands. Dies umfasst das Sampling einer Menge repräsentativer Prompts, das Sammeln von Antworten und die Berechnung des erwarteten euklidischen Abstands zwischen den verketteten semantischen Einbettungen der Ausgaben.
Zufällige Projektion: Unter Ausnutzung der theoretischen Erkenntnis aus dem JL-Lemma wird die hochdimensionale funktionale Repräsentation mittels einer zufälligen gaußschen linearen Projektion in einen niedrigdimensionalen DNA-Vektor projiziert. Dieser Schritt ist recheneffizient und erfordert kein aufgaben spezifisches Training.

Hauptbeiträge

Formale Definition und Existenzbeweis: Der Artikel liefert die erste formale mathematische Definition von LLM-DNA als bi-Lipschitz-Repräsentation und beweist deren Existenz mithilfe des JL-Lemmas.
Trainingsfreies Extraktionsframework: Es wird RepTrace vorgeschlagen, eine allgemeine, skalierbare Pipeline, die DNA aus heterogenen LLMs (unterschiedliche Architekturen, Tokenisierer und Größen) extrahiert, ohne dass ein Nachtraining oder Zugriff auf interne Parameter erforderlich ist.
Empirische Validierung: Umfassende Experimente mit 305 LLMs zeigen, dass LLM-DNA evolutionäre Beziehungen effektiv erkennt und bestehende Baselines bei Aufgaben zur Beziehungserkennung und zum Modell-Routing übertrifft.
Evolutionäre Analyse: Die Autoren konstruieren einen phylogenetischen Baum von LLMs basierend auf DNA-Abständen, der architektonische Verschiebungen (von Encoder-Decoder zu Decoder-only), zeitliche Fortschritte und bisher nicht dokumentierte Abstammungsbeziehungen aufdeckt.

Experimentelle Ergebnisse

Beziehungserkennung: Auf einem Datensatz mit 305 Modellen erreichte LLM-DNA eine AUC von 0,992 für die Erkennung korrelierter gegenüber unabhängiger Modellpaare und übertraf Baselines wie Random, Greedy und PhyloLM (AUC 0,788) signifikant.
Modell-Routing: Bei einer trainingsfreien Modell-Routing-Aufgabe übertrafen eingefrorene LLM-DNA-Vektoren die von EmbedLLM gelernten Einbettungen (0,672 Genauigkeit vs. 0,665), was zeigt, dass DNA intrinsische funktionale Eigenschaften ohne aufgaben spezifische Optimierung erfasst.
Stabilität: Die DNA-Repräsentation erwies sich als robust gegenüber verschiedenen Datensätzen (Mantel-Test-Korrelation $r > 0,75$ ), zufälligen Eingaben und Variationen in Chat-Templates. Sie zeigte zudem, dass Feinabstimmung die DNA-Werte monoton mit der Datengröße verändert, während das globale Strukturmuster erhalten bleibt.
Phylogenetische Erkenntnisse: Der konstruierte evolutionäre Baum stimmte korrekt mit bekannten architektonischen Verschiebungen und Release-Zeitplänen überein. Er identifizierte zudem nicht dokumentierte Beziehungen, wie die Gruppierung von Microsofts orca-2-13b und LMSYSs vicuna-7b-v1.1 innerhalb von Llama-basierten Clustern, was auf ihre Basismodelle trotz vager Dokumentation hindeutet.

Bedeutung und Behauptungen

Der Artikel behauptet, dass LLM-DNA ein prinzipielles, datengesteuertes Framework für das Verständnis des LLM-Ökosystems bietet. Seine Bedeutung liegt in:

Governance und Sicherheit: Bereitstellung einer funktionalen Methode zur Verifizierung der Modellherkunft, was für die Durchsetzung der Lizenzkonformität und die Nachverfolgung der Ausbreitung von Sicherheitsrisiken (z. B. Backdoors) von Vorfahrmodellen zu Nachkommenmodellen entscheidend ist.
Skalierbarkeit: Im Gegensatz zu früheren Methoden, die ein Nachtraining oder feste Modellsätze erfordern, ermöglicht RepTrace die sofortige Extraktion von DNA für neue Modelle und unterstützt so die dynamische Natur der LLM-Landschaft.
Evolutionäre Einsicht: Durch die Behandlung von LLMs als sich entwickelnde Arten ermöglicht das Framework die Visualisierung der Geschichte des Feldes, deckt unterschiedliche evolutionäre Geschwindigkeiten innerhalb von Familien auf (z. B. entwickeln sich Qwen und Gemma schneller als Llama) und enthüllt verborgene Verbindungen, die Metadaten allein nicht offenbaren können.

Die Autoren betonen, dass die aktuelle Definition zwar keine spezifische mathematische Bedeutung für DNA-Subsequenzen zuweist, die beobachteten Stabilitäts- und Vererbungseigenschaften jedoch eine solide Grundlage für zukünftige Arbeiten im Bereich Modellmanagement, Risikominderung und gezielte Modifikation von LLM-Verhalten bieten.