Stellen Sie sich vor, Sie versuchen herauszufinden, ob ein mysteriöses neues Buch von demselben Autor geschrieben wurde, der auch einen berühmten Klassiker geschrieben hat, den Sie lieben. In der Welt der künstlichen Intelligenz ist dies ein riesiges Problem. Wir haben gigantische Computergehirne namens Large Language Models (LLMs), die Geschichten schreiben, Matheaufgaben lösen und mit uns chatten. Aber diese Modelle werden oft angepasst, vermischt oder verkleinert, um auf kleineren Geräten zu laufen. Manchmal nehmen Menschen ein geschütztes Modell, verändern es leicht und verkaufen es ohne Erlaubnis als ihr eigenes. Um sie zu überführen, müssen wir den „Stammbaum“ des Modells nachweisen – seine Provenienz.

Der schwierige Teil ist, dass diese KI-Modelle wie Chamäleons sind. Wenn Sie dieselbe Frage nur ein wenig anders stellen, oder wenn das Modell angepasst wurde, um schneller zu sein, kann es eine völlig andere Antwort geben, selbst wenn es derselbe „Kern“ darunter ist. Frühere Methoden versuchten, diese Modelle zu identifizieren, indem sie nach den exakten Worten suchten, die sie wählten, aber das ist so, als würde man versuchen, eine Person nur anhand ihrer Kleidung zu identifizieren; wenn sie die Kleider wechseln, erkennt man sie vielleicht nicht mehr. Wissenschaftler brauchten einen Weg, um über die Oberfläche hinauszublicken und die tiefe, unveränderliche Struktur dessen zu sehen, wie das Modell denkt.

Hier kommt ein Team der Universität Oxford mit einer cleveren neuen Idee namens Stemma ins Spiel. Denken Sie an Stemma wie an einen Detektiv, der aufhört zu fragen: „Was hast du heute getragen?“ und statalldessen fragt: „Wenn ich dir eine Speisekarte mit vier Optionen zeige, für welche entscheidest du dich?“ Die Forscher erkannten, dass ein KI-Modell, selbst wenn es seine Persönlichkeit oder seine Ausdrucksweise ändert, dazu neigt, bei einer spezifischen Wahl immer noch dieselbe Kategorie von Antwort zu wählen. Sie nennen diese verborgenen Präferenzen „induzierte Entscheidungsregionen“ (induced decision regions).

Das Team testete dies, indem es ein Fingerabdruck-System entwickelte, dem es nicht auf die schicken Worte ankommt, die eine KI verwendet, sondern das sich auf die Entscheidungen konzentriert, die sie trifft. Sie fanden heraus, dass, wenn zwei Modelle verwandt sind (wie Vater und Kind), sie fast immer dieselbe Option aus einer Liste von Auswahlmöglichkeiten wählen, selbst wenn die Liste gemischt oder das Modell in einem völlig anderen Umfeld eingesetzt wird. Unverwandte Modelle hingegen wählen meist unterschiedliche Optionen. Durch das Testen dieser „Entscheidungskonsistenz“ über hunderte verschiedene Modelle und tausende Fragen hinweg bewies Stemma, dass es unglaublich gut darin ist, Verwandtschaftsverhältnisse aufzuspüren. In ihren Tests identifizierte es verwandte Modelle zu 96,7 % der Zeit und konnte ein verwandtes Modell selbst dann erkennen, wenn die Chance auf einen Fehlalarm nur bei 1 % lag. Es ist eine robuste Methode, um zu sagen: „Ja, dieses verdächtige neue Modell ist definitiv mit dem ursprünglichen verwandt“, ohne den geheimen Code des Modells sehen zu müssen.

Das neue Vergrößerungsglas des Detektivs

Wie funktioniert das eigentlich? Das Paper führt das Konzept der Induzierten Entscheidungsregionen ein. Stellen Sie sich vor, Sie haben einen riesigen, chaotischen Raum voller unendlicher Möglichkeiten (so funktioniert KI normalerweise). Es ist schwer festzustellen, ob zwei Personen im selben Raum sind, wenn sie einfach nur umherwandern. Aber was wäre, wenn Sie einen Zaun in die Mitte des Raumes stellen und jeden bitten, eine Seite zu wählen? Plötzlich haben Sie eine klare „Entscheidungsregion“.

Die Forscher erkannten, dass KI-Modelle zwar bei offenen Fragen unvorhersehbar sein können, aber überraschend konsistent sind, wenn sie gezwungen werden, eine Entscheidung zwischen spezifischen Optionen zu treffen, wie bei einem Multiple-Choice-Test. Den Bereich, in dem ein Modell konsistent eine bestimmte Antwort wählt, nennen sie seine „induzierte Entscheidungsregion“.

Das Paper argumentt, dass frühere Methoden zu sehr auf die „Oberflächenform“ (surface form) fokussiert waren – also auf die exakten Wörter, die die KI ausspuckt. Wenn Sie eine KI bitten, „ein Gedicht über eine Katze zu schreiben“, und sie dann bitten, „einen Vers über ein Felid zu komponieren“, könnte ein verwandtes Modell Ihnen zwei sehr unterschiedliche Gedichte geben, was es so aussehen lässt, als wären sie nicht verwandt. Aber wenn Sie beide Modelle fragen: „Ist die Antwort A, B, C oder D?“, werden sie wahrscheinlich denselben Buchstaben zeigen, selbst wenn sie es unterschiedlich erklären. Stemma ignoriert die Poesie und schaut nur auf den Buchstaben.

Die drei Regeln des Spiels

Um ihren Fingerabdruck zu erstellen, haben die Teams nicht einfach nur zufällige Fragen ausgewählt. Sie mussten klug vorgehen. Sie entwickelten ein System, das Fragen basierend auf drei strengen Regeln auswählt, die sie Stabilität, Robustheit und Spezifität nennen.

1. Stabilität: Stellen Sie sich vor, Sie haben eine Frage mit vier Antworten: A, B, C und D. Wenn Sie die Reihenfolge so ändern, dass die Antworten D, C, B, A lauten, sollte ein stabiles Modell immer noch dieselbe Idee wählen, selbst wenn sich der Buchstabe ändert. Stemma verwendet nur Fragen, bei denen das Modell konsistent bleibt, egal wie man das Kartendeck mischt.
2. Robustheit: Hier geht es darum, sich seiner Wahl sicher zu sein. Wenn ein Modell genau an der Grenze zwischen zwei Antworten schwebt, könnte eine winzige Änderung im System dazu führen, dass es die Seite wechselt. Stemma sucht nach Fragen, bei denen das Modell selbstbewusst in einer Ecke des Entscheidungsraums ist, weit weg von den Wänden.
3. Spezifität: Dies ist der wichtigste Teil. Man möchte keine Frage, bei der jedes Modell dieselbe Antwort wählt (wie „Ist der Himmel blau?“). Das ist kein Fingerabdruck, das ist nur gesunder Menschenverstand. Stema sucht nach Fragen, bei denen das Originalmodell eine spezifische Antwort wählt, die andere, unverwandte Modelle normalerweise falsch beantworten. Wenn ein Verdachtsmoment-Modell ebenfalls diese seltene, spezifische Antwort wählt, ist das ein starkes Indiz dafür, dass sie verwandt sind.

Der große Test

Die Forscher stellten Stemma einem massiven Experiment unter die Lupe. Sie sammelten 56 verschiedene öffentliche KI-Modelle (die „Quellen“) und erstellten 770 Paare von Verdächtigen. Einige Verdächtige waren direkte Kopien, einige waren feinjustierte Versionen, einige wurden mit anderen Modellen verschmolzen und einige waren völlig andere Modelle. Sie testeten auch 1.260 Paare, bei denen die Modelle in verschiedenen Arten eingesetzt wurden, wie zum Beispiel durch Änderung der Temperatureinstellungen oder durch Hinzufügen von Rollenspiel-Anweisungen.

Die Ergebnisse waren beeindruckend. Stemma erreichte einen AUC von 0,967 (ein Wert, bei dem 1,0 perfekt ist) und konnte ein verwandtes Modell in 87,8 % der Fälle identifizieren, während es die Fehlalarme bei nur 1 % hielt. Als sie testeten, wie das Modell in verschiedenen realen Umgebungen eingesetzt wurde (z. B. durch Hinzufügen eines „Sicherheits-Prompts“ oder durch Änderung der schrittweisen Denkweise), stieg der Wert sogar auf eine AUC von 0,995.

Vergleichen Sie dies mit den anderen getesteten Methoden (wie LLMmap, LLMPrint und anderen). Diese Methoden hatten Schwierigkeiten und schnitten oft nicht besser ab als ein bloßes Raten, wenn die Modelle angepasst oder in anderen Umgebungen eingesetzt wurden. Diese älteren Methoden verlassen sich zu sehr auf die spezifischen Wörter, die die KI generiert, welche sich leicht ändern. Stemma hingegen, das sich auf die zugrunde liegenden Entscheidungsregionen konzentriert, bleibt beständig.

Was das bedeutet (und was nicht)

Das Paper ist sehr deutlich darüber, was Stemma ist und was nicht. Es handelt sich um eine Black-Box-Methode, was bedeutet, dass man nicht den internen Code oder die Gewichte des Modells sehen muss; man stellt ihm lediglich Fragen und beobachtet, wof： es sich entscheidet. Dies macht es praktikabel für die Überprüfung in der realen Welt.

Die Autoren betonen jedoch vorsichtig, dass Stemma kein magisches Allheilmittel ist. Sie merken an, dass Stema statistische Beweise liefert, aber keinen absoluten Beweis. Es ist wie ein DNA-Test, der sagt: „Es besteht eine 99-prozentige Wahrscheinlichkeit, dass diese beiden verwandt sind“, aber es ist für sich genommen kein Gerichtsurteil. Sie warnen auch davor, dass ein Angreifer, der genau wüsste, welche Fragen Stema verwendet, sein Modell potenziell darauf trainieren könnte, bei diesen spezifischen Fragen zu „schummeln“. Da Stema jedoch ein riesiges Pool an Fragen nutzt und die besten Fragen erst im Moment der Abfrage auswählt, ist dies schwierig umzusetzen.

Das Paper hebt zudem eine Einschränkung hervor: Stema basiert derzeit auf Multiple-Choice-Fragen. Wenn ein Modell zu schwach ist, um ein Multiple-Choice-Format zu verstehen, könnte diese Methode eventuell nicht funktionieren. Aber für die überwältigende Mehrheit der leistungsfähigen Modelle, die es gibt, scheint dieser neue Ansatz, das offene Chaos in einen endlichen Entscheidungsraum abzubilden, der Schlüssel zu sein, um den wahren Stammbaum der KI-Modelle zu entschlüsseln.

Am Ende ist Stema eine Erinnerung daran, dass KI-Modelle zwar viele Masken tragen und in vielen Stimmen sprechen können, ihre Kernlogik jedoch einen Fingerabdruck hinterlässt, der überraschend schwer zu löschen ist. Indem man die richtigen Fragen stellt und über die Oberfläche hinausblickt, können wir endlich beginnen, zu sehen, wer wirklich den Code geschrieben hat.