🤖 AI

Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets

Dieses Papier stellt SOURCETRACKER und dessen hybride Zwei-Phasen-Pipeline HYBRIDSOURCETRACKER vor, die Vektorsuche mit klassischer Fingerabdruckanalyse kombiniert, um eine skalierbare, hochpräzise Provenienzverfolgung für von LLMs generierten Code zu ermöglichen, indem potenzielle Trainingsquellen in Korpora mit Milliarden von Einträgen effizient identifiziert werden.

Ursprüngliche Autoren: Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Koch, der gerade ein köstliches neues Gericht kreiert hat. Sie möchten wissen, ob Ihr Rezept von einem bestimmten Kochbuch inspiriert wurde oder ob Sie versehentlich die Arbeit eines berühmten Kochs wortwörtlich kopiert haben. Stellen Sie sich nun vor, dass anstelle eines menschlichen Kochs der „Koch" eine superintelligente KI (ein Large Language Model) ist, die Milliarden von Kochbüchern gelesen hat.

Das Problem ist: Wenn die KI ein Rezept kopiert, ändert sie oft die Namen der Zutaten (z. B. „Zucker" durch „Süßstoff" ersetzen) oder ordnet die Schritte leicht um. Herkömmliche Methoden zur Plagiatsprüfung sind wie eine Bibliothekarin, die jedes einzelne Blatt jedes einzelnen Kochbuchs der Welt lesen muss, um eine Übereinstimmung zu finden. Wenn die Bibliothek Milliarden von Büchern umfasst, würde diese Bibliothekarin Jahre brauchen, um die Antwort zu finden.

Dieser Artikel stellt ein neues, superschnelles System namens SOURCETRACKER und einen zweistufigen Prozess namens HYBRIDSOURCETRACKER (HST) vor, um dieses Problem zu lösen. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Nadel im Milliarden-Heuhaufen"

Die Autoren erklären, dass KI-Modelle manchmal Teile der Daten „auswendig lernen", mit denen sie trainiert wurden. Wenn sie Code generieren, geben sie möglicherweise ein Fragment aus, das fast identisch mit einem Code-Stück aus ihren Trainingsdaten ist, selbst wenn sie einige Variablennamen geändert haben.

Der alte Weg (Winnowing): Stellen Sie sich vor, Sie versuchen, einen bestimmten Satz in einer Bibliothek mit Milliarden von Büchern zu finden, indem Sie jedes Buch von Anfang bis Ende lesen. Es ist genau, aber unglaublich langsam. Wenn die Bibliothek wächst, wächst die benötigte Zeit mit ihr (lineare Zeit).
Die neue Herausforderung: Moderne KI-Trainingsdatensätze sind so riesig (Milliarden von Fragmenten), dass die alte Methode des „Alles-Lesens" zu langsam ist, um nützlich zu sein.

2. Die Lösung: Ein zweistufiges Detektiv-Team

Die Autoren haben ein hybrides System entwickelt, das wie ein zweistufiges Detektiv-Team funktioniert, um die ursprüngliche Quelle des Codes schnell und genau zu finden.

Stufe 1: Der „intelligente Spürhund" (SOURCETRACKER)

Zuerst bauten sie ein spezialisiertes KI-Modell namens SOURCETRACKER. Denken Sie daran wie an einen hochtrainierten Hund, der eine bestimmte Duftspur wittern kann.

Anstatt jedes Wort zu lesen, verwandelt dieses Modell ein Code-Stück in ein „Duftprofil" (einen mathematischen Vektor).
Es verwendet eine High-Tech-Datenbank (Qdrant), die wie eine superschnelle Landkarte funktioniert. Anstatt die ganze Bibliothek zu durchsuchen, schnüffelt der Hund in die Luft und zeigt sofort auf die 100 wahrscheinlichsten Bücher, die zu dem Duft passen.
Geschwindigkeit: Dieser Schritt ist unglaublich schnell und dauert nur Millisekunden, selbst bei Milliarden von Büchern, da er eine „logarithmische" Suche verwendet (wie das Finden eines Buches in einer Bibliothek, indem man zuerst den Index, dann das Regal und dann das Buch überprüft, anstatt jede Seite zu lesen).

Stufe 2: Der „forensische Gutachter" (Winnowing)

Sobald der „intelligente Spürhund" die Suche auf die 100 besten Kandidaten eingegrenzt hat, tritt der zweite Detektiv in Aktion. Dies ist der klassische Winnowing-Algorithmus.

Stellen Sie sich dies als einen forensischen Experten vor, der die 100 besten Bücher untersucht und die Fingerabdrücke auf den Seiten prüft.
Es vergleicht die genaue Struktur des Codes, um festzustellen, ob es eine Übereinstimmung gibt, selbst wenn einige Wörter geändert wurden.
Da es nur 100 Bücher und nicht Milliarden überprüfen muss, ist auch dieser Schritt sehr schnell.

3. Die Ergebnisse: Schnell und genau

Der Artikel testete dieses System an einem massiven Datensatz von 10 Millionen Code-Fragmenten. Hier ist, was sie fanden:

Kurze Fragmente: Wenn das Code-Fragment sehr kurz ist (wie ein einzelner Satz), ist der „intelligente Spürhund" nicht perfekt, und der alte „forensische Gutachter" (Winnowing) ist immer noch besser darin, die exakte Übereinstimmung zu finden.
Längere Fragmente: Wenn das Code-Fragment länger ist (60 Wörter oder mehr), schneidet das Hybride System (HST) tatsächlich besser ab als die alte Methode allein. Es findet häufiger die richtige Quelle und bleibt dabei superschnell.
Die „fast richtigen" Übereinstimmungen: Die Autoren verwendeten auch eine andere KI, um die Ergebnisse zu bewerten. Sie stellten fest, dass das System, selbst wenn es nicht den exakten Originalcode (die „Ground Truth") fand, oft Code fand, der sehr ähnlich war. Dies ist nützlich, weil es dem Benutzer sagt: „Hey, dieser Code sieht so aus, als käme er aus dieser Code-Familie, auch wenn er nicht das exakte Original ist."

4. Warum das wichtig ist

Der Artikel argumentiert, dass wir für ethischen und legalen KI-generierten Code wissen müssen, woher er stammt.

Transparenz: Dieses System hilft Benutzern zu erkennen, ob ihr KI-generierter Code nur eine Kopie der Arbeit eines anderen ist.
Skalierbarkeit: Es beweist, dass man Plagiate in einer Bibliothek mit Milliarden von Büchern in der Zeit prüfen kann, die ein Blinzeln dauert, anstatt Jahre zu warten.

Der Haken

Die Autoren sind ehrlich über die Einschränkungen:

Sie brauchen die Bibliothek: Um dieses System zu nutzen, müssen Sie Zugriff auf die originalen Trainingsdaten (die Bibliothek der Bücher) haben. Wenn die KI mit geheimen Daten trainiert wurde, die Sie nicht sehen können, können Sie die Quelle nicht zurückverfolgen.
Kreative Änderungen: Wenn die KI den Code zu stark verändert (nicht nur Variablen umbenennt, sondern die Logik komplett neu schreibt), könnte das System Schwierigkeiten haben, die Verbindung zu finden.

Zusammenfassend: Der Artikel stellt ein Team aus „intelligentem Spürhund" und „forensischem Gutachter" vor, das Milliarden von Code-Fragmenten sofort scannen kann, um die ursprüngliche Quelle von KI-generiertem Code zu finden und dabei Geschwindigkeit mit hoher Genauigkeit ausbalanciert, insbesondere für längere Code-Stücke.

Technisches Fazit: Effizientes und skalierbares Provenance-Tracking für von LLMs generierte Code-Snippets

Problemstellung
Die Verbreitung von Large Language Models (LLMs) zur Code-Vervollständigung und -generierung (z. B. Codex, CodeLlama, StarCoder) hat erhebliche rechtliche und ethische Herausforderungen in Bezug auf Plagiate und Lizenzkonformität eingeführt. LLMs können Trainingsdaten „rezitieren" und Code wortwörtlich oder mit geringfügigen Anpassungen (z. B. Umbenennung von Bezeichnern) ohne Quellenangabe reproduzieren. Während klassische Fingerabdruck-Techniken wie Winnowing (im MOSS-System verwendet) effektiv zur Plagiatserkennung sind, beruhen sie auf Suchalgorithmen mit linearer Zeitkomplexität. Dieser Ansatz ist für moderne Pre-Training-Korpora, die oft Milliarden von Samples umfassen, rechnerisch unpraktikabel. Bestehende skalierbare Lösungen, wie die infinity-gram-Abfrage, bieten zwar eine logarithmische Zeitkomplexität, bleiben jedoch stark anfällig für Rauschen und Code-Anpassungen und versagen beim Erkennen von nicht-wörtlichen Ähnlichkeiten, die bei LLM-Ausgaben üblich sind.

Methodik
Die Autoren schlagen HYBRIDSOURCETRACKER (HST) vor, eine hybride Provenance-Tracking-Pipeline in zwei Stufen, die Skalierbarkeit mit hoher Erkennungsgenauigkeit in Einklang bringen soll. Das System integriert die Vektordatenbank-Abfrage mit traditionellem Fingerabdruck:

SOURCETRACKER (Stufe 1): Ein bidirektionaler Encoder mit 300 Millionen Parametern, der mittels Contrastive Language-Image Pre-training (CLIP)-Verlust feinabgestimmt wurde. Das Modell ist darauf trainiert, die Vektordarstellungen kleiner Code-Fragmente mit ihren entsprechenden vollständigen Quell-Snippets abzugleichen. Es nutzt einen Datensatz von 10 Millionen Code-Snippets aus THESTACKV2. Während des Trainings wird das Modell sowohl wortwörtlichen Kopien (Typ-1-Klone) als auch „angepassten" Fragmenten ausgesetzt, bei denen häufige Bezeichner probabilistisch durch zufällige Strings ersetzt werden (Typ-2-Klone), um Domänenanpassung zu simulieren.
- Abfrage: Bei der Inferenz wird ein Code-Fragment kodiert und gegen eine Qdrant-Vektordatenbank (unter Verwendung von HNSW-Indexierung) abgefragt, um die 100 ähnlichsten Kandidaten-Snippets zu retrieving. Diese Stufe arbeitet mit logarithmischer Zeitkomplexität ( $O(\log N)$ ) relativ zur Datensatzgröße.
Winnowing-Neuordnung (Stufe 2): Die von SOURCETRACKER retrieveden 100 Top-Kandidaten werden dem Winnowing-Algorithmus unterzogen. Diese Stufe generiert syntaktische Fingerabdrücke (Hashes) für die Kandidaten und das Abfragefragment und ordnet sie basierend auf der exakten Jaccard-Ähnlichkeit ihrer Fingerabdruck-Sets neu. Durch die Begrenzung des Winnowing-Prozesses auf eine festgelegte Kandidatenmenge (100 Elemente) behält das Gesamtsystem eine logarithmische Zeitkomplexität bei und nutzt gleichzeitig die Rauschresistenz des Fingerabdrucks.

Hauptbeiträge

SOURCETRACKER-Modell: Die Veröffentlichung eines 300-Millionen-Parameter-Encoders, der speziell feinabgestimmt wurde, um vollständige Code-Snippets aus kleinen Fragmenten zu retrieve, und sowohl wortwörtlichen als auch angepassten Code verarbeiten kann.
HST-Pipeline: Die Einführung einer hybriden Methodik, die Vektorsuche und Winnowing sequenziell kombiniert. Dieser Ansatz bietet theoretische Garantien für eine logarithmische Suchzeitkomplexität und erzielt gleichzeitig eine Erkennungsleistung, die mit traditionellen Fingerabdruck-Methoden vergleichbar ist oder diese übertrifft.
Dualer Evaluierungsrahmen: Das Papier verwendet eine duale Evaluierungsstrategie:
- Ground-Truth-Metriken: Verwendung von Recall@N und Mean Reciprocal Rank (MRR) gegen einen bekannten Teilbereich von THESTACKV2.
- LLM-basierter Richter: Nutzung eines LLM (Qwen3 Coder) zur Bewertung der semantischen Ähnlichkeit von retrieveden Snippets, die nicht Ground Truth waren, unter der Anerkennung, dass „Fehler" bei der strikten Abfrage dennoch relevante Inspirationsquellen darstellen können.

Ergebnisse
Das System wurde an einem 10-Millionen-Snippets-Teilbereich von THESTACKV2 evaluiert, mit Suchräumen von 1.000 bis 100.000 Samples.

Leistung vs. Fenstergröße: Für kleine Fragmente (≤30 Tokens) bleibt Winnowing allein hochwirksam. Für Fenstergrößen ≥60 Tokens übertreffen HST und SOURCETRACKER Winnowing allein jedoch konsistent, wobei HST eine Verbesserung des Mean Reciprocal Rank (MRR) von bis zu 5,4 % zeigt.
Skalierbarkeit: Während Winnowing eine lineare Zeitkomplexität aufweist und somit für große Datensätze zum Engpass wird, behält HST eine logarithmische Komplexität bei. Extrapoliertere Ergebnisse deuten darauf hin, dass die Abfrage-Latenzen selbst für Datensätze mit Milliarden von Samples im Millisekundenbereich bleiben.
Robustheit: Der hybride Ansatz zeigt Resilienz gegenüber der Umbenennung von Bezeichnern (Typ-2-Klone). Die Evaluierung durch den LLM-basierten Richter ergab, dass das System, selbst wenn es die exakte „goldene" Quelle nicht retrieve, häufig Snippets mit hoher semantischer Ähnlichkeit retrieve (Bewertung von 2,0–2,6 auf einer 5-Punkte-Skala für größere Fenster), was darauf hindeutet, dass das System relevante Einflüsse identifiziert, selbst wenn exakte Übereinstimmungen verschleiert sind.
Vergleich mit OLMOTRACE: Die Autoren stellten fest, dass OLMOTRACE (ein auf Suffix-Arrays basierender Ansatz), obwohl effizient, mit Kontextfenstern größer als 15 Tokens Schwierigkeiten hat und kontextuelle Ähnlichkeiten, die HST erfolgreich identifiziert, nicht erfasst.

Bedeutung und Behauptungen
Das Papier behauptet, dass die Integration von Vektorsuche mit Fingerabdruck ein skalierbares, hochpräzises Provenance-Tracking für von LLMs produzierten Code ermöglicht. Die Autoren argumentieren, dass dieser Ansatz das kritische Bedürfnis nach Transparenz und ethischer Zuschreibung in der Softwareentwicklung adressiert.

Die Autoren bleiben jedoch bescheiden hinsichtlich der Einschränkungen und breiteren Implikationen:

Abhängigkeit von Trainingsdaten: Die Anwendbarkeit des Systems ist von der Verfügbarkeit des spezifischen Trainingsdatensatzes abhängig, der zur Generierung des Codes verwendet wurde.
Natur von „Fehlern": Das Papier hebt hervor, dass retrievede Snippets, die nicht als Ground Truth gekennzeichnet sind, dennoch der Quelle sehr ähnlich sein können, was darauf hindeutet, dass eine strikte Ground-Truth-Evaluierung die Nützlichkeit des Systems für Endnutzer, die nach Inspirationsquellen suchen, unterschätzen könnte.
Aufruf zu Transparenz: Die Autoren schließen, dass sich ausschließlich auf die internen Memorierungstendenzen von LLMs zu verlassen, prekär ist. Sie plädieren für die Veröffentlichung von Trainingsdatensätzen und ihren zugrundeliegenden Quellen als de-facto-Voraussetzung für die Ermöglichung effektiven Provenance-Trackings und der Urheberschaftszuschreibung.