🤖 AI

Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets

Dit artikel introduceert SOURCETRACKER en de hybride tweestaps-pijplijn HYBRIDSOURCETRACKER, die vectorzoekopdrachten combineert met klassieke vingerafdrukken om schaalbare, hoogprecieze herkomsttracking voor door LLM's gegenereerde code mogelijk te maken door efficiënt potentiële trainingsbronnen binnen corpora op miljardenschaal te identificeren.

Oorspronkelijke auteurs: Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die net een heerlijk nieuw gerecht heeft bedacht. Je wilt weten of je recept geïnspireerd was op een specifiek kookboek, of dat je per ongeluk het werk van een beroemde chef woord voor woord hebt gekopieerd. Stel je nu voor dat de "kok" in plaats van een mens een superintelligente AI is (een Large Language Model) die miljarden kookboeken heeft gelezen.

Het probleem is: als de AI een recept kopieert, verandert het vaak de namen van de ingrediënten (zoals het vervangen van "suiker" door "zoetstof") of herschikt het de stappen iets. Traditionele methoden om plagiaat te controleren, zijn als een bibliothecaris die elke enkele pagina van elk kookboek ter wereld moet lezen om een match te vinden. Als de bibliotheek miljarden boeken bevat, zou deze bibliothecaris jaren nodig hebben om het antwoord te vinden.

Dit artikel introduceert een nieuw, supersnel systeem genaamd SOURCETRACKER en een tweestapsproces genaamd HYBRIDSOURCETRACKER (HST) om dit probleem op te lossen. Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Naald in een Miljard-Hooiberg"

De auteurs leggen uit dat AI-modellen soms delen van de data waarvoor ze zijn getraind "onthouden". Wanneer ze code genereren, kunnen ze een fragment produceren dat bijna identiek is aan een stukje code uit hun trainingsdata, zelfs als ze een paar variablenamen hebben gewijzigd.

De Oude Manier (Winnowing): Stel je voor dat je probeert een specifieke zin te vinden in een bibliotheek van miljarden boeken door elk boek van begin tot eind te lezen. Het is accuraat, maar ongelooflijk traag. Als de bibliotheek groeit, groeit de benodigde tijd mee (lineaire tijd).
De Nieuwe Uitdaging: Moderne AI-trainingssets zijn zo enorm (miljarden fragmenten) dat de oude "lees alles"-methode te traag is om bruikbaar te zijn.

2. De Oplossing: Een Tweestaps Recherche-team

De auteurs hebben een hybride systeem ontwikkeld dat fungeert als een tweestaps recherche-team om de oorspronkelijke bron van de code snel en accuraat te vinden.

Stap 1: De "Slimme Snuffelaar" (SOURCETRACKER)

Eerst hebben ze een gespecialiseerd AI-model gebouwd dat SOURCETRACKER heet. Denk hierbij aan een hoogopgeleide hond die een specifiek geur kan ruiken.

In plaats van elk woord te lezen, zet dit model een stuk code om in een "geurprofiel" (een wiskundige vector).
Het maakt gebruik van een high-tech database (Qdrant) die fungeert als een supersnelle kaart. In plaats van de hele bibliotheek te doorzoeken, snuffelt de hond de lucht in en wijst direct de top 100 meest waarschijnlijke boeken aan die bij het geurprofiel passen.
Snelheid: Deze stap is ongelooflijk snel, duurt slechts milliseconden zelfs bij miljarden boeken, omdat het gebruik maakt van een "logaritmische" zoekopdracht (zoals het vinden van een boek in een bibliotheek door eerst de index te controleren, dan het vak, dan het boek, in plaats van elke pagina te lezen).

Stap 2: De "Forensisch Expert" (Winnowing)

Zodra de "Slimme Snuffelaar" de lijst heeft ingekrompen tot de top 100 kandidaten, stapt de tweede rechercheur in. Dit is het klassieke Winnowing-algoritme.

Denk hierbij aan een forensisch expert die de top 100 boeken bekijkt en de vingerafdrukken op de pagina's controleert.
Het vergelijkt de exacte structuur van de code om te zien of het een match is, zelfs als sommige woorden zijn gewijzigd.
Omdat het slechts 100 boeken hoeft te controleren in plaats van miljarden, is deze stap ook zeer snel.

3. De Resultaten: Snel en Accuraat

Het artikel heeft dit systeem getest op een enorme dataset van 10 miljoen codefragmenten. Hier is wat ze hebben gevonden:

Korte Fragmenten: Als het codefragment zeer kort is (zoals een enkele zin), is de "Slimme Snuffelaar" niet perfect, en is de oude "Forensisch Expert" (Winnowing) nog steeds beter in het vinden van de exacte match.
Langere Fragmenten: Als het codefragment langer is (60 woorden of meer), presteert het Hybride Systeem (HST) eigenlijk beter dan de oude methode alleen. Het vindt vaker de juiste bron terwijl het supersnel blijft.
De "Bijna Juiste" Matches: De auteurs hebben ook een andere AI gebruikt om de resultaten te beoordelen. Ze ontdekten dat zelfs wanneer het systeem niet de exacte originele code vond (de "Ground Truth"), het vaak code vond die zeer vergelijkbaar was. Dit is nuttig omdat het de gebruiker vertelt: "Hé, deze code lijkt te komen uit deze familie van code, zelfs als het niet het exacte origineel is."

4. Waarom Dit Belangrijk Is

Het artikel betoogt dat voor ethische en legale AI-generatie van code, we moeten weten waar het vandaan komt.

Transparantie: Dit systeem helpt gebruikers te zien of hun AI-generatie van code gewoon een kopie is van het werk van iemand anders.
Schaalbaarheid: Het bewijst dat je plagiaat kunt controleren in een bibliotheek van miljarden boeken in de tijd die het kost om te knipperen, in plaats van jaren te wachten.

De Haken en Ogen

De auteurs zijn eerlijk over de beperkingen:

Je hebt de bibliotheek nodig: Om dit systeem te gebruiken, moet je toegang hebben tot de originele trainingsdata (de bibliotheek van boeken). Als de AI is getraind op geheime data die je niet kunt zien, kun je de bron niet traceren.
Creatieve wijzigingen: Als de AI de code te veel verandert (niet alleen variablen hernoemen, maar de logica volledig herschrijven), kan het systeem moeite hebben om de connectie te vinden.

Samenvattend: Het artikel presenteert een team van "Slimme Snuffelaar" + "Forensisch Expert" dat miljarden codefragmenten direct kan scannen om de oorspronkelijke bron van AI-generatie van code te vinden, waarbij snelheid wordt gebalanceerd met hoge nauwkeurigheid, vooral voor langere stukken code.

Technische Samenvatting: Efficiënte en Schaalbare Herkomstvolging voor door LLM's gegenereerde Codefragmenten

Probleemstelling
De proliferatie van Large Language Models (LLM's) voor code-aanvulling en -generatie (bijv. Codex, CodeLlama, StarCoder) heeft aanzienlijke juridische en ethische uitdagingen geïntroduceerd met betrekking tot plagiaat en licentiecompliance. LLM's kunnen trainingsdata "opzeggen", waardoor code letterlijk of met kleine aanpassingen (bijv. hernoemen van identifiers) wordt gereproduceerd zonder bronvermelding. Hoewel klassieke vingerafdruktechnieken zoals Winnowing (gebruikt in het MOSS-systeem) effectief zijn voor plagiaatdetectie, vertrouwen ze op lineaire zoekalgoritmen. Deze aanpak is computatieonpraktisch voor moderne pre-training corpora, die vaak miljarden samples omvatten. Bestaande schaalbare oplossingen, zoals infinity-gram retrieval, bieden logaritmische tijdscomplexiteit maar blijven zeer gevoelig voor ruis en codeaanpassingen, waardoor ze niet-verbatim overeenkomsten die vaak voorkomen in LLM-outputs niet detecteren.

Methodologie
De auteurs stellen HYBRIDSOURCETRACKER (HST) voor, een hybride tweestaps-pijplijn voor herkomstvolging die is ontworpen om schaalbaarheid te balanceren met hoge detectienauwkeurigheid. Het systeem integreert vectordatabase-retrieval met traditionele vingerafdrukken:

SOURCETRACKER (Fase 1): Een bidirectionele encoder met 300 miljoen parameters, fijngefineerd met behulp van Contrastive Language-Image Pre-training (CLIP)-verlies. Het model is getraind om de vectorrepresentaties van kleine codefragmenten af te stemmen op hun corresponderende volledige bronfragmenten. Het maakt gebruik van een dataset van 10 miljoen codefragmenten uit THESTACKV2. Tijdens training wordt het model blootgesteld aan zowel letterlijke kopieën (Type 1-klonen) als "aangepaste" fragmenten waarbij frequente identifiers probabilistisch worden vervangen door willekeurige strings (Type 2-klonen) om domeinaanpassing te simuleren.
- Retrieval: Tijdens inferentie wordt een codefragment gecodeerd en opgevraagd in een Qdrant-vectordatabase (met HNSW-indexering) om de 100 meest vergelijkbare kandidaatfragmenten op te halen. Deze fase werkt met logaritmische tijdscomplexiteit ( $O(\log N)$ ) ten opzichte van de datasetgrootte.
Winnowing Herordening (Fase 2): De 100 bovenste kandidaten opgehaald door SOURCETRACKER worden onderworpen aan het Winnowing-algoritme. Deze fase genereert syntactische vingerafdrukken (hashes) voor de kandidaten en het queryfragment, en ordent ze opnieuw op basis van de exacte Jaccard-ähnelijkheid van hun vingerafdruksets. Door het Winnowing-proces te beperken tot een vaste kandidaatset (100 items), behoudt het totale systeem logaritmische tijdscomplexiteit terwijl het profiteert van de ruisbestendigheid van vingerafdrukken.

Belangrijkste Bijdragen

SOURCETRACKER Model: De release van een encoder met 300 miljoen parameters die specifiek is fijngefineerd om volledige codefragmenten op te halen uit kleine fragmenten, en die zowel verbatim als aangepaste code kan verwerken.
HST-pijplijn: De introductie van een hybride methodologie die vectorzoekopdrachten en Winnowing sequentieel combineert. Deze aanpak biedt theoretische garanties voor logaritmische zoektijdscomplexiteit terwijl het detectieprestaties bereikt die vergelijkbaar zijn met, of zelfs beter zijn dan, traditionele vingerafdrukmethoden.
Dubbel Evaluatiekader: Het artikel hanteert een dubbele evaluatiestrategie:
- Ground Truth-metrics: Gebruik van Recall@N en Mean Reciprocal Rank (MRR) tegen een bekende subset van THESTACKV2.
- LLM-gebaseerde Judge: Gebruik van een LLM (Qwen3 Coder) om de semantische gelijkenis van opgehaalde fragmenten die geen ground truth zijn, te beoordelen, met erkenning dat "fouten" in strikte retrieval nog steeds relevante bronnen van inspiratie kunnen vertegenwoordigen.

Resultaten
Het systeem is geëvalueerd op een subset van 10 miljoen fragmenten uit THESTACKV2, met zoekruimten variërend van 1.000 tot 100.000 samples.

Prestaties vs. Venstergrootte: Voor kleine fragmenten (≤30 tokens) blijft Winnowing alleen zeer effectief. Echter, voor venstergroottes ≥60 tokens presteren HST en SOURCETRACKER consequent beter dan Winnowing alleen, waarbij HST een verbetering van tot 5,4% in Mean Reciprocal Rank (MRR) laat zien.
Schaalbaarheid: Waar Winnowing lineaire tijdscomplexiteit vertoont, wat een knelpunt creëert voor grote datasets, behoudt HST logaritmische complexiteit. Geëxtrapoleerde resultaten suggereren dat query-latenties zelfs voor datasets met miljarden samples in het milliseconde-bereik blijven.
Robuustheid: De hybride aanpak toont weerstand tegen hernoemen van identifiers (Type 2-klonen). De evaluatie met de LLM-gebaseerde judge onthulde dat, zelfs wanneer het systeem de exacte "gouden" bron niet ophaalt, het vaak fragmenten ophaalt met hoge semantische gelijkenis (scorend 2,0–2,6 op een schaal van 5 punten voor grotere vensters), wat suggereert dat het systeem relevante invloeden identificeert zelfs wanneer exacte matches zijn verduisterd.
Vergelijking met OLMOTRACE: De auteurs vonden dat OLMOTRACE (een benadering gebaseerd op suffix-arrays) weliswaar efficiënt is, maar worstelt met contextvensters groter dan 15 tokens, waardoor het contextuele gelijkenissen niet kan vastleggen die HST succesvol identificeert.

Betekenis en Beweringen
Het artikel beweert dat het integreren van vectorzoekopdrachten met vingerafdrukken schaalbare, hoogprecieze herkomstvolging mogelijk maakt voor code die door LLM's is geproduceerd. De auteurs betogen dat deze aanpak de kritieke behoefte aan transparantie en ethische attributie in softwareontwikkeling aanpakt.

Echter, de auteurs blijven bescheiden wat betreft de beperkingen en bredere implicaties:

Afhankelijkheid van Trainingsdata: De toepasbaarheid van het systeem is afhankelijk van de beschikbaarheid van de specifieke trainingsdataset die is gebruikt om de code te genereren.
Aard van "Fouten": Het artikel benadrukt dat opgehaalde fragmenten die niet als ground truth zijn gelabeld, nog steeds zeer vergelijkbaar kunnen zijn met de bron, wat suggereert dat strikte ground-truth-evaluatie de bruikbaarheid van het systeem voor eindgebruikers die op zoek zijn naar bronnen van inspiratie, mogelijk onderschat.
Oproep tot Transparantie: De auteurs concluderen dat het uitsluitend vertrouwen op de interne memorisatietendensen van LLM's precair is. Zij pleiten voor de release van trainingsdatasets en hun onderliggende bronnen als een de facto vereiste om effectieve herkomstvolging en auteursattributie mogelijk te maken.