Technische Samenvatting: Detectie van Functionele Memorisatie in Code-taalmodellen

Probleemstelling

Large Language Models (LLMs) die getraind zijn op code-corpora worden steeds vaker gebruikt voor codegeneratie. Bestaand onderzoek heeft uitgebreid onderzoek gedaan naar "training data extractie", waarbij modellen trainingsvoorbeelden letterlijk of bijna letterlijk reproduceren. De huidige auditingsmethoden vertrouwen echter bijna uitsluitend op tekstuele gelijkenis-metrieken (bijv. BLEU, edit distance). Deze aanpak faalt bij het vastleggen van een cruciaal risico: functionele memorisatie.

Code kan functioneel equivalent zijn terwijl het tekstueel ongelijk is. Variabelen kunnen worden hernoemd, de control flow kan worden gestructureerd, commentaar kan worden toegevoegd of verwijderd, of er kunnen geheel andere algoritmen worden ingezet om dezelfde logica te bereiken. Als een LLM propriëtaire functionele logica (bijv. handelsalgoritmen, aanbevelingsregels) uit zijn trainingsdata internaliseert en deze in een herstructureerde vorm reproduceert, zullen standaard tekstgebaseerde metrieken falen om de lekkage te detecteren. Dit artikel adresseert de kloof in het detecteren en kwantificeren van deze "functionele memorisatie" voorbij oppervlakkige token-overlap.

Methodologie

De auteurs stellen een counterfactual setup voor om memorisatie te onderscheiden van generalisatie, waarbij gebruik wordt gemaakt van de transparantie van de open-source Olmo-3-32B model wat betreft de training.

1. Experimentele Opzet

• Doelmodel ($M_T$): Het mid-getrainde checkpoint van Olmo-3-32B, dat is blootgesteld aan de doelcode (CraneCode, een gefilterde subset van the-stack-v2-smol).
• Referentiemodel ($M_R$): Het pre-getrainde checkpoint van Olmo-3-32B, dat dezelfde architectuur en pretraining deelt maar niet is blootgesteld aan de specifieke mid-training data.
• Data: 7.422 Python-functies uit de CraneCode-corpus, gefilterd op "betekenisvolle functionele logica" (bedrijfsregels, propriëtaire algoritmen) met behulp van een LLM-as-a-judge.
• Procedure: Beide modellen worden geprompt met functiesignaturen en tot 250 voorafgaande tokens. De modellen genereren continuaties met behulp van greedy decoding. De gegenereerde output ($x^*$) wordt vergeleken met de grondwaarheid van de trainingsdata ($x$).

2. Definitie van Counterfactual Functionele Memorisatie

Een sample wordt gedefinieerd als counterfactually functioneel gememoriseerd als:

1. Lage Tekstuele Overlap: De doelgeneratie heeft een lage tekstuele gelijkenis met de grondwaarheid ($SIM_{text} < \tau_{text}$).
2. Hoge Functionele Overlap: De doelgeneratie is functioneel equivalent aan de grondwaarheid ($SIM_{func} \ge \tau_{func}$).
3. Counterfactual Divergentie: Het referentiemodel (niet-blootgesteld) produceert geen functioneel equivalente output voor dezelfde prompt.

3. Evaluatie-metrieken

De studie maakt gebruik van een uitgebreide suite aan metrieken om gelijkenis te meten, gecategoriseerd als volgt:

• Tekstuele Metrieken: Exact match, BLEU, Edit similarity, en Longest Common Substring (LCS).
• Structurele Metrieken: CodeBLEU (syntax en data-flow varianten) en Tree-Edit Distance (TSED).
• LLM-as-a-Judge: Drie verschillende prompts (Song et al., Nikiema et al., en een aangepaste functionele equivalentie prompt) om semantische gelijkenis te beoordelen.
• Executie-gebaseerd: HyClone, een detector in twee fasen die testinputs genereert, beide functies uitvoert en outputs vergelijkt om functionele equivalentie te verifiëren.

Belangrijkste Bijdragen

1. Formalisering van Functionele Memorisatie: Het artikel definieert en operationaliseert het concept van het extraheren van functionele logica uit LLM's zonder letterlijke kopie, waarbij onderscheid wordt gemaakt van generalisatie.
2. Counterfactual Framework voor Code: Het past het counterfactual memorisatie-framework (voorheen gebruikt voor natuurlijke taal) aan voor code, door gebruik te maken van de specifieke trainings-transparantie van Olmo-3 om een rigoureuze "blootgesteld vs. niet-blootgesteld" vergelijking te creëren.
3. Uitgebreide Metriek-suite: Het werk evalueert een breed spectrum aan gelijkenis-metrieken en toont aan dat tekstgebaseerde metrieken onvoldoende zijn voor het detecteren van functionele lekkage.
4. Empirisch Bewijs: Het biedt het eerste grootschalige bewijs dat code-LLM's functionele memorisatie vertonen op een significante mate, zelfs wanneer de tekstuele overlap laag is.

Resultaten

De studie analyseert 7.422 functies en vindt systematische verschuivingen in gelijkenis van het referentiemodel naar het doelmodel over alle metrieken heen.

• Verbatim Memorisatie: In lijn met eerder werk produceert het doelmodel exacte matches (0,11%) en bijna-verbatim matches (BLEU $\ge$ 0,75, 0,58%) die het referentiemodel niet produceert.
• Functionele Memorisatie:
  • Structurele Metrieken: CodeBLEU (DFG) en TSED identificeerden respectievelijk 1,8% en 2,1% van de samples als counterfactually gememoriseerd, ondanks lage BLEU-scores.
  • LLM-as-a-Judge: Gebruikmakend van de conservatieve functionele equivalentie-prompt van de auteurs, werd 3,9% van de samples geïdentificeerd als functioneel gememoriseerd (lage BLEU, hoge functionele gelijkenis en counterfactual divergentie). Andere prompts leverden hogere percentages op (tot 14,0%), wat wijst op de gevoeligheid voor prompt-design.
  • Executie-gebaseerd: Onder de meest strikte HyClone-testen werden 0,28% van de generaties geverifieerd als functioneel identiek aan de trainingsdata, terwijl het referentiemodel dit niet deed. Dit wordt beschouwd als een ondergrens vanwege executie-uitdagingen (bijv. ontbrekende dependencies, class state).
• Metriek Correlatie: Tekstuele metrieken (BLEU, Edit) zijn sterk gecorreleerd met elkaar, maar zwak gecorreleerd met executie-gebaseerde metrieken (HyClone), wat bevestigt dat ze verschillende signalen vastleggen.

Voorbeeld: Het artikel belicht een geval waarbij het doelmodel de hard-coded commissie-logica uit de training reproduceerde met behulp van een hergestructureerde implementatie (andere variabelen en control flow), terwijl het referentiemodel ongeëvenaarde logica hallucineerde. Tekstuele metrieken (BLEU = 0,26) faalden om dit te signaleren, terwijl functionele metrieken (LLM-judge = 0,8, Executie = 0,95) dit wel deden.

Betekenis en Claims

Het artikel claimt dat huidige audit-regimes die uitsluitend vertrouwen op tekstuele overlap ontoereikend zijn voor code-modellen. De resultaten demonstreren dat functionele memorisatie plaatsvindt op een vergelijkbare orde van grootte als bijna-verbatim memorisatie wanneer passende functionele metrieken worden gebruikt.

De auteurs stellen dat:

• Modellen propriëtaire logica kunnen internaliseren en reproduceren, zelfs wanneer de oppervlaktevorm aanzienlijk is gewijzigd.
• Bestaande privacy- en IP-beschermingen gebaseerd op tekstgelijkenis waarschijnlijk het risico op training data-lekkage onderschatten.
• Er een dringende behoefte is aan audit-metrieken die verder gaan dan tekstuele overlap, door structurele analyse, LLM-gebaseerde semantische beoordeling en executie-gebaseerde verificatie te integreren.

Het werk concludeert met het motiveren van de ontwikkeling van robuustere audit-regimes en verbeterde meettechnieken voor functionele gelijkenis, waarbij wordt opgemerkt dat huidige executie-gebaseerde methoden nog steeds beperkt worden door de complexiteit van real-world code-omgevingen.