Technische Samenvatting: Tussen de regels door lezen: Naar betrouwbare black-box LLM-vingerafdruk via zeroth-order gradiëntschatting

Probleemstelling

De ontwikkeling van Large Language Models (LLM's) vereist aanzienlijke investeringen, wat ze tot waardevol intellectueel eigendom maakt. Het risico op auteursrechtinbreuk door ongeautoriseerde kopieën of modelstelen is echter aanzienlijk. Hoewel LLM-vingerafdrukken (fingerprinting) zijn opgekomen als een techniek om de oorsprong van een model te verifiëren door unieke handtekeningen te extraheren, bestaat er een kritieke prestatiekloof tussen white-box en black-box methoden.

• White-box methoden (toegang tot interne parameters) bereiken een bijna perfecte auditprestatie omdat statische gewichten dienen als unieke identificatoren.
• Black-box methoden (alleen API-toegang) vertrouwen op het vergelijken van modeloutputs. De auteurs stellen dat deze methoden ineffectief zijn omdat het uitgebreide gebruik van niet-lineaire activatiefuncties (bijv. GELU, SiLU) in LLM-architecturen de parameterinformatie progressief comprimeert, wat leidt tot aanzienlijk informatieverlies in de uiteindelijke output.

De kernonderzoeksvraag is: Is er een kenmerk dat onder black-box omstandigheden toegankelijk is en meer informatie over modelparameters bewaart dan de output zelf?

Methodologie: ZeroPrint

De voorgestelde oplossing, ZeroPrint, is een nieuw black-box vingerafdruk-framework dat de gradiënt van het model (specifiek de Jacobiaan-matrix) benadert als een vingerafdruk, in plaats van te vertrouwen op ruwe outputs. De methodologie is gebaseerd op de Fisher-informatietheorie en geïmplementeerd via zeroth-order gradiëntschatting.

1. Theoretisch Fundament

De auteurs analyseren formeel de informatiegehalte van modeloutputs ($Y$) versus de gradiënt van de output met betrekking tot de input ($D = dY/dX$).

• De Niet-lineaire Bottleneck: In een standaard neurale eenheid $Y = f(WX + K)$ vereist het observeren van $Y$ het passeren van de parameter $W$ door een niet-lineaire functie $f$, wat informatie onomkeerbaar kan comprimeren.
• Het Gradiëntvoordeel: Het observeren van de gradiënt $D = Wf'(WX+K)$ maakt het mogelijk om de parameter $W$ directer te observeren (geschaald door de afgeleide).
• Stelling 1: Gebruikmakend van Fisher-informatie bewijzen de auteurs dat voor niet-lineaire functies de Fisher-informatie van de gradiënt $D$ met betrekking tot de parameters $W$ strikt groter is dan die van de output $Y$. Dit vestigt de gradiënt als een theoretisch superieur kenmerk voor vingerafdrukken.

2. ZeroPrint Framework

Omdat gradiënten niet direct toegankelijk zijn in een black-box setting, benadert ZeroPrint deze met behulp van zeroth-order schatting aangepast voor discrete tekst. Het proces omvat drie stappen:

• Stap 1: Constructie van de Queryset

  • Base Queries: Het systeem selecteert $n$ base queries die ontworpen zijn voor stabiliteit. De auteurs maken gebruik van een code-aanvullingstaak (bijv. "Complete the following code: [snippet]") omdat de structuur van code meer consistente reacties oproept bij diverse modellen vergeleken met open-ended tekst of QA-taken.
  • Perturbed Queries: Voor elke base query worden $m$ semantisch vergelijkbare variaties gegenereerd met behulp van woordsubstitutie. Een vooraf getraind woord-embeddingmodel (bijv. GloVe) identificeert semantisch vergelijkbare woorden om specifieke tokens in de base query te vervangen, waardoor "perturbed" inputs ontstaan die de betekenis behouden maar de inputvector licht veranderen.

• Stap 2: Vingerafdrukgeneratie (Zeroth-order Estimation)

  • De base queries en hun geperturbeerde tegenhangers worden ingediend bij de doel-LLM. Om de output-stochastiek te beperken, wordt elke query $t$ keer herhaald en worden de resulterende tekstreacties gemiddeld.
  • Embedding: Alle inputs en gemiddelde outputs worden omgezet in continue vectoren met behulp van een sentence embedding model (bijv. all-mpnet-base-v2).
  • Jacobian Estimatie: Het systeem berekent de verschilvectoren tussen de geperturbeerde en de base inputs ($\Delta x$) en hun overeenkomstige output-embeddings ($\Delta y$).
  • Regressie: Een lokale Jacobiaan-matrix $J$ wordt geschat voor elke base query door een lineair regressieprobleem op te lossen ($\Delta y \approx J \Delta x$) met behulp van Ridge Regressie om ondergedetermineerde systemen te behandelen. De uiteindelijke vingerafdruk is het elementgewijze gemiddelde van deze Jacobiaan-matrices over alle base queries.

• Stap 3: Vingerafdrukvergelijking

  • De gelijkenis tussen de vingerafdruk van het bronmodel ($J_o$) en de verdachte vingerafdruk ($J_s$) wordt berekend met behulp van de Pearson correlatiecoëfficiënt. Een hoge gelijkenisscore geeft aan dat het verdachte model waarschijnlijk een afgeleide is van het bronmodel.

Belangrijkste Bijdragen

1. Theoretisch Inzicht: Het artikel biedt een formeel bewijs gebaseerd op de Fisher-informatietheorie dat aantoont dat modelgradiënten meer informatie bevatten over modelparameters dan modeloutputs, wat de afhankelijkheid van output-gebaseerde kenmerken in black-box vingerafdrukken uitdaagt.
2. ZeroPrint Algoritme: De auteurs introduceren een methode om deze informatie-rijke gradiënten te schatten in een discrete tekstdomein. Dit wordt bereikt door continue perturbaties te simuleren via semantisch behoudende woordsubstituties en zeroth-order optimalisatieprincipes toe te passen.
3. Empirische Validatie: Uit extensieve experimenten op LeaFBench (een benchmark met 149 modelinstanties) blijkt dat ZeroPrint de state-of-the-art (SOTA) prestaties behaalt onder de black-box methoden, waarbij het bestaande ongetargette en getargete benaderingen aanzienlijk overtreft.

Experimentele Resultaten

Geëvalueerd op de LeaFBench benchmark met een strikte querylimiet van 200 queries per model:

• Prestaties: ZeroPrint behaalde een AUC van 0,720 en een pAUC van 0,683, waarmee het bestaande black-box baselines (bijv. LLMmap, MET, SEF, TRAP) overtreft.
• Vergelijking met White-box: Hoewel ZeroPrint alle black-box baselines overtreft, blijft het onder de prestaties van de white-box methode REEF (AUC 0,896), die directe toegang heeft tot de interne werking van het model.
• Ablatie-studies:
  • Perturbed Queries ($m$): De prestaties verbeteren aanzienlijk naarmate het aantal geperturbeerde queries toeneemt, met een piek bij $m=14$.
  • Repeats ($t$): Het verhogen van het aantal herhalingen per query stabiliseert de output-embedding, waarbij de prestaties rond $t=20$ een plateau bereiken.
  • Query Type: Code-aanvullingsqueries (HumanEval) leverden superieure resultaten op vergeleken met QA of algemene tekstaanvullingsdatasets, wat wordt toegeschreven aan de gestructureerde aard van code die een meer uniforme modelgedrag oproept.
  • Embedding Dimensie: Er bestaat een trade-off; grotere dimensies vangen meer semantiek op, maar vereisen meer queries om de grotere Jacobiaan-matrix nauwkeurig te schatten.
• Robuustheid: ZeroPrint toonde veerkracht tegen Input Paraphrasing Attacks (het gebruik van kleinere LLM's om queries te herschrijven) en Output Perturbation Attacks (het toevoegen van Gaussische ruis), waarbij hoge gelijkenisscores behouden bleven.
• Efficiëntie: De methode vereist ongeveer 425 seconden per model, wat computationeel praktisch is en sneller is dan verschillende black-box baselines zoals MET en SEF.

Betekenis en Claims

Het artikel claimt dat ZeroPrint een belangrijke stap voorwaarts vertegenwoordigt in betrouwbare en veilige mechanismen voor LLM-auteursrechtcontrole. Door de focus te verleggen van modeloutputs naar geschatte gradiënten, overwint de methode het inherente informatieverlies in niet-lineaire LLM-architecturen. De auteurs positioneren ZeroPrint als een praktische, niet-invasieve oplossing die geen model fine-tuning vereist en kan worden toegepast op reeds uitgerolde modellen, waarmee een kritiek gat in de bescherming van intellectueel eigendom in het AI-ecosysteem wordt gedicht. Het werk suggereert dat gradiënt-gebaseerde kenmerken de sleutel zijn tot het overbruggen van de prestatiekloof tussen white-box en black-box vingerafdrukken.