Can Watermarking Techniques Help Prevent LLM Model Stealing?

Technische Samenvatting: Watermerktechnieken voor het voorkomen van LLM-modeldiefstal

Probleemstelling
Commerciële Large Language Models (LLM's) worden doorgaans via black-box API's benaderd, waarbij hun interne architecturen, trainingsdata en parameters vertrouwelijk blijven. Recent werk door [Carlini et al., 2024b] heeft echter een schaalbare "model stealing"-aanval aangetoond die in staat is om precieze architecturale informatie, specifiek de dimensie van de verborgen lagen en de uiteindelijke projectielaag, te extraheren uit deze black-box modellen. De aanval werkt door het model te bevragen met een set controleerbare prompts om de volgende-token voorspellings-logitvectoren te verzamelen. Door een matrix te construeren uit deze logits en Principal Component Analysis (PCA) toe te passen, kan een tegenstander de numerieke rang van de matrix schatten, wat overeenkomt met de verborgen dimensie van het model. Deze kwetsbaarheid is kritiek omdat de verborgen dimensie dient als fundament voor het stelen van de parameters van de laatste laag van het model. De aanval is veelzijdig, omdat deze niet afhankelijk is van specifieke activatiefuncties of netwerkstructuren, en blijft effectief zelfs wanneer de verdediger probeert dit te mitigeren via eenvoudige ruisinjectie of middelingstechnieken.

Methodologie
De auteurs stellen een verdedigingsmechanisme voor dat geïnspireerd is op LLM-watermerktechnieken [Kirchenbauer et al., 2023], specifiek ontworpen om rangschattingsaanvallen te verstoren terwijl de bruikbaarheid van het model behouden blijft. De kernstrategie houdt in dat de logits-laag van het model structureel wordt verstoord vóór de token-sampling.

1. Prompt-afhankelijke deterministische ruis: In tegen tegenover naïeve verdedigingen die onafhankelijke willekeurige ruis toevoegen (die door een tegenstander gemiddeld kan worden), genereert de voorgestelde methode ruis die deterministisch is voor een gegeven prompt, maar varieert tussen verschillende prompts. Dit wordt bereikt door een seed te berekenen met behulp van een cryptografische Pseudorandom Function (PRF) toegepast op de laatste verborgen toestand ($h$) van een specifieke prompt $p$. De PRF zorgt ervoor dat identieke prompts identieke perturbaties opleveren (wat middelingaanvallen voorkomt), terwijl verschillende prompts verschillende, ogenschijnlijk willekeurige perturbaties opleveren.
2. Perturbatiemechanismen: Het artikel evalueert verschillende ruisstructuren:
   • Additieve Ruis: Directe toevoeging van discrete of Gaussische ruisvectoren. Hoewel effectief tegen basis-PCA, zijn deze kwetsbaar voor geavanceerde middeling- of robuuste PCA-aanvallen.
   • Multiplicatieve Ruis: Het schalen van logits door willekeurige factoren. Experimenten tonen aan dat dit de kwaliteit van het model aanzienlijk verslechtert en faalt in het voorkomen van rangherstel.
   • Softplus-Then-Perturb (STP): De auteurs stellen een nieuw mechanisme voor waarbij de logitvector $\ell$ eerst wordt getransformeerd via een softplus-functie ($\text{softplus}(\alpha\ell)$) om de waarden te scheef te trekken en de relatieve volgorde van tokens met een hoge mate van zekerheid te behouden. Vervolgens worden willekeurige perturbaties toegevoegd aan deze getransformeerde vector. Deze aanpak beoogt de tokenvolgorde te behouden (cruciaal voor kwaliteit) terwijl er voldoende structurele complexiteit wordt geïntroduceerd om de laag-rang subspace te breken die vereist is voor rangschatting.

Belangrijkste Bijdragen

• Verdediging tegen Rangschatting: Het artikel introduceert een gestructureerd perturbatiekader dat specifiek gericht is op de wiskundige kwetsbaarheid die door [Carlini et al., 2024b] wordt misbruikt, waardoor het herstel van de verborgen dimensie via PCA of Robuuste PCA wordt voorkomen.
• Theoretische Analyse van Ruis: De auteurs analyseren de stabiliteit van rangherstel onder verschillende ruiscondities, gebruikmakend van Weyl's ongelijkheid en matrix-perturbatietheorie. Ze tonen aan dat eenvoudige additieve ruis onvoldoende is tegen middelingaanvallen en dat de afhankelijkheidsstructuur tussen de ruis en de prompt cruciaal is.
• STP-mechanisme: De voorstel van het Softplus-Then-Perturb mechanisme, dat een balans vindt tussen robuustheid tegen extractieaanvallen en het behoud van de modelprestaties.
• Empirische Validatie: Uitgebreide experimenten op Mistral-7B (en GPT-2 in de appendix) demonstreren de trade-offs tussen verdedigingsrobuustheid en modelkwaliteit.

Resultaten

• Preventie van Aanvallen: De voorgestelde verdedigingen, met name het STP-mechanisme gecombineerd met Gaussische ruis, slagen er succesvol in om de extractie van de verborgen dimensie te voorkomen. In experimenten met 10.000 prompts faalde de aanval om de correcte rang (4.096 voor Mistral-7B) te identificeren, waarbij de voorspelde dimensie geen identificeerbare anomalie of significante sprong in singularwaarden vertoonde.
• Robuustheid tegen Geavanceerde Aanvallen: Het STP-mechanisme met Gaussische ruis weerstond pogingen tot "softplus inversie"-aanvallen en Robuuste PCA (RPCA) extensies. In contrast hiermee was pure softplus zonder perturbatie kwetsbaar voor inversie, en was eenvoudige additieve ruis kwetsbaar voor middeling.
• Behoud van Modelkwaliteit:
  • Perplexity (PPL): Additieve ruis veroorzaakte een significante degradatie in perplexiteit bij hogere magnitudes. Echter, STP-gebaseerde perturbaties hielden de perplexiteit dicht bij het originele model (bijv. 3.37 vs. 3.40 voor het origineel).
  • MMLU Nauwkeurigheid: Hoewel additieve ruis de MMLU-scores aanzienlijk verminderde (dalend naar ~44-55%), behield het STP-mechanisme een hoge nauwkeurigheid (56-57%), wat bijna overeenkomt met het originele model (57.78%).
  • Distributionele Verschuiving: Hoewel STP een hoge distributionele divergentie induceerde (hoge KL en JS divergentie), behield het een hoge Top-50 token overeenkomst (≥0.92). Dit geeft aan dat hoewel de waarschijnlijkheidsverdeling verschuift, de relatieve rangorde van de meest zelfverzekerde tokens intact blijft, wat de functionele bruikbaarheid van het model behoudt.

Betekenis
Het artikel beweert dat de benadering een praktische en effectieve verdediging biedt tegen een specifieke klasse van model stealing-aanvallen die de intellectuele eigendom van commerciële LLM's bedreigen. Door gebruik te maken van watermerk-geïnspireerde technieken om de logits op een prompt-afhankelijke manier te verstoren, laten de auteurs zien dat het mogelijk is om de interne dimensionaliteit van het model te verhullen zonder het model onbruikbaar te maken. Het werk benadrukt dat het behoud van de relatieve volgorde van logits belangrijker is voor het behoud van de modelbruikbaarheid dan het minimaliseren van de ruwe distributionele verschuivingen, een bevinding die de vormgeving van het STP-mechanisme informeert. De auteurs concluderen dat hun methode de veiligheid en integriteit van commerciële taalmodellen versterkt tegen ranggebaseerde extractie, wat een levensvatbaar pad biedt voor de bescherming van propriëtaire modelarchitecturen.