Technische Samenvatting: RAFP - Identificatie van LLM-lineages via Rare-Region Fingerprints

1. Probleemstelling

De snelle commercialisering van Large Language Models (LLM's) heeft de behoefte aan robuuste mechanismen om intellectueel eigendom (IP) van modellen te beschermen en eigendom te verifiëren geïntensiveerd. Een kritieke kwetsbaarheid is modeldiefstal, waarbij tegenstanders toegang krijgen tot propriëtaire modellen en deze hergebruiken in strijd met licentieovereenkomsten, met name bij beperkte licenties of on-premise implementaties.

Bestaande detectiemethoden kampen met significante beperkingen:

• Fragiliteit: Traditionele gelijkenisgebaseerde technieken en veel fingerprinting-methoden falen onder veelvoorkomende downstream-modificaties zoals supervised finetuning (SFT), Low-Rank Adaptation (LoRA), kwantisatie en pruning.
• Invasiviteit: Sommige benaderingen vereisen het wijzigen van modelgewichten tijdens de training (bijv. watermarking via token-bias of backdoor-insertie), wat de modelprestaties kan verslechteren of white-box toegang vereist.
• Black-Box Onbereikbaarheid: Veel real-world scenario's bieden alleen API-toegang tot verdachte modellen, wat directe inspectie van gewichten verhindert. Huidige methoden hebben vaak moeite om lineage te identificeren zonder directe toegang tot parameters.

De kernuitdaging is het ontwikkelen van een niet-invasieve, black-box en robuuste methode om LLM-lineages te identificeren die standhoudt tijdens standaard waarde-behoudende adaptaties.

2. Methodologie: RAFP

De auteurs stellen RAFP (Robust Adversarial Rare-region FingerPrints) voor, een framework dat LLM-lineages identificeert door unieke prompt-respons paren te leren die afgeleid zijn van rare regio's (zeldzame gebieden) van de pre-trained distributie van het model.

Kerninzicht

De fundamentele hypothese is dat downstream finetuning voornamelijk high-density taalgedragingen bijwerkt (veelvoorkomende patronen in de trainingsdata). Daarentegen ontvangen low-probability (rare) regio's zwakke optimalisatiesignalen en vertonen zij beperkte gradiënt-alignement tijdens finetuning. Bijgevolg blijven de gedragspatronen van zeldzame prompt-respons paren grotendeels invariant over veelvoorkomende modeladaptaties heen.

Framework Componenten

RAFP opereert in twee stadia:

A. Fingerprint Generatie

RAFP construeert fingerprints als paren $(x, y)$ waarbij $x$ een prompt is en $y$ een respons. Het generatieproces is niet-invasief (wijzigt geen modelgewichten) en volgt een driestaps-procedure:

1. Prompt Initialisatie: Kandidaat-prompts worden geïnitialiseerd door tokens uniform willekeurig te samplen voor de eerste $l$ tokens en bottom-$k$ sampling te gebruiken voor de rest. Dit stuurt de zoektocht naar gebieden met een lage waarschijnlijkheid in de pre-trained modeldistributie.
2. Respons Generatie: Een respons $y$ wordt gegenereerd met behulp van greedy decoding (top-1 sampling) gegeven de geïnitialiseerde prompt en een system prompt.
3. Prompt Optimalisatie: De prompt $x$ wordt geoptimaliseerd om de waarschijnlijkheid van het genereren van $y$ te maximaliseren met behulp van Greedy Coordinate Gradient (GCG). De doelstelling is $\max_x \log p_{M_\theta}(y | h, x)$.

Praktische Optimalisaties voor Robuustheid:

• Multi-task Optimalisatie: Fingerprints worden gezamenlijk geoptimaliseerd over meerdere aangepaste modelvarianten en system prompts om stabiliteit te garanderen over natuurlijke variaties.
• Multi-trial Optimalisatie: Om broze lokale optima te vermijden, wordt een fingerprint-kandidaat pas geaccepteerd als deze succesvol optimaliseert over meerdere onafhankelijke runs (bijv. $n=20$ trials).

B. Eigendomsverificatie

Het protocol scheidt detectie van openbaarmaking om adversariële filtering te voorkomen:

1. Commitment: Voordat het model wordt uitgerold, genereert de modeleigenaar een set fingerprints en publiceert de cryptografische hashes (bijv. SHA-256) als commitments op een publiek, tijdgestempeld platform.
2. Verificatie: Gegeven een verdacht model $M_{\theta'}$, bevraagt de eigenaar dit model met de niet-onthulde fingerprint-prompts. Als het model de gecommitteerde responsen $y$ reproduceert, wordt eigendom geverifieerd door het originele prompt-respons paar te onthullen.
3. Rejectie: Het systeem test ook tegen ongerelateerde model-lineages om te bevestigen dat de fingerprint uniek is en geen false positives triggert.

Theoretische Analyse

Het artikel biedt een theoretische grens aan de verandering in log-likelihood ($\Delta$) van een rare-region fingerprint na finetuning.

• Aannames: Rare prompts bezetten een kleine waarschijnlijkheidsmassa ($\rho(\tau) \ll 1$) in de downstream finetuning distributie, en gradiënten zijn begrensd.
• Resultaat: De verandering in log-likelihood is begrensd door termen gerelateerd aan de zeldzaamheid van de prompt en de concentratie van gradiënten. Specifiek, omdat zeldzame prompts zelden voorkomen in de finetuning data en hun gradiënten een zwakke alignement hebben met de dominante high-density trainingsrichtingen, verandert de waarschijnlijkheid van de fingerprint-respons slechts gering.

3. Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van RAFP, een niet-invasieve, black-box methode voor LLM-lineage identificatie die steunt op de structurele invariantie van rare-region gedragingen.
2. Theoretische Garantie: Een formeel bewijs dat aantoont dat de verandering in log-likelihood van rare-region fingerprints onder finetuning begrensd blijft, wat de robuustheid van de methode verklaart.
3. Uitgebreide Evaluatie: Uitgebreide experimenten over vier LLM-families (Llama 2 7B/13B, Llama 3 8B, Mistral 7B) en diverse downstream-adaptaties (SFT, LoRA, kwantisatie, system prompt variaties).
4. Security Analyse: Demonstratie van robuustheid tegen praktische aanvallen, inclusclusief perplexity-gebaseerde filtering en race attacks.

4. Experimentele Resultaten

De auteurs evalueerden RAFP tegen baselines inclusief Instructional Finetuning (IF-SFT, IF-Emb) en GCG-gebaseerde fingerprinting.

• Effectiviteit: RAFP behaalde een 100% True Positive Rate (TPR) over alle vier de basismodellen, waarmee het de GCG-baselines overtrof en IF-SFT evenaarde zonder de modelutiliteit te verslechteren.
• Robuustheid: Onder downstream finetuning (SFT en LoRA) behield RAFP een TPR van 92–100%. In contrast hiermee leden IF-SFT en IF-Emb significante degradatie (10–35% daling), en GCG-baselines daalden naar 23–63%.
• Uniciteit: In black-box settings identificeerde RAFP succesvol alle relevante gefinetunede modellen terwijl een 0% False Positive Rate (FPR) werd gehandhaafd op ongerelateerde modellen, waardoor het effectief tussen lineages onderscheid kon maken.
• Ablatie Studies:
  • Perplexity Filtering: RAFP die geoptimaliseerd is met perplexity regularisatie verminderde de rejectie door API-filters terwijl een hoge TPR behouden bleef.
  • Prompt Templates: RAFP vertoonde minimale TPR-degradatie (10–30%) over verschillende prompt templates (Vicuna, Alpaca, Zero-Shot), waarmee het baselines overtrof.
  • Hyperparameters: RAFP behield een hoge TPR over verschillende inference temperaturen (0.1–0.7), terwijl GCG-QA significant degradeerde bij hogere temperaturen.

5. Betekenis en Claims

Het artikel claimt dat RAFP een significante vooruitgang vormt in LLM IP-bescherming door het evenwicht tussen robuustheid en invasiviteit aan te pakken.

• Robuustheid: In tegen tegenstelling tot eerdere methoden die falen onder veelvoorkomende adaptaties, maakt RAFP gebruik van de "invariantie" van zeldzame regio's om finetuning, kwantisatie en prompt engineering te overleven.
• Niet-Invasiviteit: Het vereist geen wijziging van modelgewichten of het introduceren van output-biases, waardoor de oorspronkelijke utiliteit van het model behouden blijft.
• Black-Box Leefbaarheid: Het maakt eigendomsverificatie mogelijk in scenario's waar alleen API-toegang beschikbaar is, een cruciale vereiste voor real-world implementatie.
• Security: De scheiding van commitment (hashes) en disclosure (queries) voorkomt dat tegenstanders fingerprints wegfilteren vóór verificatie.

De auteurs erkennen beperkingen, waarbij zij opmerken dat RAFP kwetsbaar kan zijn voor sterke adaptaties zoals distillatie of adversariële re-parameterisatie, en dat black-box querying uitdagingen kent met betrekking tot API-kosten en geavanceerde filtering. Echter, binnen de scope van "economisch levensvatbare" modificaties, biedt RAFP een robuuste oplossing voor lineage tracking.