Technische Samenvatting: SVIP – Naar Verifieerbare Inferentie van Open-source Large Language Models

1. Probleemstelling

De snelle groei van open-source Large Language Models (LLM's) heeft lokale implementatie voor individuele gebruikers onpraktisch gemaakt vanwege de hoge computationele eisen. Als gevolg hiervan is gedecentraliseerde computing een kosteneffectief alternatief geworden, waarbij gebruikers LLM-inferentie uitbesteden aan derde partijen (individuen of kleine bedrijven) met overtollige middelen.

Deze setting introduceert echter een cruciaal vertrouwensprobleem: verifieerbare inferentie. Een kwaadwillende computing provider kan het door de gebruiker aangevraagde, grotere model (bijv. Llama-3.1-70B) stiekem vervangen door een kleiner, minder capabel model (bijv. Llama-2-7B) om computationele kosten te besparen, terwijl er nog steeds voor het grotere model wordt gerekend. Omdat providers vaak alleen black-box API-toegang bieden, kunnen gebruikers dergelijke substituties niet gemakkelijk detecteren. Bestaande oplossingen kampen met aanzienlijke beperkingen:

• Cryptografische methoden (bijv. Zero-Knowledge Proofs) leggen prohibitieve computationele overhead op (bijv. >800 seconden per query).
• Speltheoretische protocollen vertrouwen op onrealistische aannames van rationele, niet-coöperatieve providers.
• Watermarking/Fingerprinting worden doorgaans geïmplementeerd door modeluitgevers en zijn ongeschikt voor verificatiescenario's tussen gebruiker en provider.

Het doel is om een protocol te ontwerpen waarmee een gebruiker met een hoge mate van zekerheid kan verifiëren dat een speciff model is gebruikt voor inferentie, terwijl de computationele efficiëntie, lage foutpercentages en de kwaliteit van de voltooiing behouden blijven.

2. Methodologie

De auteurs stellen SVIP (Secret-based Verifiable Inference Protocol) voor, dat gebruikmaakt van verborgen representaties (hidden representations) uit het LLM-inferentieproces in plaats van te vertrouwen op cryptografische bewijzen.

2.1. Kernmechanisme: Proxy-taak op verborgen toestanden

Het protocol werkt op de intuïtie dat de verborgen toestand-representaties gegenereerd door een specifiek model unieke handtekeningen bevatten.

1. Data-uitwisseling: De computing provider geeft niet alleen de gegenereerde tekst terug, maar ook een gecomprimeerde vector van de verwerkte verborgen representaties ($z(x)$) van het gespecificeerde model.
2. Proxy-taak: Een "proxy-taak" wordt uitsluitend getraind op de verborgen representaties van het gespecificeerde model ($M_{spec}$). Deze taak transformeert de verborgen representaties naar een unieke identifier voor dat model.
3. Verificatie: De gebruiker evalueert de geretourneerde vector $z(x)$ lokaal op de proxy-taak. Als het gebruikte model $M_{spec}$ is, zal de vector goed presteren op de taak; als een kleiner alternatief model ($M_{alt}$) is gebruikt, zal de prestatie aanzienlijk verslechteren.

2.2. Het eenvoudige protocol en de kwetsbaarheid ervan

Aanvankelijk wordt een eenvoudig protocol voorgesteld waarbij de gebruiker een binaire classifier traint op verborgen toestanden. Dit is echter kwetsbaar voor Direct Vector Optimization Attacks. Een kwaadwillende provider die de labelingsfunctie kent, zou de LLM volledig kunnen omzeilen door direct een vector $\tilde{z}$ te optimaliseren om aan de classifier te voldoen en deze vervolgens te retourneren, waardoor er wordt bedrogen zonder inferentiekosten te maken.

2.3. Het Secret-Based Protocol (SVIP)

Om optimalisatie-aanvallen tegen te gaan, introduceert SVIP een secret-mechanisme:

• Secret Toewijzing: Het platform wijst een uniek geheim ($s$) toe aan de gebruiker, dat nooit met de computing provider wordt gedeeld.
• Secret-afhankelijke Labeling: De labelingsfunctie $y(x, s)$ is afhankelijk van het geheim. Een kwaadwillende provider kan de juiste label niet bepalen zonder $s$ te kennen.
• Secret Embedding: Het geheim $s$ wordt in de taak ingebed als een token $t_\psi(s)$ en samengevoegd met de verborgen toestanden vóór compressie.
• Continue Verificatie: De verificatie controleert of de afstand tussen de voorspelde proxy-output en de secret-afhankelijke labelvector onder een drempelwaarde $\eta$ ligt.

2.4. Defensie tegen adaptieve aanvallen

Het paper analyseert twee adaptieve aanvallen:

1. Adapter Attack: Een aanvaller traint een neurale adapter om verborgen toestanden van $M_{alt}$ in kaart te brengen zodat ze onder een specifiek geheim $M_{spec}$ nabootsen.
2. Secret Recovery Attack: Een aanvaller probeert het geheim $s$ te achterhalen uit de verstrekte embedding $t_\psi(s)$ door veel secret-embedding paren te verzamelen.

Defensiemechanisme: SVIP maakt gebruik van een Update Mechanisme. Geheimen worden geroteerd na een drempelwaarde van het aantal queries ($M^*$), en het volledige protocol wordt opnieuw getraind nadat een totaal aantal geheimen ($N^*$) is gebruikt. Dit beperkt de hoeveelheid data die een aanvaller onder een enkel geheim kan verzamelen, waardoor de aanvallen ineffectief worden.

3. Belangrijkste Bijdragen

• Formalisering: Heeft het probleem van verifieerbare LLM-inferentie systematisch geformaliseerd en een protocol voorgesteld dat gebruikmaakt van verwerkte verborgen representaties.
• Secret-Based Security: Introduceerde een nieuw secret-mechanisme dat verborgen representaties transformeert naar unieke, geheim-afhankelijke identifiers, wat directe vector-optimalisatie-aanvallen effectief neutraliseert.
• Uitgebreide Analyse: Bood een grondige beveiligingsanalyse tegen sterke en adaptieve adversariële scenario's (adapter- en secret recovery-aanvallen).
• Empirische Validatie: Heeft de effectiviteit van het protocol gedemonstreerd over 5 gespecificeerde open-source LLM's (13B tot 70B parameters) en 6 alternatieve modellen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met de LMSYS-Chat-1M dataset en diverse modelfamilies (Llama, GPT-NeoX, OPT, Falcon).

• Nauwkeurigheid:
  • False Negative Rate (FNR): Consistent lager dan 5% per query (gemiddeld 3,49% over alle modellen). Dit geeft aan dat eerlijke providers zelden onterecht worden beschuldigd.
  • False Positive Rate (FPR): Consistent lager dan 3% per query over alle alternatieve modellen. Dit geeft aan dat kwaadwillende providers zele minder vaak worden vrijgesproken.
  • Geaggregeerde Betrouwbaarheid: Door resultaten over meerdere queries te aggregeren (bijv. $B=30$), bereikt het protocol extreem lage Type-I en Type-II foutpercentages (bijv. Type-I fout $\approx 1,7 \times 10^{-49}$ voor Llama-3.1-70B versus Llama-2-7B).
• Efficiëntie:
  • Latentie: Verificatie voegt verwaarloosbare overhead toe, waarbij < 0,01 seconden per prompt-query nodig zijn voor zowel de gebruiker als de provider. Dit is ordes van grootte sneller dan cryptografische alternatieven (bijv. zkLLM vereist ~803 seconden).
  • Geheugen: De provider vereist ~980 MB GPU-geheugen voor de feature extractor; de gebruiker vereist ~1428 MB, wat haalbaar is op standaard lokale machines.
• Robuustheid:
  • Adapter Attack: Het protocol weerstaat adapter-aanvallen, zelfs wanneer aanvallers 400–800 prompt-samples per geheim verzamelen.
  • Secret Recovery: De succesratio voor het herstellen van geheimen blijft onder de 50%, zelfs na het verzamelen van 200.000 secret-embedding paren. Met het update-mechanisme kan SVIP 80 tot 120 miljoen prompt-queries veilig afhandelen voordat hertraining vereist is.
• Generaliseerbaarheid: Het protocol behoudt een lage FPR/FNR op onbekende datasets (ToxicChat, Web Questions, GSM8K, Verifiable-Coding-Problems), wat robuustheid over verschillende domeinen aantoont.

5. Betekenis en Claims

Het paper claimt dat SVIP een praktische balans biedt tussen computationele efficiëntie en beveiliging, waardoor verifieerbare inferentie haalbaar wordt voor real-world gedecentraliseerde LLM-diensten. In tegenstelling tot cryptografische methoden die te traag zijn voor real-time interactie, stelt SVIP gebruikers in staat om het gebruik van modellen te verifiëren met een hoge mate van zekerheid en minimale latentie.

De auteurs benadrukken dat hoewel SVIP geen strikte wiskundige garanties biedt zoals Zero-Knowledge Proofs, de lage foutmarges in combinatie met hypothesetests over meerdere queries een "redelijk en praktisch betekenisvol beveiligingsniveau" bieden. Het werk beoogt vertrouwen te creëren tussen gebruikers en computing providers, om zo de bredere adoptie van open-source LLM's in gedecentraliseerde computing-ecosystemen te stimuleren. De auteurs erkennen potentiële risico's van misbruik (bijv. reverse-engineering), maar stellen dat het ontwerp van het protocol prioriteit geeft aan robuustheid tegen dergelijke vectoren.