Towards Distillation-Resistant Large Language Models: An Information-Theoretic Perspective

Probleemstelling

Propriëtaire Large Language Models (LLMs) vertegenwoordigen aanzienlijke economische waarde en worden doorgaans alleen als black-box API's blootgesteld. Desondanks kunnen kwaadaardige actoren de output van deze modellen (zowel tekst als logits) gebruiken om kennis te distilleren en zo een kopie van het model te creëren zonder toegang tot de gewichten of architectuur.

Bestaande verdedigingsmechanismen richten zich bijna uitsluitend op tekst-gebaseerde distillatie (waarbij de student het model leert van de gegenereerde tekst). Ze negeren echter de veel krachtigere logit-gebaseerde distillatie. Bij deze methode krijgt de student de volledige kansverdeling (logits) van de leraar, wat veel rijkere contextuele informatie bevat dan alleen het gekozen token. Bestaande methoden om tekst te verstoren zijn vaak inefficiënt of schaden de bruikbaarheid van het model, en bieden geen bescherming tegen de extractie van informatie via de logits.

Methodologie

De auteurs benaderen dit probleem vanuit een informatietheoretisch perspectief. Het kernidee is om de hoeveelheid informatie in de leraar-logits die relevant is voor distillatie te kwantificeren en te minimaliseren, terwijl de nuttige taakprestaties behouden blijven.

1. Conditionele Mutual Information (CMI):
   De auteurs definiëren de distillatie-relevante informatie als de conditionele mutual information $I(X; Z | Y)$, waarbij:

   • $X$: De input query.
   • $Y$: De ground-truth label (het volgende token).
   • $Z$: De logits van de leraar.
     Deze maatstaf kwantificeert hoeveel informatie $Z$ onthult over de context $X$, gegeven dat we de juiste label $Y$ al kennen. Logit-gebaseerde distillatie profiteert juist van deze extra contextuele informatie. Het doel is dus om $I(X; Z | Y)$ te minimaliseren.

2. Leerbaar Transformatiematrix:
   Om dit doel te bereiken, stellen de auteurs een post-processing strategie voor waarbij een leerbare transformatiematrix $M$ wordt toegepast op de output-logits van de leraar ($Z' = M \cdot Z$).

   • Theoretische garantie: Het paper bewijst (Theorema 2) dat door een deterministische transformatie toe te passen, de CMI niet toeneemt ($I(X; Z | Y) \geq I(X; Z' | Y)$). Dit betekent dat de transformatie de contextuele informatie die voor aanvallers nuttig is, effectief kan comprimeren.

3. Optimalisatie via het Information Bottleneck (IB) Principe:
   Het minimaliseren van $I(X; Z | Y)$ wordt ontbonden in twee complementaire subdoelen gebaseerd op het IB-principe:

   • Maximaliseren van $I(Z; Y)$: Behoud de informatie over de taak (de juiste label). Dit wordt bereikt door de cross-entropy tussen de getransformeerde logits $Z'$ en de ground-truth $Y$ te minimaliseren. Dit zorgt ervoor dat het model zijn taakprestaties behoudt.
   • Minimaliseren van $I(X; Z)$: Verwijder de redundantie en contextuele informatie die afkomstig is van de input $X$. Omdat het direct schatten van $I(X; Z)$ voor autoregressieve LLMs onmogelijk is, gebruiken de auteurs een proxy-student.
     • Ze simuleren het distillatieproces en berekenen de gradiënten die de student zou ontvangen.
     • Het doel is om de hoek tussen de gradiënten van de originele logits en die van de getransformeerde logits te maximaliseren (cosine similarity minimaliseren). Als de gradiënten van de getransformeerde logits sterk afwijken, kan de student geen bruikbare kennis meer extraheren.

   De totale verliesfunctie voor het trainen van de matrix $M$ is:
   $$L_M = L_{CE} + \lambda \cdot L_{grad}$$
   Waarbij $L_{CE}$ de cross-entropy is (voor taakbehoud) en $L_{grad}$ de hoekafwijking tussen de gradiënten is (voor verdediging).

4. Efficiënte Implementatie:
   Vanwege de enorme vocabulaire-grootte is een dichte matrix $|V| \times |V|$ te groot. De auteurs decomponeren de matrix in een laag-rang structuur ($M = E + AB$), geïnspireerd door LoRA, om het aantal parameters beheersbaar te houden.

Belangrijkste Bijdragen

• Eerste verdediging tegen logit-gebaseerde KD: Dit is het eerste werk dat specifiek LLMs verdedigt tegen distillatie via logits, een veel krachtigere aanval dan tekst-gebaseerde distillatie.
• Informatietheoretische analyse: Het introduceren van CMI als een principieel maatstaf voor distillatie-relevante informatie en het afleiden van een theoretisch onderbouwde verdediging.
• Efficiënte post-processing: Een methode die een lichte transformatiematrix leert zonder het oorspronkelijke model te finetunen, waardoor de inferentie-efficiëntie behouden blijft.
• Dual-loss strategie: Een innovatieve combinatie van cross-entropy en gradiënt-afwijking om zowel de bruikbaarheid als de beveiliging te optimaliseren.

Resultaten

De methode werd getest op meerdere LLM-families (Qwen2.5 en Llama 3) en datasets (GSM8K, MMLU, MATH) tegen vier sterke distillatie-algoritmen (Vanilla KD, AlphaNet, MiniLLM, ABKD).

• Daling in studentprestaties: De verdediging veroorzaakte een aanzienlijke daling in de nauwkeurigheid van de gedistilleerde studentenmodellen. Bijvoorbeeld, bij het distilleren van Qwen2.5-1.5B op GSM8K via AlphaNet daalde de nauwkeurigheid met 11,98%.
• Behoud van leraarprestaties: De oorspronkelijke leraar behield zijn taaknauwkeurigheid (slechts marginale dalingen), wat aantoont dat de outputkwaliteit voor eindgebruikers niet wordt aangetast.
• Robuustheid: De methode werkte effectief over verschillende modelgroottes en datasets. De verdediging was vooral effectief op complexe redeneringstaken (zoals GSM8K en MATH) waar contextuele informatie cruciaal is voor distillatie.
• Kwalitatieve analyse: Studenten die getraind werden op de getransformeerde logits vertoonden vaak gebroken redenering, herhalingslussen of onvolledige antwoorden, wat aangeeft dat de essentiële "gidsinformatie" uit de leraar was verwijderd.

Betekenis en Impact

Dit paper biedt een fundamentele doorbraak in het beschermen van intellectueel eigendom van LLMs. Waar eerdere methoden zich richtten op het detecteren van gestolen modellen (watermarking) of het verstoren van tekst, biedt deze aanpak een proactieve verdediging die de extractie van kennis op het meest gevoelige niveau (de logits) onmogelijk maakt.

De methode is lichtgewicht, model-onafhankelijk (werkt als een post-processing laag) en theoretisch onderbouwd. Het stelt dienstverleners in staat hun modellen via API's aan te bieden zonder bang te hoeven zijn dat concurrenten of kwaadwillenden via logit-extractie een functionele kopie van hun model kunnen bouwen. Dit is een cruciale stap voor de commercialisering en veilige adoptie van gesloten LLMs.