Locket: Robust Feature-Locking Technique for Language Models

1. Probleemstelling

Chatbot-serviceproviders (zoals OpenAI) gebruiken momenteel een tiered-abonnementsmodel waarbij gratis gebruikers toegang krijgen tot basismodellen en betalende gebruikers tot geavanceerde modellen. Dit model is echter vaak onrendabel en inflexibel voor gebruikers. Een alternatief is een "pay-to-unlock" schema, waarbij gebruikers specifieke premium-functies (zoals wiskunde, coderen of samenvatten) los kunnen kopen bovenop een basisabonnement.

Om dit mogelijk te maken, is een Feature-Locking Technique (FLoTE) nodig die voldoet aan vier strikte eisen:

1. Effectiviteit: Het moet onbevoegde functies effectief kunnen blokkeren (weigeren).
2. Nutbehoud (Utility-preserving): Het moet de prestaties van toegestane functies intact laten.
3. Robuustheid: Het moet bestand zijn tegen omzeiling via adversarial prompts (jailbreaks) of ongeautoriseerd delen van inloggegevens.
4. Schaalbaarheid: Het moet efficiënt kunnen schalen naar meerdere functies en klanten zonder prestatieverlies.

Bestaande methoden, zoals wachtwoord-gesloten modellen of backdoors, falen in deze criteria. Ze zijn vaak kwetsbaar voor credential sharing, verliezen nut bij het vergrendelen van functies, of schalen niet goed (combinatorische explosie van modellen).

2. Methodologie: LOCKET

LOCKET is een nieuw raamwerk dat adapters gebruikt om ongeautoriseerde functies te vergrendelen zonder de onderliggende basismodellen permanent te wijzigen. Het systeem werkt als volgt:

A. Architectuur en Werking

• Access Control: Een module identificeert welke functies een klant mag gebruiken op basis van hun profiel.
• Adapter Selectie: Voor een specifieke klant worden adapters geselecteerd die de niet-toegestane functies vergrendelen.
• Dynamische Merging: Deze adapters worden dynamisch samengevoegd (merged) met een bevroren basis-LLM. Hierdoor weigert het model antwoorden op vragen die de vergrendelde functies vereisen, terwijl het wel reageert op toegestane functies.

B. Training van Adapters

Om adapters te trainen die zowel effectief als robuust zijn, gebruikt LOCKET een combinatie van twee loss-functies:

1. Nutbehoud ($L_{utility}$): Zorgt ervoor dat het model zijn algemene kennis behoudt door de Kullback-Leibler (KL) divergentie te minimaliseren ten opzichte van het originele, bevroren model op algemene data.
2. Robuustheid en Effectiviteit ($L_{robust}$): Gebruikt Latent Adversarial Training (LAT). Hierbij worden perturbaties (verstoringen) toegevoegd aan de latente activaties van het model tijdens het trainen. Het doel is om het model te dwingen om weigeringen te genereren (bijv. "Sorry, u bent niet geautoriseerd") en de kans op het genereren van de juiste (ongewenste) antwoorden te minimaliseren, zelfs onder aanval.

C. De Innovatie: LOCKET Merging

Een groot probleem bij het samenvoegen van meerdere adapters is destructieve interferentie, wat leidt tot "over-refusal" (het model weigert zelfs toegestane functies).

• LOCKET introduceert een nieuwe rescaling-methode gebaseerd op de spectrale norm (singuliere waarden) van de weight matrices.
• Voor elke laag wordt een drempelwaarde berekend op basis van de sterkste individuele adapter.
• Tijdens het samenvoegen wordt de spectrale norm van de gecombineerde adapter "geclipt" (afgekapt) als deze de drempel overschrijdt. Dit voorkomt dat de weigering-richtingen te dominant worden en behoudt de nut van de toegestane functies.

3. Belangrijkste Bijdragen

1. Definitie van eisen: Het paper definieert de vier kritieke eisen voor een FLoTE die door eerdere werken niet volledig werden gehaald.
2. LOCKET Framework: De eerste robuuste en schaalbare FLoTE die gebruikmaakt van adapter-merging in plaats van wachtwoorden of volledige fine-tuning.
3. Nieuwe Merging-techniek: Een innovatieve methode om adapters te samenvoegen zonder nutverlies, door spectrale normen te controleren.
4. Uitgebreide Evaluatie: Een grondige evaluatie die aantoont dat LOCKET alle vier de eisen (Effectiviteit, Nut, Robuustheid, Schaalbaarheid) vervult.

4. Resultaten

De evaluatie werd uitgevoerd op modellen zoals DeepSeek-7B-Math, DeepSeek-7B-Coder en Llama-3-8B-Instruct met functies als Wiskunde, SQL, Samenvatten en Algemene Kennis.

• Effectiviteit (R1): LOCKET bereikt een 100% weigeringspercentage voor vergrendelde functies (0% nut op vergrendelde taken).
• Nutbehoud (R2): De prestaties op toegestane functies blijven zeer hoog, met een degradatie van maximaal 7% (vaak <2%). Dit is een aanzienlijke verbetering ten opzichte van wachtwoord-methoden die vaak 12% of meer degradatie vertonen.
• Robuustheid (R3): LOCKET is zeer resistent tegen geavanceerde jailbreak-aanvallen (zoals Many-shot, GCG, AutoDAN). De Attack Success Rate (ASR) ligt onder de 5%, terwijl wachtwoord-methoden vaak >80% ASR hebben. Omdat er geen wachtwoorden zijn, is het ook immuun voor credential sharing.
• Schaalbaarheid (R4): Het systeem kan meerdere functies tegelijk vergrendelen zonder dat de prestaties instorten. Het kan zelfs opschalen tot 8 functies met een degradatie binnen de 15% (in lijn met eerdere studies over adapter-merging).
• Overhead: Het toevoegen van adapters kost slechts ~1 seconde per sessie en heeft geen invloed op de inferentielatentie (TTFT). De opslaggrootte van een adapter is slechts ~1,6% van het basismodel.

5. Betekenis en Conclusie

LOCKET biedt een haalbare, economisch interessante oplossing voor serviceproviders om pay-to-unlock modellen te implementeren voor LLM's. Het lost het fundamentele probleem op van het balanceren tussen beveiliging (vergrendelen) en bruikbaarheid (nut behouden).

In tegenstelling tot eerdere methoden die kwetsbaar waren voor hacking of die de kwaliteit van het model verlaagden, biedt LOCKET een robust, schaalbaar en veilig mechanisme. Dit maakt het mogelijk om specifieke vaardigheden (zoals wiskundige redenering of codegeneratie) als premium services aan te bieden zonder dat de provider meerdere modelversies hoeft te hosten of dat gebruikers hun toegang kunnen omzeilen via gedeelde wachtwoorden. Het paper markeert een belangrijke stap in de richting van flexibele, functie-gedreven monetisatie van Large Language Models.