SALLIE: Safeguarding Against Latent Language & Image Exploits

Probleemstelling

Grote Taalmodellen (LLMs) en Vision-Language Models (VLMs) blijven kwetsbaar voor twee soorten aanvallen: jailbreaks (het omzeilen van veiligheidsrichtlijnen om schadelijke inhoud te genereren) en prompt injections (het manipuleren van het model om taken uit te voeren via onbetrouwbare externe data).
Bestaande verdedigingsmechanismen hebben ernstige tekortkomingen:

1. Preferentie voor tekst: Veel methoden zijn blind voor visuele aanvallen of kunnen cross-modale exploits niet detecteren.
2. Prestatieverlies: Methoden die input transformeren (zoals paraphrasing) of meerdere queries vereisen (zoals JailGuard), leiden tot hoge latentie en degradeerden de bruikbaarheid van het model.
3. Modale kloof: Zelfs geavanceerde gesloten modellen (zoals Gemini-2.5-Flash-Lite) tonen een sterke prestatiedaling bij visuele aanvallen vergeleken met tekstuele aanvallen.
4. Architecturale ingrepen: Veel oplossingen vereisen ingrijpende wijzigingen aan de modelarchitectuur of zijn niet toepasbaar tijdens de inferentie zonder extra kosten.

Er is een dringende behoefte aan een unieke, modaal-onafhankelijke verdediging die zowel tekstuele als visuele bedreigingen in één doorloop (single forward pass) detecteert, zonder de prestaties te beïnvloeden of extra rekenkracht te vergen.

Methodologie: SALLIE

SALLIE (Safeguarding Against Latent Language & Image Exploits) is een lichtgewicht runtime detectieframework dat gebaseerd is op mechanistische interpreteerbaarheid. In plaats van de output van het model te analyseren, kijkt SALLIE naar de interne residual stream activaties (verborgen staten) van het model.

Het systeem werkt in drie fasen:

1. Extractie van Interne Signalen: Tijdens een enkele inferentiedoorloop worden de activaties van de laatste token op specifieke tussenliggende lagen (transformer layers) van het VLM geëxtraheerd.
2. Layer-wise Maliciousness Scores: Voor elke geselecteerde laag wordt een K-Nearest Neighbors (k-NN) classifier gebruikt. Deze classifier berekent de kans dat een input kwaadaardig is door de cosine-afstand te meten tussen de huidige activatie en de activaties van kwaadaardige versus goedaardige voorbeelden in de trainingsdata.
   • Optioneel wordt PCA (Principal Component Analysis) toegepast voor dimensiereductie, hoewel de resultaten aangeven dat dit bij cosine-afstand weinig voordeel biedt.
3. Ensemble Aggregatie: De scores van de individuele lagen worden geaggregeerd (gemiddeld) binnen een specifiek bereik van lagen ($L_m$) om een uiteindelijke kwaadaardigheidsscore ($\bar{p}$) te verkrijgen.
   • Als $\bar{p} \geq \tau$ (drempelwaarde), wordt de input geblokkeerd; anders wordt deze doorgelaten.

Unieke Eigenschappen:

• Unified Pipeline: Dezelfde architectuur werkt voor zowel tekst-only als multimodale (tekst + afbeelding) inputs zonder structurele wijzigingen.
• Efficiëntie: Het vereist slechts één forward pass, geen autoregressieve decoding, geen input-mutatie en geen externe API-calls.
• Modale aanpassing: Hoewel de pipeline uniek is, worden hyperparameters (zoals het aantal buren $k$, het aantal lagen $L$, en de drempel $\tau$) specifiek geoptimaliseerd voor tekst en visuele inputs.

Belangrijkste Bijdragen

1. Unieke Detector voor Tekst en Visie: De eerste oplossing die jailbreaks en prompt injections in één doorloop detecteert voor zowel tekst als afbeeldingen.
2. Exploitatie van Interne Staten: Het benut de intrinsieke veiligheidsrepresentaties in de verborgen staten van het model, waardoor de hoge rekenkosten van methoden zoals JailGuard (die 8x per input query's vereist) worden vermeden.
3. Overbrugging van de Visuele Prompt Injection-gat: SALLIE lost het probleem op waarbij bestaande methoden (zoals HiddenDetect) visuele prompt injections volledig missen.
4. Mechanistisch Inzicht: Het paper toont aan dat veiligheidsgerelateerde signalen geometrisch gescheiden zijn in de verborgen statenruimte, waarbij visuele aanvallen zelfs duidelijker gescheiden clusters vormen dan tekstuele aanvallen.

Resultaten

SALLIE werd geëvalueerd op drie open-source VLM-architecturen: Phi-3.5-vision-instruct, SmolVLM2-2.2B-Instruct, en Gemma-3-4b-it. De evaluatie omvatte meer dan tien datasets en vergeleek SALLIE met sterke baselines, waaronder gesloten proprietaire judges (Gemini-2.5-Flash-Lite, GPT-4.1 Mini).

Kernbevindingen:

• Algemene Prestatie: SALLIE met Gemma-3-4b-it bereikte een F1-score van 0,90, wat alle open-weight baselines overtreft en zelfs de gesloten judge Gemini-2.5-Flash-Lite (F1 = 0,82) verslaat.
• Visuele Superioriteit: Op visuele inputs presteerde SALLIE met Phi-3.5-vision-instruct uitzonderlijk goed met een F1-score van 0,96. Dit is significant hoger dan GPT-4.1 Mini (0,85) en HiddenDetect (0,11).
• Efficiëntie: In tegenstelling tot JailGuard, die een 8-voudige rekenoverhead heeft, voert SALLIE slechts één forward pass uit.
• Geometrische Analyse: PCA-projecties tonen aan dat kwaadaardige inputs (vooral visuele aanvallen) zich in de verborgen statenruimte vormen in duidelijk gescheiden clusters van goedaardige inputs, wat de effectiviteit van de k-NN-benadering onderbouwt.

Betekenis en Conclusie

SALLIE markeert een belangrijke stap in de beveiliging van multimodale AI-systemen. Het bewijst dat het monitoren van interne modelactivaties een krachtig en efficiënt middel is om zowel tekstuele als visuele aanvallen te detecteren.

• Praktische Toepasbaarheid: Door de lage overhead en het ontbreken van architecturale wijzigingen is SALLIE direct inzetbaar in productieomgevingen.
• Veiligheid: Het sluit een kritieke beveiligingskloof die bestaande methoden lieten open, namelijk de detectie van visuele prompt injections.
• Toekomstperspectief: Hoewel SALLIE zeer effectief is, varieert de prestatie afhankelijk van de mate van veiligheidsafstemming (safety alignment) van het onderliggende model. Kleinere modellen met minder uitgebreide afstemming (zoals SmolVLM2) tonen iets lagere recall, wat suggereert dat de kwaliteit van de veiligheidsgeometrie in de verborgen staten correleert met de trainingsprocedure.

Samenvattend biedt SALLIE een robuuste, schaalbare en modaal-onafhankelijke oplossing voor de groeiende bedreiging van jailbreaks en prompt injections in de multimodale AI-landschap.