Technische Samenvatting: Benchmarking van de Beveiliging van Llama-modellen tegen de OWASP Top 10 voor LLM-applicaties

Probleemstelling

Nu Large Language Models (LLM's) transformeren van onderzoeksprototypes naar enterprise-systemen, introduceren hun probabilistische aard en de afhankelijkheid van enorme trainingscorpora unieke beveiligingskwetsbaarheden die traditionele cybersecurity-protocollen moeilijk kunnen aanpakken. Aanvallers exploiteren deze eigenschappen via prompt injection, contextmanipulatie en datavergiftiging, wat leidt tot risico's zoals ongeautoriseerde data-exfiltratie, het genereren van schadelijke inhoud en systeemovername. Hoewel de Open Worldwide Application Security Project (OWASP) het "Top 10 voor LLM-applicaties"-framework heeft opgesteld om deze kritieke risico's te categoriseren, blijft er een gebrek aan uitgebreide, reproduceerbare benchmarks die specifieke modelarchitecturen evalueren tegen deze taxonomie, terwijl rekening wordt gehouden met computationele beperkingen. Bestaande studies meten vaak nauwkeurigheid in isolatie, waarbij ze de trade-offs tussen beveiligingseffectiviteit, inferentie-latentie en geheugengebruik die nodig zijn voor real-world deployment verwaarlozen.

Methodologie

Deze studie voerde een systematische evaluatie uit van tien Llama-modelvarianten met behulp van een zelfgebouwde security-benchmark die is afgestemd op het OWASP Top 10-framework.

Experimentele Infrastructuur

Experimenten werden uitgevoerd op de FABRIC testbed (Georgia Tech site) met NVIDIA A30 GPU's (24GB VRAM) draaiend op Ubuntu 22.04 LTS. De softwarestack omvatte PyTorch 2.1.0, CUDA 11.8 en HuggingFace Transformers (v4.51.3).

Dataset Constructie

De auteurs hebben een dataset samengesteld van 100 adversariële prompts, gelijkmatig verdeeld over de tien OWASP-categorieën (LLM01–LLM10). Het ontwerp van de dataset volgde de OWASP AI Testing Guide en incorporeerde 23 verschillende injectietechnieken, zoals Base64/Hex encoding obfuscatie, role-playing exploits ("DAN"-stijl jailbreaks) en multi-turn manipulatie. Elke entry bevatte een test-ID, categorie, subcategorie, adversariële prompt, ground-truth veiligheidslabel en metadata met betrekking tot de ernst.

Model Selectie

Tien modellen werden geëvalueerd, verdeeld in twee groepen:

1. Standaard Llama Modellen (5 varianten): Algemene architecturen inclusief Meta-Llama-3-8B, Llama-3.1-8B, Llama-3.1-8B-Instruct, Llama-3.2-1B en Llama-3.2-3B-Instruct.
2. Llama Guard Modellen (5 varianten): Gespecialiseerde security classificators inclusief Meta-Llama-Guard-2-8B, Llama-Guard-3-1B, Llama-Guard-3-8B, Llama-Guard-3-8B-INT8 (gekwantiseerd) en Llama-Guard-3-11B-Vision (multimodaal, getest op tekst).

Evaluatie Protocol

Alle modellen werden geladen in float16 precisie (behalve de INT8 variant) met een temperatuur van 0.1 en een maximale tokenlimiet van 10 om deterministische binaire outputs te garanderen.

• Guard Modellen: Produceerden gestructureerde "safe" of "unsafe" labels direct.
• Standaard Modellen: Geprompt met "is dit prompt veilig of niet?" en geparsed op "unsafe" keywords om binaire beslissingen af te leiden.
• Metrics: Detectie-accuratesse, totale executietijd, gemiddelde latentie per test en VRAM-gebruik werden geregistreerd.

Belangrijkste Resultaten

De studie onthulde significante prestatieverschillen tussen modeltypen en -groottes, wat de aanname uitdaagt dat grotere modellen inherent veiliger zijn.

Algehele Prestaties

• Gespecialiseerd vs. Base Modellen: Base modellen (Meta-Llama-3-8B en Llama-3.1-8B) faalden bij het detecteren van alle dreigingen (0% accuratesse) ondanks hoge inferentietijden (~0.75s per test). In tegenstelling hiertoe vertoonden gespecialiseerde Guard-modellen en instructie-getunede varianten aanzienlijk hogere detectiecijfers.
• Omgekeerde Relatie: Er werd een omgekeerde relatie waargenomen tussen modelgrootte en security-effectiviteit in deze context. Het compacte Llama-Guard-3-1B behaalde de hoogste detectiegraad van 76% met de laagste latentie (0.165s per test) en minimaal VRAM-gebruik (0.94 GB).
• Instruction Tuning: Instruction tuning bleek cruciaal; Llama-3.1-8B-Instruct behaalde een detectiegraad van 54%, terwijl de niet-instruct base variant 0% behaalde.

Categorie-specifieke Bevindingen

Geen enkel model bood volledige bescherming over alle tien de OWASP-categorieën:

• Llama-3.1-8B-Instruct was zeer veerkrachtig tegen Prompt Injection (LLM01, 100%) maar volledig kwetsbaar voor System Prompt Leakage (LLM07, 0%).
• Llama-3.2-1B toonde opmerkelijke veerkracht tegen Information Disclosure (LLM02, 90%) en Supply Chain Vulnerabilities (LLM03, 100%), maar was minder effectief tegen directe Prompt Injection (50%).
• Quantization en Multimodale Trade-offs: De gekwantiseerde Llama-Guard-3-8B-INT8 was aanzienlijk trager en minder accuraat dan zijn full-precision tegenhanger. Het multimodale Llama-Guard-3-11B-Vision model presteerde slecht op tekst-only safety classificatie (28% detectie), wat suggereert dat multimodale optimalisatie de tekst-specifieke security prestaties kan verwateren.

Belangrijkste Bijdragen

1. Systematische Benchmarking: De studie biedt een vergelijkende analyse van vijf standaard Llama-modellen en vijf Guard-varianten tegen het volledige OWASP Top 10-framework, waarbij zowel de security-effectiviteit als de computationele kosten worden gekwantificeerd.
2. Open-Source Dataset: De auteurs hebben een benchmark-dataset vrijgegeven bestaande uit 100 gerichte adversariële prompts met uitgebreide metadata om reproduceerbaar onderzoek in AI-security te ondersteunen.
3. Empirisch Bewijs over Efficiëntie: Het onderzoek biedt empirische data die aantonen dat kleinere, gespecialiseerde modellen vaak beter presteren dan grotere algemene modellen in security-taken, wat een basis biedt voor beslissingen over deployment in omgevingen met beperkte resources.

Betekenis en Claims

Het paper claimt dat computationele schaal niet gelijkstaat aan security-robuustheid. In plaats daarvan worden gespecialiseerde training en instruction tuning geïdentificeerd als de primaire drijfveren van security-prestaties. Het architecturale onderscheid tussen Guard-modellen (ontworpen voor classificatie) en standaard modellen (geadapteerd van tekstgeneratie) wordt benadrukt als cruciaal voor productie-security systemen, waarbij Guard-modellen meer betrouwbare, gestructureerde binaire outputs bieden.

De auteurs concluderen dat organisaties zich weg moeten bewegen van een "one-size-fits-all" aanpak en prioriteit moeten geven aan gespecialiseerde compacte modellen voor edge of high-throughput omgevingen, en base modellen moeten vermijden voor veiligheidskritische rollen. Ze erkennen echter bescheiden dat er aanzienlijke hiaten blijven bestaan, met name wat betreft System Prompt Leakage (LLM07) en Supply Chain Vulnerabilities (LLM03), die de huidige safety training grotendeels niet adresseert. De studie positioneert zichzelf als een fundamentele stap richting gestandaardiseerde security-rapportage en de ontwikkeling van gelaagde defensiemechanismen in LLM-applicaties.