Technische Samenvatting: LLM-beveiliging en -veiligheid via Homotopie-geïnspireerde Prompt-obfuscatie

Probleemstelling

Large Language Models (LLM's) worden steeds vaker geïntegreerd in cybersecurity en softwareontwikkeling, maar blijven kwetsbaar voor "jailbreaking"-technieken die ethische en veiligheidsbeperkingen omzeilen. Terwijl bestaande jailbreak-methoden (bijv. DAN, prompt injection, rollenspel) zwakheden in de inhoudsfiltering uitbuiten, is er behoefte aan een principieel kader om deze kwetsbaarheden systematisch te analyseren. Specifiek onderzoeken de auteurs of homotopietheorie — een tak van de topologie die zich bezighoudt met continue deformaties tussen ruimtes — als een heuristisch kader kan dienen om kwaadaardige prompts linguïstisch te obfusceren. Het doel is om te bepalen of dergelijke deformaties de semantische intentie van schadelijke verzoeken (bijv. het genereren van malware) kunnen behouden terwijl ze de oppervlaktesyntaxis voldoende veranderen om de veiligheidsfilters van de LLM te omzeilen.

Methodologie

De studie maakt gebruik van een pijplijn in vijf stadia om code-samples van meerdere LLM's op te roepen, te transformeren, te genereren, te verifiëren en te rapporteren.

1. Data en Bronprompts (Stap 1)

• Prompt Constructie: De auteurs stelden een glossarium samen van 94 kwaadaardige termen (bijv. "ransomware", "rootkit", "logic bomb").
• Benigne Inkadering: Initiële prompts werden ontworpen om benigne te lijken door verzoeken te inkaderen als educatieve simulaties (bijv. door gebruik te maken van trefwoorden zoals "mock", "sandbox", "emulate", "simulatie").
• Dataset Generatie: Met behulp van LLaMA, DeepSeek en KIMI genereerde het team 15.732 benigne prompts. Een subset van 10.000 hoogwaardige prompts werd geselecteerd voor transformatie.

2. Jailbreak via Homotopie-deformatie (Stap 2)

• Transformatielogica: De kerninnovatie betreft het toepassen van "homotopie-geïnspireerde" deformaties. In plaats van eenvoudige parafrasering, behandelt het systeem de prompt als een topologische ruimte waar de "betekenis" (kwaadaardige intentie) invariant moet blijven, terwijl de "oppervlaktevorm" (syntaxis, toon, genre) continu wordt gedeformeerd.
• Uitvoering: Het KIMI-model kreeg de taak om op te treden als een "Linguïstisch Architect" om deze deformaties uit te voeren. Het kreeg de instructie om metaforische versies van de prompts te genereren die de functionele topologie behielden maar in oppervlaktevorm varieerden, waardoor de benigne kwalificaties effectief werden verwijderd (bijv. het veranderen van "Modelleer een boot sector virus" naar "Genereer een boot sector virus") en werden vervangen door expliciete, real-world intentie.
• Obfuscatie: De resulterende "geobfusceerde prompts" waren ontworpen om veiligheidsfilters te omzeilen door te verschijnen als abstracte linguïstische oefeningen of metaforen, terwijl de kernvraag voor malwaregeneratie behouden bleef.

3. Codegeneratie (Stap 3)

• Doelmodellen: De geobfusceerde prompts werden ingediend bij LLaMA (CodeLlama-7b-hf), DeepSeek (deepseek-r1:7b) en KIMI (kimi-k2-0711).
• Restricties: Prompts vroegen expliciet om code in C++, C++20 of Python 3.10, met strikte instructies om commentaar uit te sluiten (om te voorkomen dat de veiligheidsfilters worden getriggerd via verklarende tekst).
• Schaal: Vanwege middelenbeperkingen en API-limieten richtte de uiteindelijke generatie zich sterk op KIMI, met kleinere batches voor LLaMA en DeepSeek.

4. Verificatie (Stap 4)

• Geautomatiseerde Classificatie: De gegenereerde code werd geanalyseerd door Claude (claude-sonnet-4-20250514) om te bepalen of het daadwerkelijk malware vormde.
• Bias Mitigatie: Een secundaire verificatie werd uitgevoerd om circulariteit te voorkomen, aangezien de initiële generatie betrekking had op KIMI.
• Integriteitscontrole: Tijdens het proces gingen 275 specimens verloren door accidentele uitvoering van macrovirussen in de verificatie-omgeving, wat de uiteindelijke geverifieerde dataset van 10.000 naar 9.725 prompts verminderde.

5. Rapportage (Stap 5)

• Geverifieerde monsters werden samengesteld in een gestructureerde dataset met metadata en gedragsbeschrijvingen.

Belangrijkste Bijdragen

1. Nieuw Kader: Het artikel stelt een jailbreak-methodologie voor die geworteld is in de topologische theorie, specifiek het gebruik van homotopie-geïnspireerde linguïstische deformaties om kwaadaardige intentie te obfusceren terwijl de semantische continuïteit behouden blijft.
2. Malware Dataset: De auteurs stellen een uitgebreide dataset vrij van 7.374 geverifieerde malware-exemplaren (gegenereerd uit C++ en Python code) bedoeld voor het trainen en benchmarken van cybersecurity-modellen. De dataset is beschikbaar via een publieke repository.
3. Reproduceerbare Methodologie: De studie schetst een rigoureuze, vijfstaps pijplijn voor het oproepen van malware uit LLM's die een balans vindt tussen experimentele strengheid en ethische waarborgen (bijv. gesandboxed omgevingen, educatieve inkadering).
4. Kwetsbaarheidsanalyse: Het werk levert empirisch bewijs van hoe specifieke LLM-architecturen reageren op homotopie-gebaseerde adversariële prompts, wat de hiaten in de huidige veiligheidsafstemming (safety alignment) benadrukt.

Resultaten

De studie evalueerde het succespercentage van de jailbreaks over drie modellen, geverifieerd door Claude:

• Algemeen Succes: De voorgestelde heuristiek bereikte een algemeen jailbreak-succespercentage van 75,82% (7.374 malware-samples uit 9.725 pogingen).
• Modelprestaties:
  • DeepSeek: Toonde de hoogste precisie (0,822) en laagste foutmarge (17,8%), wat aangeeft dat het het meest vatbaar was voor het genereren van verifieerbare malware onder deze specifieke aanvalsvector.
  • KIMI: Genereerde het grootste volume aan malware (6.643 samples) met een succespercentage van 76,13% en een precisie van 0,761.
  • LLaMA: Toonde de laagste precisie (0,64) en hoogste foutmarge (36%), wat suggereert dat het iets meer robuuste weerstand biedt tegen deze specifieke obfuscatie-techniek vergeleken met de anderen.
• Consistentie van Verificatie: Een vergelijking tussen KIMI en Claude als verifieerders toonde een minimale divergentie van 1,3% in classificatie, wat de betrouwbaarheid van het verificatieproces valideert.

Betekenis en Claims

Het artikel claimt dat homotopie-geïnspireerde linguïstische deformatie een effectieve methode is om de veiligheidsmaatregelen van LLM's te omzeilen, waarmee direct wordt ingegaan op de onderzoeksvraag of topologische concepten gebruikt kunnen worden als een heuristiek voor jailbreaking.

• Dual-Use Natuur: De auteurs benadrukken de dual-use aard van hun bevindingen. Hoewel de studie succesvol malware heeft gegenereerd, is het expliciete doel defensief: om het ontwerp van robuustere veiligheidsmechanismen, detectiestrategieën en alignment-technieken te informeren.
• Beperkingen: De auteurs zijn bescheiden over de reikwijdte van hun claims. Zij erkennen dat:
  • De malware niet gedragsmatig is gevalideerd in real-world omgevingen (alleen de broncode is gegenereerd en geanalyseerd).
  • De studie gericht was op tekstgebaseerde generatie, waarbij multimodale of systeemniveau-interacties werden uitgesloten.
  • Kwantitatieve vergelijkingen tussen modellen beperkt zijn door ongelijke prompt-blootstelling vanwege API- en hardwarebeperkingen.
• Toekomstige Richtingen: Het artikel pleit voor de integratie van adversariële stress-testen tijdens de training, meerstaps veiligheidspijplijnen (combinatie van statische analyse en semantische intentiedetectie) en geautomatiseerde gedragsvalidatieframeworks om de geïdentificeerde risico's te mitigeren.

Concluderend toont de studie aan dat de huidige LLM-beveiligingen onvoldoende zijn tegen geavanceerde, op topologie gebaseerde prompt-obfuscatie, wat een verschuiving vereist naar meer veerkrachtige defensieve architecturen in AI-veiligheid.