Technische Samenvatting: Benchmarking van Large Language Models voor Cryptanalyse en Side-Channel Kwetsbaarheden

Probleemstelling

Hoewel Large Language Models (LLM's) significante vooruitgang hebben laten zien in natuurlijk taalbegrip en -generatie, blijft hun vermogen en kwetsbaarheid binnen het domein van cryptanalyse onderbelicht. Cryptanalyse houdt het analyseren van versleutelde informatie (cijfertekst) in om de oorspronkelijke boodschap (plaintext) te herstellen zonder directe kennis van het encryptieproces. De auteurs identificeren een kritiek gat: LLM's kunnen moeite hebben met het generaliseren over verschillende tekstcoderingen, wat kansen creëert voor "mismatched generalization attacks" (aanvallen door mismatchende generalisatie).

Aanvallers zouden deze generalisatiefouten kunnen exploiteren door schadelijke instructies te vertalen naar cijfers (bijv. Caesar, Morse of Bacon-codes) of door alternatieve talen en formaten te gebruiken (zoals ASCII-art of bijjectie-codering) om veiligheidsprotocollen te omzeilen. Deze "jailbreaking"-techniek berust op het onvermogen van het model om te herkennen dat een geobfusceerde input een schadelijke intentie bevat, of op het falen om de boodschap correct te ontsleutelen terwijl de structuur nog wel "begrepen" wordt. Bovendien bestaat er een representatieve mismatch tussen encryptieschema's (die vaak op karakter- of blokniveau opereren) en LLM-training (die primair gericht is op woord- of subwoord-tokens), wat hun effectiviteit bij cryptografische taken kan beperken.

Methodologie

Om dit gat te adresseren, hebben de auteurs een uitgebreide benchmark-dataset en een evaluatiekader geïntroduceerd die ontworpen zijn om het cryptanalytische potentieel van state-of-the-art LLM's te beoordelen.

Constructie van de Dataset

De auteurs hebben een nieuwe dataset samengesteld bestaande uit 4.509 vermeldingen. De dataset bevat:

• Diverse Plaintexts: De inhoud beslaat meerdere domeinen (Wetenschappelijk, Medisch, Nieuws, Juridisch, Zakelijk, Literatuur, Citaten, Sociale Media), schrijfstijlen (inclusief Shakespeareaanse en dialectteksten) en lengtes (Kort: ≤100 tekens; Lang: ~300 tekens).
• Encryptiealgoritmen: Elke plaintext werd versleuteld met negen verschillende algoritmen, gecategoriseerd naar moeilijkheidsgraad:
  • Makkelijk: Caesar, Atbash, Morse Code, Bacon.
  • Gemiddeld: Rail Fence, Playfair, Vigenère.
  • Moeilijk: RSA, AES.
• Implementatie: De dataset bevat zowel door mensen gegenereerde als door LLM's gegenereerde inhoud om een evenwichtige representatie te garanderen.

Experimentele Opstelling

De studie evalueerde zeven state-of-the-art LLM's (waaronder Claude 3.5 Sonnet, GPT-4o, GPT-4o-mini, GPT-o4-mini, Mistral, Mistral Large en Gemini 1.5 Pro) onder twee primaire instellingen:

1. Zero-Shot: Modellen kregen de taak om cijferteksten te ontsleutelen zonder voorafgaande voorbeelden.
2. Few-Shot: Modellen kregen negen voorbeelden (één voor elke encryptiemethode) om het ontsleutelingsproces te begeleiden.
3. Chain-of-Thought (CoT): Prompts bevatten instructies voor het model om zijn redeneerproces uit te leggen.

De evaluatie richtte zich op drie doelstellingen:

1. Ontsleutelingsnauwkeurigheid: Het reconstrueren van de exacte plaintext.
2. Begrip (Comprehension): Het beoordelen van het vermogen van het model om verborgen boodschappen of gedeeltelijke structuren te identificeren, zelfs als de exacte ontsleuteling faalt.
3. Algoritme-identificatie: Bepalen of het model de gebruikte encryptiemethode correct kon identificeren.

Evaluatiemetrieken

Prestaties werden gemeten met behulp van:

• Exact Match (EM): Strikte nauwkeurigheid op karakterniveau.
• BLEU Score: Een op n-grams gebaseerde overlapmetriek.
• Normalized Levenshtein Similarity (NL): Een semantische gelijkenismetriek.
• Precisie, Recall en F1: Gebruikt voor de classificatie van encryptiealgoritmen.

Belangrijkste Resultaten

Ontsleutelingsprestaties

• Moeilijkheidsgradiënt: Alle modellen vertoonden aanzienlijke uitdagingen met gemiddelde en moeilijke encryptiemethoden (bijv. AES, RSA), waarbij ze vaak een bijna nul-score behaalden voor Exact Match.
• Makkelijke Ciphers: De prestaties varieerden aanzienlijk bij "makkelijke" ciphers.
  • Claude 3.5 Sonnet demonstreerde superieure prestaties en behaalde hoge EM-scores op Caesar (0.98) en Morse (0.96).
  • GPT-4o liet sterke prestaties zien op Caesar (0.66) maar worstelde met Atbash en Bacon.
  • Mistral en Gemini toonden minimaal succes en faalden vaak zelfs bij het begrijpen van eenvoudigere algoritmen zoals Morse Code of Caesar.
• Token Inflatie: De studie vond een sterke correlatie tussen token inflatie (de toename in het aantal tokens na encryptie) en het falen van de ontsleuteling. Zo veroorzaakte de Bacon-cipher een 7.93x token inflatie, wat leidde tot slechte prestaties bij alle modellen, terwijl Morse Code, ondanks een hoge inflatie (6.9x), beter begrepen werd vanwege frequente blootstelling in de pre-training data.

Begrip versus Ontsleuteling

Een cruciale bevinding was de divergentie tussen begrip (comprehension) en exacte ontsleuteling.

• Modellen zoals GPT-4o-mini behaalden vaak hoge NL- en BLEU-scores (wat duidt op semantisch begrip van de structuur) maar lage EM-scores (het niet kunnen repliceren van de exacte sequentie).
• Dit "gedeeltelijke begrip" suggereert dat hoewel modellen een bericht niet volledig kunnen ontsleutelen, ze wel patronen en structuren kunnen herkennen, wat hen potentieel blootstelt aan side-channel aanvallen waarbij het interne redeneren van het model wordt geëxploiteerd, zelfs als de output niet perfect accuraat is.

Few-Shot Learning

• Few-shot learning verbeterde de prestaties aanzienlijk voor eenvoudigere ciphers (bijv. Caesar), waarbij de EM-score van GPT-4o steeg van 0.66 naar 0.90.
• Deze verbetering vertaalde zich echter niet naar complexe ciphers (AES, RSA), waar modellen ongeacht het aantal voorbeelden een bijna nul-prestatie behielden.
• Reasoning-modellen (bijv. GPT-o4-mini) vertoonden een betere generalisatie naar nieuwe bijjecties (zoals Atbash) vergeleken met hun niet-reasoning tegenhangers, hoewel ze nog steeds achterliepen op Claude 3.5.

Domein- en Stijlgevoeligheid

• Prestaties varieerden per domein; modellen presteerden over het algemeen beter op bekende inhoud (Citaten, Literatuur) en hadden meer moeite met gespecialiseerde domeinen (Medisch, Technisch).
• Onbekende schrijfstijlen (bijv. Shakespeareaanse proza) zorgden voor een daling in de Exact Match-scores, wat aangeeft dat modellen zwaar leunen op bekende taalpatronen voor succesvolle ontsleuteling.

Belangrijkste Bijdragen

1. Benchmark Dataset: De introductie van een diverse, multi-domein benchmark-dataset die plaintexts koppelt aan negen verschillende encryptiealgoritmen, specifiek ontworpen om de cryptanalytische capaciteiten van LLM's te testen.
2. Uitgebreide Evaluatie: Een systematische zero-shot en few-shot evaluatie van state-of-the-art LLM's, die de discrepantie tussen de nauwkeurigheid van de ontsleuteling en semantisch begrip benadrukt.
3. Veiligheidsimplicaties: Een analyse van hoe gedeeltelijk begrip en token inflatie kwetsbaarheden creëren. De auteurs stellen dat hoge NL/BLEU-scores in afwezigheid van hoge EM-scores wijzen op een vatbaarheid voor "long-tail" jailbreak aanvallen, waarbij modellen de intentie van geobfusceerde schadelijke prompts begrijpen zonder deze volledig te ontsleutelen.

Betekenis en Claims

Het artikel stelt dat het vermogen van LLM's om teksten gedeeltelijk te begrijpen een dual-use risico vormt. Hoewel hoge ontsleutelingscapaciteiten wenselijk zijn voor legitieme taken, duiden ze ook op de kwetsbaarheid van een model voor adversariële inputs die ontworpen zijn om veiligheidsfilters te omzeilen via obfuscatie.

De auteurs beweren dat huidige veiligheidsmaatregelen mogelijk onvoldoende zijn tegen generalisatie-gebaseerde aanvallen. Zij suggereren dat:

• Gedeeltelijk Begrip een Kwetsbaarheid is: Modellen die de structuur van een cipher kunnen "begrijpen" maar deze niet exact kunnen ontsleutelen, kunnen nog steeds vatbaar zijn voor jailbreaking als de geobfusceerde input een schadelijke respons triggert.
• Token Inflatie Er toe Doet: Veiligheidsmechanismen moeten rekening houden met token inflatie, aangezien hoge inflatie de prestaties van het model kan verstoren, maar specifieke patronen (zoals Morse code) toch geleerd kunnen worden als deze aanwezig zijn in de pre-training data.
• Noodzaak voor Gerichte Waarborgen: LLM-waarborgen moeten expliciet omgaan met het gedeeltelijke begrip van long-tail teksten en geobfusceerde inputs. De auteurs stellen voor dat toekomstige veiligheidsafstemming (safety alignment) moet streven naar hoge ontsleutelingsscores op onschuldige teksten, terwijl het lage scores behoudt op schadelijke, geobfusceerde prompts.

De studie concludeert dat hoewel LLM's nog niet in staat zijn om moderne cryptografische standaarden (AES, RSA) te breken, hun vermogen om klassieke ciphers te decoderen en geobfusceerde tekst gedeeltelijk te interpreteren, een kritiek gebied vormt voor AI-veiligheidsonderzoek, met name om het misbruik van generalisatiefouten voor kwaadwillige doeleinden te voorkomen.