CryptanalysisBench: Can LLMs do Cryptanalysis?
Dit artikel introduceert CryptanalysisBench, een uitgebreide benchmark van 191 cryptografische taken over zes primitieve families, die aantoont dat geavanceerde grote taalmodellen niet alleen bekende aanvallen op gevestigde schema's kunnen repliceren, maar ook nieuwe kwetsbaarheden kunnen ontdekken in zowel vereenvoudigde als productiebestendige cryptografische primitieven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de digitale wereld voor als een enorme, bruisende stad waar elke bank, elk bericht en elk geheim is opgeborgen in een kluis. De sleutels tot deze kluizen zijn niet gemaakt van metaal, maar van complexe wiskundige recepten die "cryptografische primitieven" worden genoemd. Decennialang konden slechts een kleine groep menselijke experts—zoals meester-slotenmakers met een PhD in de wiskunde—deze sloten testen om te zien of ze werkelijk onbreekbaar waren. Als een slot een zwakke plek heeft, wordt elke kluis die dat slot gebruikt onveilig, wat potentieel geheimen uit het verleden en de toekomst blootlegt. Dit is het spel met hoge inzet van cryptanalyse: de kunst van het vinden van de zwakke plekken in deze wiskundige sloten voordat de slechteriken dat doen.
Onlangs is er een nieuw soort "leerling-slotenmaker" gearriveerd: Large Language Models (LLM's). Dit zijn de superintelligente AI-chatbots die code kunnen schrijven, raadsels kunnen oplossen en over bijna alles kunnen chatten. De grote vraag die boven de stad hangt is: Kunnen deze AI-leerlingen de menselijke meesters daadwerkelijk te slim af zijn? Kunnen ze naar een complex wiskundig slot kijken, uitzoeken hoe ze het kunnen kraken, en het openbreken zonder dat een mens hun hand vasthoudt? Dit is niet zomaar een spel; het is een race om te zien of ons digitale veiligheidsnet een serieuze upgrade krijgt of een angstaanjagend gat.
De Grote Sloten-kraakwedstrijd: CryptanalysisBench
In dit artikel besloten een team van onderzoekers van topuniversiteiten en techlabs deze AI-leerlingen op de ultieme proef te stellen. Ze bouwden een enorme trainingsgrond genaamd CryptanalysisBench. Denk aan een enorme hindernisbaan gevuld met 191 verschillende soorten sloten. Sommige van deze sloten zijn oud en al bekend als gebroken (zoals een deur met een losse scharnier), terwijl andere gloednieuw, glanzend en momenteel door mensen als "onbreekbaar" beschouwd zijn.
De onderzoekers nodigden vijf van de slimste AI-modellen ter wereld uit (inclusief versies van Claude, GPT en GLM) om te proberen deze sloten te breken. De regels waren streng: de AI moest een computerscript schrijven dat de code daadwerkelijk kon kraken, niet alleen maar het antwoord raden. Als het script werkte, won de AI de ronde.
De Resultaten: De AI is al goed in de basis
De resultaten waren verrassend. Wanneer de AI werd geconfronteerd met de "makkelijke" sloten—de sloten waarvan mensen al wisten hoe ze te breken—waren de modellen ongelooflijk succesvol. Afhankelijk van het model slaagden ze erin tussen de 65% en 86% van deze bekende sloten te breken.
Maar hier is het echt coole deel: de AI kopieerde niet alleen de antwoorden uit een tekstboek. In veel gevallen bekeken de modellen de code vanaf de basis, ontdekten ze de fout op eigen kracht en schreven ze een werkend aanvalsscript. Het is alsof je een student een kapot speelgoed geeft en vraagt het te repareren; in plaats van de handleiding op te zoeken, begrepen ze simpelweg door naar het speelgoed te kijken welk onderdeel kapot was.
De Nieuwe Ontdekkingen: AI die gebreken vindt die mensen misten
De meest opwindende ontdekking vond plaats toen de AI de sloten aanpakte waarvan mensen dachten dat ze veilig waren. De onderzoekers ontdekten dat de AI-modellen nieuwe manieren vonden om sommige van deze systemen te breken.
- De SpoC-casus: Twee verschillende AI-modellen ontdekten onafhankelijk van elkaar een manier om een slot te breken dat "SpoC" heet, waarvan niemand wist dat het gebroken was. Ze realiseerden zich dat als je een specifiek type leeg bericht stuurt, het slot vergeet zijn veiligheidscontrole uit te voeren. Door twee slimme berichten te sturen, kon de AI de geheime sleutel stelen. Dit was een echte "Eureka!"-ervaring die zonder enige menselijke hulp plaatsvond.
- De KINDI-casus: Een ander model vond een fout in het officiële "veiligheidsbewijs" van een systeem genaamd KINDI. De ontwerpers hadden een regel geschreven: "Dit is veilig omdat slechts één sleutel in dit slot past." De AI bewees hen ongelijk door aan te tonen dat je het slot zelfs kon misleiden om meerdere verschillende sleutels te accepteren. De AI gebruikte deze truc vervolgens om de geheime sleutel te stelen. De onderzoekers merkten echter op dat dit geen accidentele vergissing van de ontwerpers was; het was in feite een bewuste ontwerpkeuze om het systeem efficiënter te maken, ook al introduceerde het een kwetsbaarheid die de AI succesvol exploiteerde.
Waar de AI moeite mee heeft
De AI is nog geen toverstaf. Toen de onderzoekers de modellen de "moeilijke" sloten gaven—de sloten die momenteel worden gebruikt om echte wereldgegevens te beschermen en die nog niet door mensen zijn gebroken—daalde het succespercentage aanzienlijk. De modellen konden vaak het idee van een aanval herkennen, maar faalden in het schrijven van de uiteindelijke code om het werkend te krijgen. Het is alsof de AI wist dat de deur niet op slot zat, maar niet precies wist hoe hij de deur open moest duwen voordat de tijd om was.
Echter, toen de onderzoekers de AI meer tijd gaven (de limiet verhoogden van 2 uur naar 16 uur), werden de modellen veel beter. Ze slaagden erin zelfs meer van de moeilijke sloten te breken, inclus\nief enkele die zeer complexe, zware wiskunde vereisten. Dit suggereert dat de belangrijkste beperking van de AI op dit moment niet een gebrek aan intelligentie is, maar een gebrek aan tijd om de klus te klaren.
De Kern van het Verhaal
Het paper concludeert dat AI nu al een serieuze speler is in de wereld van de cryptografie. Het kan gebreken vinden in ontwerpen die jarenlang door menselijke experts zijn onderzocht. De onderzoekers vonden echter ook dat een aanzienlijk aantal van de "doorbraken" die de AI vond, eigenlijk bugs in de referentiecode waren (de voorbeeldimplementatie geleverd door de ontwerpers) in plaats van fundamentele gebreken in het wiskundige ontwerp zelf. Hoewel de AI scheuren in de code vindt, begint het ook scheuren in het ontwerp te vinden die zelfs de meesters hebben gemist.
Hoewel het de moeilijkste, echte wereld-sloten nog niet volledig beheerst, beweegt het snel. De onderzoekers hebben hun benchmark vrijgegeven als een instrument om deze race nauwlettend in de gaten te houden. Ze willen precies volgen wanneer de AI sterk genoeg zal zijn om de sloten te breken die ons digitale leven beschermen, zodat we ze kunnen repareren voordat de AI dat doet.
Kortom: de AI-leerlingen kijken niet langer alleen toe bij de meesters; ze beginnen zelf de sloten te kraken, en ze vinden scheuren die zelfs de meesters hebben gemist.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.