Beyond F1: A Study of LLM Reliability in Smart Contract Vulnerability Detection
Deze studie evalueert 14 grote taalmodellen op de detectie van kwetsbaarheden in smart contracts, waarbij wordt onthuld dat de selectie van het model belangrijker is dan promptingstrategieën of verhoogde berekening tijdens de inferentietijd, aangezien grotere frontier-modellen een superieure betrouwbaarheid vertonen terwijl kleinere modellen en uitgebreide redeneertechnieken de prestaties kunnen verslechteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de digitale wereld van gedecentraliseerde financiën beweegt geld zich via zelfuitvoerende programma's die smart contracts worden genoemd. Deze zijn als digitale verkoopautomaten die automatisch activa uitgeven wanneer aan specifieke voorwaarden is voldaan, opererend zonder menselijke beheerders of banken. Omdat deze programma's op een blockchain draaien, zijn ze, eenmaal uitgerold, effectief permanent; als er na de bouw van de machine een fout wordt gevonden, is het vaak onmogelijk om deze te herstellen. Deze onveranderlijkheid maakt beveiliging cruciaal, aangezien zelfs een kleine fout kan leiden tot het verlies van miljarden dollars. Jarenlang hebben onderzoekers vertrouwd op geautomatiseerde tools om deze contracten op fouten te scannen, maar deze tools hebben vaak moeite om de context van de code te begrijpen, waarbij ze regelmatig valse alarmen geven of subtiele gevaren missen. Onlangs is er een nieuw type kunstmatige intelligentie bekend geworden, een groot taalmodel, dat in staat is om code te lezen en te begrijpen zoals een menselijke programmeur dat doet. Dit heeft een hoopvolle vraag opgeroepen: kunnen deze intelligente systemen traditionele beveiligingscontroles vervangen of verbeteren om kwetsbaarheden te vinden voordat ze schade veroorzaken?
Een recente studie probeerde dit te beantwoorden door veertien verschillende kunstmatige intelligentiemodellen op de proef te stellen. De onderzoekers verzamelden vierentwintig echte smart contracts, waaronder enkele waarvan bekend is dat ze beveiligingsfouten bevatten en andere die perfect schoon waren, om te zien hoe goed de modellen tussen de twee konden onderscheiden. Ze vroegen de modellen niet simpelweg om naar de code te kijken; ze probeerden vier verschillende manieren van vragen stellen, variërend van een eenvoudige directe vraag tot complexe, stapsgewijze instructies die de modellen dwongen om diep door hun analyse na te denken. Ze testten ook of het geven van de modellen meer tijd om te "denken" tijdens het proces hun resultaten verbeterde, een functie die sommige moderne modellen bieden om dieper over problemen na te denken. Het doel was om te bepalen of deze krachtige tools betrouwbaar bugs konden vinden zonder veilig code onterecht als gevaarlijk aan te merken.
De resultaten onthulden een scherp contrast in prestaties dat de algemene aannames over hoe deze modellen werken, uitdaagt. De studie vond dat het simpelweg geven van een model meer tijd om na te denken of het vragen om een gedetailleerd redeneerproces, het niet altijd beter maakte. Sterker nog, voor een van de best presterende modellen maakte het inschakelen van deze extra denkmodus het juist slechter, waardoor het echte kwetsbaarheden miste en de algehele nauwkeurigheid verlaagde. Dit suggereert dat meer computationele inspanning niet automatisch vertaalt naar betere beveiligingsanalyse. In plaats daarvan was de belangrijkste factor simpelweg welk model werd gekozen. De beste modellen, die groot zijn en commercieel zijn ontwikkeld, bleken zeer betrouwbaar en identificeerden kwetsbaarheden correct, terwijl ze zelden fouten maakten bij veilige code.
In schril contrast hiermee gedroegen de kleinere, open-source modellen die in de studie werden getest zich heel anders. Hoewel deze kleinere modellen uitstekend waren in het opsporen van potentiële problemen, leden ze aan een kritiek gebrek: ze waren niet in staat om het verschil te zien tussen een kwetsbaar contract en een veilig contract. Ze markeerden elk schoon contract als gevaarlijk, wat effectief betekende dat ze bij elke wending "wolf" riepen. De onderzoekers gaven een specifieke term aan deze neiging om dreigingen te hallucineren waar ze niet bestaan, en noemden het een "Basilisk Rate". Een model met een hoge rate is nutteloos voor beveiliging omdat het ingenieurs zou overspoelen met valse alarmen. De studie toonde aan dat de zes best presterende modellen een perfect record hadden van nooit schoon code te hebben gemarkeerd, terwijl de drie kleinste modellen elk schoon contract als kwetsbaar markeerden.
Het onderzoek benadrukte ook een specifieke drempelwaarde in de omvang van deze modellen die de betrouwbaarheid lijkt te bepalen. De modellen die goed presteerden, hadden over het algemeen een groter aantal interne parameters, wat kan worden beschouwd als de complexiteit van hun interne kennisbasis. De studie suggereert dat er een overgangspunt bestaat rond een specifieke omvang, waarbij modellen onder die drempel de neiging hebben constant te hallucineren, terwijl die erboven precies en betrouwbaar worden. Interessant genoeg slaagde één groot open-source model erin deze kloof te overbruggen, waarbij het bijna net zo goed presteerde als de top commerciële modellen, maar de kleinere bleven onbetrouwbaar.
Uiteindelijk concludeert de studie dat voor de specifieke taak van het vinden van beveiligingsfouten in smart contracts, de keuze van het kunstmatige intelligentiemodel veel belangrijker is dan hoe het model wordt geprompt of hoeveel tijd het krijgt om na te denken. Hoewel deze geavanceerde tools veelbelovend zijn, zijn ze geen magische oplossing die op dezelfde manier werkt voor elk systeem. De meest effectieve aanpak houdt in dat men een model selecteert dat bewezen nauwkeurig is en de modellen vermijdt die geneigd zijn problemen te zien die niet bestaan. Voor de toekomst van de digitale financiën betekent dit dat beveiligingsteams zorgvuldig moeten controleren welke kunstmatige intelligentietools zij gebruiken, om er zeker van te zijn dat zij vertrouwen op systemen die het verschil kunnen zien tussen een echte dreiging en een onschadelijk stuk code.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.