Reentrancy Detection in the Age of LLMs

Probleemstelling

Reentrancy (herintreding) blijft een van de kritiekste kwetsbaarheden in Ethereum-smart contracts, verantwoordelijk voor verliezen van honderden miljoenen dollars. Hoewel er decennia lang detectietools zijn ontwikkeld, vertoont het huidige ecosysteem een ernstig betrouwbaarheids- en robuustheidsprobleem:

1. Verouderde tools: Veel bestaande tools (zoals Oyente, Securify, Mythril) zijn gebaseerd op oude compiler-versies (Solidity < 0.8) en verouderde definities van reentrancy (vaak beperkt tot het strikte "Checks-Effects-Interactions" of CEI-patroon). Ze crashen vaak op moderne code of missen complexe patronen.
2. Inconsistentie: Er is geen eenduidige definitie van reentrancy. Verschillende tools gebruiken verschillende heuristieken, wat leidt tot tegenstrijdige waarschuwingen voor dezelfde code.
3. Geknoopte Ground Truth: Machine Learning (ML) modellen worden vaak getraind op datasets die door deze zelfde verouderde tools zijn gelabeld. Dit zorgt voor een vicieuze cirkel waarbij fouten en bias van de tools worden doorgegeven aan de AI-modellen.
4. Gebrek aan evaluatie: Er is geen betrouwbare benchmark om de prestaties van moderne detectiemethoden (inclusief Large Language Models) te testen tegenover moderne Solidity-versies (0.8+).

Methodologie

De auteurs hanteren een dependability-georiënteerde aanpak (betrouwbaarheid en robuustheid) en evalueren 31 verschillende systemen (12 formele tools, 10 ML-modellen, 9 LLM's) op twee nieuw ontwikkelde datasets.

1. Dataset Constructie

Om de cirkel van tool-gedreven labels te doorbreken, hebben de auteurs twee handmatig verifieerde datasets samengesteld:

• Aggregated Benchmark: Een samenvoeging van 432 contracten afkomstig uit drie eerdere academische datasets (CGT, HuangGai, Reentrancy Study). Alle contracten zijn handmatig hergeanalyseerd door drie experts en geverifieerd met hulp van LLM's om een hoge mate van zekerheid te garanderen.
• Reentrancy Scenarios Dataset (RSD): Een set van 143 handgemaakte "Minimal Working Examples" (MWEs). Deze zijn specifiek ontworpen om semantische hoekgevallen te testen die moderne tools vaak missen, zoals:
  • Moderne Solidity 0.8+ features (error handling, unchecked blokken).
  • Complexe guards (mutexes, modifiers).
  • Read-only reentrancy en delegatecall patronen.
  • Syntactische variaties (functiefolding, inline side-effects) die CEI-regels verwarren.

2. Unificatie van de Labeling Procedure

De auteurs definiëren reentrancy operationeel in drie stappen:

1. Unfolding: Het openbreken van lokale functies, modifiers en inheritance om de code te normaliseren.
2. Detectie: Het zoeken naar externe calls gevolgd door state-updates (side-effects).
3. Semantische Vergelijking: Het vergelijken van de eindtoestand van een reënte uitvoering (binnen één transactie) met de toestand bij sequentiële, niet-reënte uitvoering. Als de toestanden verschillen, is er een kwetsbaarheid.

3. Evaluatie

De tools werden getest op hun Accuracy, Precision, Recall, F1-score en Error Rate (hoe vaak de tool crasht of geen output geeft). LLM's (zoals GPT-4o, o3-mini, o4-mini, Qwen, Phi) werden getest in een zero-shot setting zonder fine-tuning.

Belangrijkste Bijdragen

1. Dependability Assessment: De eerste systematische evaluatie die aantoont dat de betrouwbaarheid van traditionele reentrancy-detectoren is ingestort door het ontbreken van onderhoud en ondersteuning voor nieuwe Solidity-versies.
2. Nieuwe Benchmarks: Publicatie van de Aggregated Benchmark en de RSD, die vrij zijn van tool-bias en specifiek zijn ontworpen voor stress-tests en robuustheidsevaluatie.
3. LLM als Alternatief: Het aantonen dat Large Language Models (LLMs) niet alleen beter presteren dan traditionele tools, maar ook fungeren als "human-in-the-loop" assistenten om fouten in datasets op te sporen.

Resultaten

De resultaten tonen een scherp contrast tussen traditionele tools en moderne AI:

• Prestaties van Traditionele Tools:

  • Veel tools (zoals Conkas, Securify, Sfuzz) faalden volledig op de RSD-dataset (100% error rate) vanwege incompatibiliteit met Solidity 0.8+.
  • Zelfs onder de werkende tools was er extreme inconsistentie. Op de Aggregated Benchmark waren er slechts 38 van de 122 kwetsbare contracten waar minstens 6 tools het over eens waren.
  • De beste traditionele tool (Slither) behaalde een F1-score van 0.92 op de Aggregated Benchmark, maar daalde naar 0.76 op de RSD.

• Prestaties van LLM's:

  • LLM's overtroffen alle traditionele tools en ML-modellen.
  • o3-mini bereikte een F1-score van 0.96 op de Aggregated Benchmark en 0.79 op de RSD (de beste score in die categorie).
  • gpt-oss (een lokaal model) behaalde zelfs een F1 van 0.85 op de RSD.
  • Robuustheid: LLM's hadden 0% error rate; ze crashten nooit, ongeacht de compiler-versie of syntactische complexiteit.

• Hulp bij Dataset Kwaliteit:

  • LLM-explanaties hielpen de auteurs bij het identificeren van 9 foutief gelabelde contracten in de Aggregated Benchmark, wat de kwaliteit van de ground truth aanzienlijk verbeterde.

Betekenis en Conclusie

Het artikel concludeert dat het ecosysteem voor smart contract-beveiliging fundamenteel is veranderd:

1. Veroudering van Static Analysis: Traditionele, regelgebaseerde tools zijn niet langer betrouwbaar als "ground truth" voor developers of ML-pipelines vanwege hun fragiliteit bij taal-evolutie.
2. Opkomst van Semantische Analyse: LLM's bieden een nieuwe vorm van robuustheid door direct te redeneren over de semantiek van de code in plaats van te vertrouwen op statische patronen. Ze vereisen geen handmatige updates voor nieuwe compiler-versies.
3. Toekomstrichting: De auteurs pleiten voor hybride benaderingen die de formele garanties van statische analyse combineren met de aanpassingsvermogen van LLM's, ondersteund door hoogwaardige, handmatig verifieerde datasets.

Kortom, terwijl traditionele tools vastlopen in de complexiteit van moderne Solidity, tonen LLM's aan dat ze een robuuster en nauwkeuriger alternatief kunnen zijn voor het detecteren van reentrancy-kwetsbaarheden.