CKG-LLM: LLM-Assisted Detection of Smart Contract Access Control Vulnerabilities Based on Knowledge Graphs

Probleemstelling

Traditionele methoden voor het analyseren van smart contracts maken vaak gebruik van tussenliggende representaties zoals abstracte syntaxisbomen (AST), controle-flowgrafieken (CFG) of Static Single Assignment (SSA) vorm. Deze methoden hebben echter beperkingen:

1. Ze vangen vaak niet zowel de semantische structuur als de controlelogica volledig in één representatie.
2. Het extraheren van een kennisgrafiek (Knowledge Graph - KG) puur uit AST's leidt tot ondiepe semantische representaties die complexe syntactische en structurele informatie missen.
3. Het schrijven van query's (zoals SPARQL) om specifieke kwetsbaarheden te vinden is moeilijk en vereist diepgaande kennis van de grafiekstructuur, wat de adoptie van KG-gebaseerde detectiemethoden beperkt.

Access-control kwetsbaarheden zijn kritiek voor smart contracts omdat deze, vanwege de onveranderlijkheid van de blockchain, kunnen leiden tot onherroepelijk verlies van digitale activa.

Methodologie: CKG-LLM

Het paper introduceert CKG-LLM, een raamwerk dat Large Language Models (LLM's) combineert met Smart Contract Knowledge Graphs (CKG) om toegangsbewakingskwetsbaarheden te detecteren. Het proces verloopt in vier fasen:

1. Constructie van de Contract Knowledge Graph (CKG)
In plaats van alleen AST's te gebruiken, gebruikt het systeem Slither's Intermediate Representation (IR) als basis. Dit biedt een semantisch verrijkte weergave. De KG heeft een tweelaags ontwerp:

• Ontologie-laag: Formaliseert de abstracte syntaxis van Solidity (klassen, eigenschappen, relaties) en fungeert als domeinschema.
• Instantie-laag: Representeert de daadwerkelijke contractstructuren, inclusief complexe relaties zoals overerving, functiedefinitie, en uitvoeringsstromen (via SSA-vorm met $\phi$-functies voor controle-flow divergentie).

2. Prompt Constructie (Two-Round Chain of Thought)
Om de drempel voor het schrijven van query's te verlagen, gebruikt het systeem een tweerondige "Chain of Thought" (CoT) prompt:

• Ronde 1: De LLM vertaalt een natuurlijke taalbeschrijving van een kwetsbaarheid naar gestructureerde redenering (JSON-slots) op basis van het KG-schema.
• Ronde 2: Op basis van deze redenering genereert de LLM een uitvoerbare SPARQL-query.
• Pruning: Om contextlimieten van de LLM te respecteren, wordt de KG vooraf "gepruned" (gesnoeid) om alleen relevante subgrafieken voor toegangsbewaking (bijv. publieke functies, modifiers, eigenaar-variabelen) te behouden.

3. Training en Versterking (SFT & RLAF)

• Supervised Fine-Tuning (SFT): Een basismodel (Llama-3.1-8B) wordt gefinetuned op een dataset van complexe query-paren (LC-QuAD 2.0) om de LLM vertrouwd te maken met GQL-paradigma's.
• Reinforcement Learning from Agent Feedback (RLAF): Dit is een kerninnovatie. Een klein taalmodel (SLM, Qwen2.5-3B) fungeert als agent die de gegenereerde query's evalueert op drie dimensies:
  • Formele Validiteit: Werkt de query?
  • Semantische Consistentie: Sluit de query aan bij de bedoeling en het schema?
  • Detectie Nauwkeurigheid: Vindt de query de juiste kwetsbaarheden?
    Op basis van deze feedback wordt Direct Preference Optimization (DPO) toegepast om de LLM te trainen om betere query's te genereren.

4. Toepassing
In de praktijk voert het systeem natuurlijke taal-instructies en broncode in, construeert het een CKG, genereert een SPARQL-query via de getrainde LLM, en voert deze uit tegen de grafiekdatabase om kwetsbare code-elementen te lokaliseren.

Belangrijkste Bijdragen

1. Eerste Framework van zijn soort: CKG-LLM is, voor zover bekend, het eerste raamwerk dat LLM's gebruikt om natuurlijke taalbeschrijvingen direct om te zetten in grafiekquery's over smart contract knowledge graphs voor toegangsbewakingsdetectie.
2. Semantisch Verrijkte KG: Het bouwt een KG op basis van Slither IR in plaats van alleen AST, wat diepere semantische en controle-flow informatie vastlegt.
3. RLAF-methode: Introduceert een versterkingsleerbenadering waarbij een SLM-agent feedback geeft om de kwaliteit van de gegenereerde SPARQL-query's te verbeteren via DPO.
4. Prestaties: Het framework overtreft bestaande tools in detectie-efficiëntie en nauwkeurigheid.

Resultaten

De evaluatie werd uitgevoerd op een dataset van 553 smart contracts met labels voor toegangsbewakingskwetsbaarheden (CWE-284).

• Kwaliteit van Query's (RQ1): Het model met DPO-training (SFT+DPO) behaalde een hogere score (0.756) in het genereren van kwalitatieve query's vergeleken met alleen SFT-training (0.693).
• Nauwkeurigheid (RQ2):
  • Base Model: F1-score van 57,8%.
  • SFT: F1-score van 65,5%.
  • SFT+DPO: F1-score van 74,9% (Precisie: 73,1%, Recall: 76,8%).
    Dit toont aan dat DPO zowel false positives reduceert als de algehele robuustheid verbetert.
• Efficiëntie (RQ3):
  • CKG-LLM is de snelste tool met een totale detectietijd van 6248 seconden (gemiddeld 11,3s per contract).
  • Ter vergelijking: Achecker (F1 81,4%) is nauwkeuriger maar aanzienlijk langzamer (13,5s per contract). GPTScan is zowel minder nauwkeurig als trager.

Betekenis en Toekomstperspectief

CKG-LLM demonstreert een krachtige synergie tussen kennisgrafieken en Large Language Models voor blockchain-beveiliging. Het lost het probleem op van het handmatig schrijven van complexe query's en biedt een schaalbare, nauwkeurige oplossing voor het detecteren van toegangsbewakingsfouten.

Voor de toekomst plannen de auteurs:

• Uitbreiding naar andere kwetsbaarheidstypen (bijv. integer overflow, re-entrancy).
• Integratie van Retrieval-Augmented Generation (RAG) om de contextoverhead te verlagen en de query-generatie nog beter af te stemmen op Solidity-grammatica en contractsyntaxis.

Dit werk markeert een belangrijke stap richting geautomatiseerde, semantisch onderbouwde beveiligingsanalyse voor smart contracts.