💬 NLP

Decoupled Smart Contract Audits: Lightweight LLM Framework via Distillation and Aggregation

Dit artikel introduceert een ontkoppeld, lichtgewicht LLM-framework dat gebruikmaakt van distillatie, Rank-Stabilized Low-Rank Adapters en een aangepaste Chain-of-Verification aggregatiestrategie om state-of-the-art prestaties te behalen bij het auditen van de beveiliging van smart contracts met aanzienlijk minder parameters dan bestaande modellen.

Oorspronkelijke auteurs: Bagus Rakadyanto Oktavianto Putra, Muhamad Risqi Utama Saputra, Widyawan, Guntur Dharma Putra

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bagus Rakadyanto Oktavianto Putra, Muhamad Risqi Utama Saputra, Widyawan, Guntur Dharma Putra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer complexe, digitale kluis (een smart contract) hebt die het geld van mensen beheert. Zodra deze kluis op de blockchain is gebouwd, kun je de sloten niet meer veranderen of later extra beveiligingsstaven toevoegen. Als er een fout in zit, kunnen hackers alles stelen. Daarom moet er een beveiligingsexpert naar kijken voordat je de kluis opent.

Traditioneel wordt deze controle gedaan door mensen, maar er zijn te veel kluizen om handmatig te controleren. Onlangs probeerden mensen gigantische "superintelligenties" (Large Language Models of LLM's) te gebruiken om de controle uit te voeren. Maar deze reuzen zijn alsof je een team van 100 PhD'ers inhuurt voor één enkele taak: ze zijn ongelooflijk duur, vereisen enorme computers om te draaien en raken vaak in de war als je ze te veel dingen tegelijk vraagt te doen.

Dit artikel introduceert een slimmere, lichtere manier om dit te doen. Hier is hoe ze het deden, eenvoudig uitgelegd:

1. Het "Gespecialiseerde Team" versus de "Duizendpoot"

In plaats van één gigantische, dure AI de hele taak in één keer te laten doen, hebben de auteurs de beveiligingsaudit opgedeeld in vier kleine, gespecialiseerde stappen, zoals een estafette:

De Detector: Een pieptje kleine, snelle AI die alleen naar de code kijkt en zegt: "Zit hier een bug? Ja of Nee?"
De Explainer (Uitlegger): Als er een bug is, legt een iets grotere AI uit hoe een hacker deze zou kunnen gebruiken. Het is alsof een detective een rapport schrijft over hoe het slot is gekraakt.
De Judge (Rechter): Een andere kleine AI bekijkt die uitleg en beslist: "Is dit een klein krasje (Laag), een gebroken scharnier (Medium) of een totale instorting (Hoog)?"
De Fixer (Reparateur): Ten slotte stelt een slimme AI precies voor hoe de opening gedicht kan worden.

De Analogie: Stel je voor dat je een auto probeert te repareren. Een "Unified" (geïntegreerde) aanpak is als het vragen aan één persoon om de motor te diagnosticeren, de fysica van het falen uit te leggen, de ernst te beoordelen en het nieuwe onderdeel te lassen, allemaal in één ademteug. Ze kunnen overweldigd raken en fouten maken. De aanpak van de auteurs is als het hebben van een gespecialiseerde monteur, een natuurkundeprofessor, een veiligheidsinspecteur en een lasser die in een rij staan. Ieder doet één ding perfect.

2. Het "Kleine Brein" met een "Grote Leraar"

De auteurs gebruikten zeer kleine AI-modellen (slechts 0,6 tot 4 miljard "neuronen", vergeleken met de reuzen die er meer dan 30 miljard hebben). Normaal gesproken zijn kleine breinen niet slim genoeg voor moeilijke taken.

Om dit op te lossen, gebruikten ze twee trucs:

Knowledge Distillation (De Leraar-Leerling methode): Ze namen een enorme, superintelligente "Leraar" AI (Qwen3-30B) en leerden de kleine "Leerling" AI hoe ze stap voor stap moet denken. De leerling leerde niet alleen antwoorden memoriseren, maar leerde het redeneerproces.
Het "Stemmechanisme" (Consensus): Wanneer de AI een beslissing moet nemen (zoals "Is dit een bug?"), vragen ze het de AI niet één keer, maar vijf verschillende manieren. Als vier van de vijf "Ja" zeggen, gaan ze uit van "Ja". Dit voorkomt dat de AI willekeurig gokt.

3. De "Feitencontrole" om Hallucinaties te stoppen

AI-modellen "hallucineren" soms—ze verzinnen feiten die echt lijken, maar onjuist zijn. Om dit te stoppen, gebruikten de auteurs een Chain-of-Verification methode.

De Analogie: Stel je voor dat een student een essay schrijft. Voordat hij het inlevert, moet hij drie vragen over zijn eigen essay opschrijven ("Heb ik dit punt bewezen? Is dit feit waar?"). Hij beantwoordt die vragen eerlijk. Als de antwoorden niet overeenkomen met het essay, past hij het essay aan. Dit zorgt ervoor dat het uiteindelijke rapport daadwerkelijk waar is.

4. De Grote Ontdekking: De "Middelkind"-bias

De onderzoekers ontdekten iets verrassends over hoe AI de ernst beoordeelt. Wanneer een AI gevraagd wordt te beslissen of een bug "Laag", "Medium" of "Hoog" is, is de AI bang om het fout te hebben.

De Bevinding: Als de AI onzeker is, kiest hij bijna altijd standaard voor "Medium". Het is als een student die het antwoord op een toetsvraag niet weet en gewoon "C" invult omdat dat het veiligste middenpad voelt.
De auteurs ontdekten dat de gigantische modellen slecht waren in het herkennen van de extreme gevallen (zeer lage of zeer hoge risico's), omdat ze alles in de "Medium"-categorie bleven duwen. Hun kleinere, gespecialiseerde team was veel beter in het herkennen van de extremen.

5. Waarom dit ertoe doet (De Resultaten)

Goedkoper: Hun systeem draait op een standaard laptop of een bescheiden computerkaart. De gigantische modellen waarmee ze werden vergeleken, hebben superdure computers nodig van datacenter-niveau die duizenden dollars kosten.
Slimmer: Ondanks dat ze veel kleiner zijn, was hun systeem nauwkeuriger dan de gigantische modellen. Ze behaalden 98% nauwkeurigheid bij het vinden van bugs, terwijl de reuzen worstelden met de complexe redeneeronderdelen.
Actiegericht: Ze vonden niet alleen bugs; ze boden ook duidelijke uitleg en specifieke code-oplossingen, wat is wat ontwikkelaars daadwerkelijk nodig hebben.

Kortom: Het artikel bewijst dat je geen gigantische, dure AI nodig hebt om je digitale kluis te beveiligen. Door een team van kleine, gespecialiseerde, goed getrainde AI-assistenten te gebruiken die elkaars werk controleren, kun je betere resultaten behalen voor een fractie van de kosten.

Technische Samenvatting: Ontkoppelde Smart Contract Audits via Lichtgewicht LLM's

Probleemstelling

Smart contracts zijn, eenmaal gedeployed op blockchains, uiterst gevoelig voor beveiligingskwetsbaarheden die kunnen leiden tot catastrofale financiële verliezen (bijv. de DAO-hack), aangezien ze onveranderlijk zijn. Hoewel Large Language Models (LLM's) veelbelovend zijn voor geautomatiseerde security audits, kampen huidige benaderingen met drie kritieke beperkingen:

Computationele Inefficiëntie: Huidige State-of-the-Art (SOTA) oplossingen vertrouwen op massieve, monolithische LLM's (7B–34B parameters) die aanzienlijke GPU VRAM vereisen (vaak meer dan 12–24 GB), waardoor ze ontoegankelijk zijn voor onafhankelijke ontwikkelaars en kleine teams met standaard consumentenhardware.
Gebrek aan Actiegerijke Output: Veel benaderingen richten zich primair op binaire kwetsbaarheidsdetectie, waarbij het cruciale belang van ernstclassificatie en specifieke, actiegerichte remediatie-aanbevelingen wordt verwaarloosd.
Architecturale Gebreken: Verenigde prompting-strategieën dwingen één enkel model om gelijktijdig diverse redeneertaken uit te voeren (detectie, uitleg, ernst, remediatie), wat leidt tot foutpropagatie, formaat-hallucinaties en hoge latentie.

Methodologie

De auteurs stellen een efficiënt, ontkoppeld end-to-end framework voor dat gebruikmaakt van lichtgewicht, open-source LLM's (0.6B–4B parameters) om de workflow van menselijke security-experts te repliceren. Het framework verdeelt het auditproces in vier gespecialiseerde, sequentiële modules:

Vulnerability Detector (Kwetsbaarheidsdetector): Een classificatietaak om te identificeren of code kwetsbaarheden bevat.
Vulnerability Explanator (Kwetsheidsuitlegger): Een generatieve taak om de aard van de kwetsbaarheid uit te leggen en hoe deze uitgebuit kan worden.
Severity Determinant (Ernstbepaler): Een classificatietaak om een ernstniveau toe te wijzen (Laag, Medium, Hoog).
Recommender (Aanbeveler): Een generatieve taak om actiegerichte code-patches te leveren voor remediatie.

Belangrijke Technische Componenten

Rank-Stabilized Low-Rank Adapters (rsLoRA): In plaats van volledige fine-tuning of standaard LoRA, gebruiken de auteurs rsLoRA. Deze techniek wijzigt de schaleringsfactor naar $\gamma_r = \alpha / \sqrt{r}$ , wat gradient collapse voorkomt en grotere ranks mogelijk maakt zonder verlies van parameterefficiëntie.
Multi-Prompt Voting Mechanism: Voor classificatietaken (Detectie en Ernst) verwerkt het model vijf verschillende template-prompts. De uiteindelijke output wordt bepaald door meerderheidsstemming, waarbij een betrouwbaarheidsscore wordt berekend op basis van de consensus.
Gemodificeerde Chain-of-Verification (CoVe) Aggregatie: Voor generatieve taken (Uitleg en Aanbeveling) gebruikt het framework een "Candidate Generator" om meerdere onafhankelijke concept-responses te produceren. Een aangepaste "Aggregator" gebruikt vervolgens een gemodificeerde CoVe-strategie om:
1. De context te funderen in de code.
2. Verificatievragen te genereren voor elke kandidaat.
3. Deze vragen onafhankelijk te beantwoorden om claims feitelijk te controleren.
4. Een enkel, geverifieerd rapport te synthetiseren, waarbij hallucinaties worden weggegooid.
Knowledge Distillation (Kennisdistillatie): Om de redeneercapaciteiten van de student-modellen (Qwen3-4B) te verbeteren, distilleren de auteurs Chain-of-Thought (CoT) redenering van een krachtig teacher-model (Qwen3-30B-A3B). De CoT-outputs van de teacher worden gebruikt als onderdeel van de trainingsdata om het student-model stapsgewijs redeneren te leren.

Dataset Constructie

De studie maakte gebruik van twee onderscheidende datasets afgeleid van gerenommeerde bronnen (Code4rena, Shieldify Security, en top TVL-projecten):

Detection Dataset: 930 kwetsbare en 969 veilige code-samples. Veilige samples werden verwerkt met een Graph-Based Stratified Sampling algoritme om lengte-pariteit met kwetsbare fragmenten te garanderen, om te voorkomen dat het model oppervlakkige lengte-biases leert.
Vulnerability Dataset: 1.000+ samples bestaande uit code gekoppeld aan audit-metadata (uitleg, ernst, aanbevelingen). Deze dataset werd gesplitst met een Project-Aware Stratified strategie om data-lekkage tussen trainings- en testsets te voorkomen.

Experimentele Resultaten

Het framework werd geëvalueerd tegen SOTA dense coder-modellen (bijv. CodeLlama-34B, DeepSeek-Coder-33B, Qwen2.5-Coder-32B) onder zowel Zero-Shot als Fine-Tuned instellingen.

Vulnerability Detection: Het voorgestelde 0.6B model bereikte een nauwkeurigheid van 98,25% en een F1-score van 0,9824, waarmee het alle baselines versloeg, inclusclusief de fine-tuned 34B modellen.
Severity Classification: Het framework bereikte een nauwkeurigheid van 64,58% en een macro F1-score van 0,5877.
Generatieve Taken (Uitleg & Aanbeveling): Gebruikmakend van een LLM-as-a-Judge metriek (LMUnit 70B), behaalde het framework alignment-scores van 0,4375 voor uitleg en 0,7639 voor aanbevelingen, waarmee het de beste baselines (die respectievelijk ~0,22 en ~0,37 scoorden) aanzienlijk overtrof.
Resource Efficiëntie: De gedecoupleerde aanpak werkt binnen ~3,11 GB VRAM voor classificatie en ~8,64 GB VRAM voor generatie, wat comfortabel past op consumentenhardware (8–12 GB VRAM), terwijl SOTA baselines 21–24 GB vereisen.

Belangrijkste Bijdragen en Bevindingen

Gedecoupleerde Architectuur: Het paper demonstreert dat het scheiden van complexe audit-workflows in gespecialiseerde modules de monolithische unified prompting aanzienlijk beter presteert, wat foutpropagatie en hallucinaties vermindert.
Lichtgewicht Superioriteit: De studie valideert empirisch dat hoog-geoptimaliseerde, lichtgewicht modellen (0.6B–4B) met gerichte fine-tuning en aggregatiestrategieën consistent kunnen presteren ten opzichte van veel grotere (7B–34B) dense modellen in specifieke security-taken.
Severity Centrality Bias (SCB): Een nieuwe empirische bevinding onthult dat huidige LLM's (zowel zero-shot als fine-tuned) een "Severity Centrality Bias" vertonen, waarbij ze disproportioneel vaak terugvallen op "Medium" ernst om verlies te minimaliseren, waardoor ze er niet in slagen "Low" en "High" edge cases accuraat te onderscheiden. Het voorgestelde framework verzacht dit, maar elimineert het niet volledig.
Synergetische Optimalisatie: Ablatie-studies bevestigen dat de combinatie van rsLoRA, Knowledge Distillation en de Gemodificeerde CoVe-aggregatie een synergetisch effect creëert, waarbij het verwijderen van een enkele component leidt tot significante prestatieverslechtering.

Betekenis

Het paper beweert een cruciaal benchmark te hebben gevestigd voor toekomstig onderzoek naar LLM-ondersteunde auditing door te bewijzen dat gedemocratiseerde smart contract security haalbaar is op standaard consumentenhardware. Door weg te bewegen van resource-zware monolithische modellen naar een modulaire, lichtgewicht pipeline, bieden de auteurs een praktisch pad voor het integreren van continue, "shift-left" security audits in dagelijkse ontwikkelingsworkflows zonder dat daarvoor dure cloud GPU-instances nodig zijn. De identificatie van de Severity Centrality Bias benadrukt verder een specifieke, nog niet geadresseerde uitdaging in geautomatiseerde risicobeoordeling die toekomstig onderzoek moet aanpakken.