💻 computer science

SolAgent: A Specialized Multi-Agent Framework for Solidity Code Generation

SolAgent is een gespecialiseerd multi-agent framework dat een dual-loop verfijningsmechanisme benut, waarbij de Forge compiler en de Slither statische analyzer worden gecombineerd om bestaande LLM's en AI-tools aanzienlijk te overtreffen in het genereren van veilige, functionele Solidity smart contracts, terwijl het ook de distillatie van hoogwaardige trajecten naar kleinere open-source modellen mogelijk maakt.

Oorspronkelijke auteurs: Wei Chen, Zhiyuan Peng, Xin Yin, Chao Ni, Chenhao Ying, Bang Xie, Yuan Luo

Gepubliceerd 2026-02-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wei Chen, Zhiyuan Peng, Xin Yin, Chao Ni, Chenhao Ying, Bang Xie, Yuan Luo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Digitale Vestingen Bouwen met een "Magische Pen"

Stel je voor dat je een digitale vesting bouwt (een Smart Contract) die miljoenen dollars bevat. Zodra je de vesting hebt gebouwd en de deur hebt vergrendeld, kun je nooit meer een enkele baksteen veranderen. Als je een kleine fout maakt, kunnen dieven binnenbreken en alles stelen.

Onlangs kregen we een "Magische Pen" (Large Language Models of LLM's) die code voor ons kan schrijven in een oogwenk. Maar deze pen is als een zeer zelfverzekerde maar onervaren leerling. Hij schrijft prachtig uitziende code die er goed uitziet, maar vaak:

Het werkt niet: De code heeft verborgen fouten waardoor deze direct crasht (Compilation Failure).
Het is onveilig: Het laat geheime achterdeurtjes open staan waar hackers misbruik van kunnen maken.
Het loopt vast: Het probeert de hele vesting in één keer te schrijven, raakt overweldigd en geeft het op.

Het paper betoogt dat het simpelweg vragen aan de Magische Pen om "een veilige contract te schrijven" niet genoeg is. We hebben een beter systeem nodig.

De Oplossing: SolAgent (Het Team van Meesterbouwers)

De auteurs creëerden SolAgent, wat niet zomaar één AI is, maar een team van gespecialiseerde AI-agenten die samenwerken. In plaats van de code één keer te schrijven en te hopen op het beste, bootst SolAgent na hoe menselijke experts software bouwen: Schrijven, Controleren, Herstellen, Herhalen.

Zie SolAgent als een bouwplaats met twee hoofdmedewerkers en een set hoogtechnologische tools:

1. De Twee Medewerkers

De Coding Agent (De Bouwer): Deze AI neemt jouw verzoek aan (bijv. "Bouw een kluis die alleen opent als je een sleutel hebt") en schrijft de eerste conceptversie van de code.
De Refining Agent (De Inspecteur): Deze AI leest niet alleen de code; hij test de code ook actief. Hij bekijkt het werk van de Bouwer, vindt fouten en vertelt de Bouwer precies hoe hij ze moet herstellen.

2. De Hoogtechnologische Tools (Het "Dual-Loop" Systeem)

Het genie van SolAgent is hoe het twee specifieke tools gebruikt om het werk te controleren, wat een "dual-loop" van kwaliteitscontrole creëert:

De Inner Loop (De "Forge" Test):
- Analogie: Stel je een stresstest-machine voor die probeert de deur van je kluis kapot te maken.
- Wat het doet: Het draait de code door een compiler (Forge) om te zien of het daadwerkelijk werkt. Als de code crasht of een wiskundige test niet doorstaat, krijgt de Refining Agent een rapport met de tekst: "Deze regel is kapot," en wordt het teruggestuurd naar de Bouwer om het te repareren.
- Resultaat: Dit zorgt ervoor dat de code functioneel is.
De Outer Loop (De "Slither" Security Scan):
- Analogie: Stel je een beveiligingsexpert voor met een metaaldetector die rond de kluis loopt om te zoeken naar verborgen vallen of losse stenen.
- Wat het doet: Het gebruikt een statische analyzer (Slither) om te scannen op bekende beveiligingslekken (zoals een "reentrancy" bug waarbij een dief de kluis kan foppen om twee keer uit te betalen). Als het een gat vindt, zegt het tegen de Refining Agent dat deze onmiddellijk moet patchen.
- Resultaat: Dit zorgt ervoor dat de code veilig is.

3. Het Bestandssysteem (De "Bibliotheekkaart")

Algemene AI raakt vaak in de war omdat het niet weet welke andere bestanden er in het project bestaan. SolAgent is uitgerust met een File System Tool.

Analogie: In plaats van te gokken welke gereedschappen er in de schuur liggen, kan de AI daadwerkelijk naar de schuur lopen, de deur openen, de labels op de dozen lezen en de juiste tools pakken die hij nodig heeft om de klus te klaren. Dit helpt het om complexe projecten met veel verschillende onderdelen te begrijpen.

Hoe het Werkt: De "Stop"-knop

Je denkt misschien: "Zullen ze de code niet eeuwig blijven verbeteren?"
Het paper introduceert een Dynamic Stopping Mechanism. Het is als een slimme timer die weet wanneer hij moet stoppen:

Succes: Als de code alle tests doorstaat en geen beveiligingslekken heeft, stop.
Vastgelopen: Als de AI steeds exact dezelfde fout maakt, stop om tijd te besparen.
Stagnatie: Als de code na een paar pogingen niet meer beter wordt, stop.

De Resultaten: Waarom het Er Toe Doet

De onderzoekers hebben SolAgent getest op een uitdagende benchmark genaamd SolEval+ (een collectie echte smart contract-uitdagingen).

Het werkt veel beter:
- Standaard AI (de "Magische Pen" alleen) kreeg slechts ongeveer 25% van de contracten in één keer goed.
- SolAgent kreeg 64,39% in één keer goed. Dat is meer dan een verdubbeling van het succespercentage.
- Analogie: Als je 100 willekeurige mensen zou vragen om een kluis te bouwen, zou er misschien 25 een bouwen die werkt. SolAgent is als het inhuren van een meesterarchitect die 64 werkende kluizen bouwt van de 100.
Het is veiliger:
- Vergeleken met code geschreven door mensen, verminderde SolAgent het aantal beveiligingskwetsbaarheden met bijna 40%.
- Analogie: Het vond en herstelde de verborgen vallen die zelfs ervaren menselijke bouwers soms over het hoofd zien.
Het is goedkoper (De "Distillation" Truc):
- Het draaien van een team van AI-agenten is duur. Daarom hebben de auteurs de "hoogwaardige gesprekken" (het traject) tussen de Bouwer en de Inspecteur gebruikt om een kleiner, goedkoper AI-model (Qwen3-8B) te onderwijzen.
- Analogie: Ze hebben de aantekeningen van de keuken van een meesterkok genomen en een junior kok geleerd hoe hij hetzelfde perfecte gerecht kan maken. De junior kok (het kleine model) leerde bijna net zo goed te koken als het grote team, maar veel sneller en goedkoper.

Samenvatting

SolAgent is een nieuwe manier om AI te gebruiken om blockchain-code te schrijven. In plaats van te vertrouwen op één AI om het de eerste keer goed te doen, stelt het een team op dat code schrijft, het test met een compiler, scant op beveiligingslekken en fouten herstelt totdat het perfect is. Het resultaat is code die aanzienlijk betrouwbaarder en veiliger is dan wat de huidige AI of zelfs menselijke experts doorgaans produceren.

Technische Samenvatting: SolAgent

Probleemstelling

Smart contracts vormen de ruggengraat van het gedecentraliseerde web en beheren miljarden aan digitale activa. Hun onveranderlijke aard betekent echter dat elke kwetsbaarheid kan leiden tot catastrofale financiële verliezen. Hoewel Large Language Models (LLM's) bekwaamheid hebben getoond in algemene codegeneratie, worstelen ze aanzienlijk met de strikte vereisten van Solidity-ontwikkeling. Huidige algemene LLM's en multi-agent frameworks produceren vaak code die syntactisch plausibel is maar functioneel incorrect ("hallucinaties") of subtiele beveiligingskwetsbaarheden bevat. Bov�iment bestaande agent-frameworks missen doorgaans integratie met domeinspecifieke verificatietools en slagen er niet in om de complexe afhankelijkheidsstructuren van real-world Solidity-projecten te verwerken, wat leidt tot hoge compilatiefalen-percentages en inadequate beveiligingsgaranties.

Methodologie

De auteurs stellen SolAgent voor, een gespecialiseerde tool-augmented multi-agent framework die ontworpen is om de workflow van menselijke experts in smart contract ontwikkeling na te bootsen. SolAgent adresseert de beperkingen van single-pass generatie door middel van een dual-loop refinement mechanisme en gespecialiseerde tool-integratie.

Kernarchitectuur

Multi-Agent Collaboratie: Het systeem maakt gebruik van een dual-agent architectuur:
- Coding Agent: Genereert de initiële Solidity-implementatie op basis van gebruikersvereisten.
- Refining Agent: Verbetert de code iteratief door de feedback van externe tools te analyseren en de implementatie aan te passen om bugs te herstellen en gasverbruik te optimaliseren.
Tool-Augmented Refinement (Dual-Loop):
- Inner Loop (Correctheid & Efficiëntie): Maakt gebruik van Forge (Foundry) om de code te compileren en unit tests uit te voeren. De agent ontvangt feedback over compilatiefouten, test-assertion fouten en stack traces om functionele correctheid te waarborgen.
- Outer Loop (Beveiliging): Maakt gebruik van Slither, een statische analyzer, om beveiligingskwetsbaarheden te detecteren (gecategoriseerd naar ernst). De agent gebruikt deze feedback om problemen zoals reentrancy of integer overflows te verhelpen.
- Context Bewustzijn: De agents zijn uitgerust met file system tools (List Directory, Read File) om projectstructuren te verkennen, afhankelijkheden op te lossen en de context van de codebase te begrijpen, een capaciteit die vaak ontbreekt bij algemene agents.
Dynamisch Stopmechanisme: Om oneindige loops of degradatie te voorkomen, hanteert het framework een dynamisch stopalgoritme. Verfijning stopt als:
- Alle tests slagen en er geen kritieke kwetsbaarheden meer zijn (Succes).
- Het pass-percentage stagneert voor $N$ opeenvolgende rondes.
- De feedback-gelijkenis tussen opeenvolgende rondes een drempelwaarde overschrijdt (wat aangeeft dat de agent in een loop zit).
Workflow Distillatie: Om toegang te democratiseren en computationele kosten te verlagen, distilleren de auteurs de hoogwaardige interactie-trajecten gegenereerd door SolAgent naar een kleiner, open-source model (Qwen3-8B). Ze gebruiken twee datastrategieën:
- Full-Context: Gebruikmakend van gedetailleerde, door mensen gelabelde vereisten.
- Compressed-Context: Gebruikmakend van samengevatte functionele vereisten om de token-efficiëntie te verbeteren.
  Het gedistilleerde model is getraind om beveiligde, correcte code in een enkele pass te produceren, waardoor de multi-agent intelligentie effectief wordt "gecomprimeerd".

Belangrijkste Bijdragen

Tool-Augmented Multi-Agent Framework: SolAgent wordt gepresenteerd als het eerste framework dat domeinspecifieke compilatie (Forge) en statische analyse (Slither) tools direct integreert in een end-to-end smart contract generatie en verfijningsworkflow.
Dual-Loop Refinement Mechanisme: Het paper introduceert een mechanisme dat tegelijkertijd optimaliseert voor functionele correctheid en beveiliging, waarmee het "onmogelijke driehoek"-probleem van single-pass generatie wordt aangepakt, waarbij modellen vaak de ene ten koste van de andere opofferen.
Uitgebreide Evaluaties en Distillatie: De auteurs vestigen een nieuwe state-of-the-art op de SolEval+ Benchmark (afgeleid van hoogwaardige real-world projecten) en demonstreren dat de door SolAgent gegenereerde trajecten effectief de capaciteiten kunnen distilleren naar kleinere, open-source modellen.

Experimentele Resultaten

Experimenten werden uitgevoerd op de SolEval+ Benchmark, bestaande uit 81 bestanden en 1.188 uitvoerbare testgevallen.

Functionele Correctheid: SolAgent bereikte een Pass@1 rate van 64,39% (met Claude-Sonnet-4.5 als basis), wat aanzienlijk beter is dan vanilla LLM's (~25%), AI IDE's zoals GitHub Copilot, en bestaande agent frameworks (bijv. MetaGPT, Qwen-Agent). Het behield ook een compilatiepercentage van meer dan 90%, vergeleken met ~30-45% voor de baselines.
Beveiliging: Vergeleken met door mensen geschreven baselines, verminderde SolAgent beveiligingskwetsbaarheden met tot wel 39,77% (specifiek met GPT-5-Mini). De integratie van Slither-feedback bleek cruciaal, aangezien het verwijderen ervan de kwetsbaarheden aanzienlijk verhoogde in de "Min-Vuln" analyse.
Gas Efficiëntie: SolAgent behield een concurrerende gas efficiëntie, met trimmed mean ratio's dicht bij 1.0 tegenover baselines, wat aangeeft dat de focus op correctheid en beveiliging niet ten koste ging van excessief gasverbruik.
Effectiviteit van Distillatie: Het gedistilleerde Qwen3-8B model (SolAgent-tracker-v2) bereikte een Pass@1 van 1,31%, wat overeenkomt met de prestaties van het veel grotere Qwen3-32B model, wat de effectiviteit van het overdragen van agent-trajecten naar kleinere modellen aantoont.

Betekenis en Claims

Het paper claimt dat SolAgent een significante vooruitgang vertegenwoordigt in geautomatiseerde smart contract generatie door de kloof te overbruggen tussen de generatieve capaciteiten van LLM's en de strikte eisen van correctheid en beveiliging in blockchain ontwikkeling.

Betrouwbaarheid: Door de workflow van menselijke experts na te bootsen via iteratieve verfijning en toolgebruik, produceert SolAgent code die niet alleen syntactisch correct is, maar ook functioneel robuust en veilig.
Toegankelijkheid: De resultaten van de distillatie suggereren dat de hoogwaardige redeneerprocessen van complexe multi-agent systemen kunnen worden overgedragen naar kleinere, open-source modellen, waardoor veilige smart contract generatie toegankelijker en kosteneffectiever wordt voor kleinere organisaties en individuele ontwikkelaars.
Domeinspecialisatie: Het werk benadrukt de noodzaak van "domain mismatch" oplossingen, en stelt dat algemene purpose agents falen in high-stakes omgevingen zoals Solidity zonder gespecialiseerde verificatie-loops en context-bewuste tool-integratie.

De auteurs concluderen dat hoewel SolAgent een nieuwe state-of-the-art vestigt, toekomstig werk zich zal richten op het uitbreiden van het framework om complexe multi-contract systemen te ondersteunen en formele verificatietools te integreren voor nog sterkere beveiligingsgaranties.