VeriTrace: Human-Like Temporal Exploration Completes Agentic Action Space

Stel je voor dat je een robot probeert te leren om een complexe machine te bouwen, zoals een klokwerk speelgoed, met behulp van alleen een geschreven beschrijving. Je geeft de robot de instructies en de robot probeert het speelgoed te bouwen. Maar soms werkt het speelgoed niet. In de wereld van de informatica wordt dit "hardwareontwerp" genoemd, en de instructies worden geschreven in een speciale taal genaamd Verilog. Lange tijd zijn slimme computerprogramma's, bekend als Large Language Models (LLM's), erg goed geworden in het lezen van deze instructies en het schrijven van de code om de machine te bouwen. Echter, wanneer de machine kapot gaat, lopen deze programma's vaak vast. Ze kunnen zien dat het speelgoed kapot is, maar ze kunnen niet begrijpen waarom, omdat ze niet de vrijheid hebben om de bewegende onderdelen binnenin nauwkeurig te bekijken. Ze zijn als een monteur die een kloppende motor hoort, maar niet de motorkap mag openen of een moersleutel mag gebruiken om specifieke tandwielen te controleren. Dit artikel, geschreven door onderzoekers van de University of Maryland, pakt dit exacte probleem aan: hoe je deze AI-"monteurs" de vrijheid geeft om de binnenwerken van de machine te onderzoeken, precies zoals een menselijke expert dat zou doen.

De onderzoekers, Yu-Tung Liu en Cunxi Yu, merkten op dat hoewel AI de initiële code kan schrijven, het moeite heeft om het te repareren wanneer er iets misgaat. Eerdere pogingen om de AI te helpen bij het debuggen involveerden het geven van een "waveform" — een visuele kaart van hoe de signalen van de machine in de loop van de tijd veranderen. Maar deze oude systemen waren als het geven van een foto van een plaats delict aan een detective, terwijl diegene verboden wordt om te kiezen welke aanwijzingen hij onderzoekt of op welk tijdstip hij zich moet concentreren. De AI werd gedwongen om naar een smalle, vooraf geselecteerde weergave te kijken, wat vaak de werkelijke oorzaak van de fout miste. De auteurs noemen deze beperking een "onvolledige actieruimte" (incomplete action space). Zij stellen dat om de code echt te kunnen repareren, de AI in staat moet zijn om te kiezen welke signalen hij inspecteert, wanneer hij ernaar kijkt en hoe lang hij blijft onderzoeken, wat de manier van denken van een menselijke ingenieur nabootst.

Om dit op te lossen, creëerde het team een nieuw systeem genaamd VeriTrace. Denk aan VeriTrace als een team van gespecialiseerde AI-medewerkers. De ene medewerker schrijft de code, een andere controleert of het werkt, en een derde, de "Inspector", fungeert als een nieuwsgierige detective. In tegen tegenstelling tot eerdere systemen heeft deze Inspector totale vrijheid. Hij kan zeggen: "Ik denk dat het probleem in dit specifieke tandwiel zit, maar alleen tijdens de tweede seconde van de werking," en vervolgens inzoomen om precies dat te controleren. Als de eerste gok fout is, geeft de Inspector niet op; hij vormt een nieuwe theorie, kiest een ander tijdsvenster en kijkt opnieuw. Dit proces wordt "Agentic Temporal Exploration" genoemd. Het stelt de AI in staat om een hypothese op te stellen, deze te testen tegen het bewijs en het begrip stap voor stap te verfijnen, net zoals een mens dat zou doen.

De resultaten van deze nieuwe aanpak zijn zeer indrukwekkend. Bij tests op een standaardset van 156 programmeeruitdagingen genaamd VerilogEval-V2, behaalde VeriTrace een perfecte score van 100% Pass@1. Dit betekent dat het bij de allereerste poging van de uiteindelijke gecorrigeerde code, elke enkele opdracht correct uitvoerde. Dit is de eerste keer dat een open-source systeem dit niveau van perfectie op deze specifieke benchmark heeft bereikt. Zelfs in vergelijking met andere sterke systemen die gebruikmaken van dezelfde onderliggende AI-hersenen (Claude Sonnet 4.0), presteerde VeriTrace met 5,1% beter, wat bewijst dat het geven van de vrijheid aan de AI om te verkennen en te onderzoeken de sleutel is tot het dichten van de laatste kloof in nauwkeurigheid.

Interessant genoeg ontdekten de onderzoekers dat deze vrijheid de AI niet alleen slimmer maakte, maar ook efficiënter. Door alleen de specifieke stukjes informatie op te vragen die het op elk moment nodig had, in plaats van de volledige geschiedenis van de werking van de machine in zijn geheugen te dumpen, verminderde VeriTrace de hoeveelheid gegevens die het moest verwerken met 18%. Dit suggereert dat het laten stellen van de juiste vragen door de AI niet alleen beter is voor het vinden van het antwoord, maar ook veel computationele energie bespaart. Het artikel concludeert dat hoewel de AI-modellen zelf krachtig zijn, de echte doorbraak komt van hoe we hen hun hulpmiddelen laten gebruiken. Door hen de regie te geven om tijd en signalen vrij te verkennen, kunnen we hen transformeren van rigide code-generatoren naar echte probleemoplossers.