Closing the Verification Loop in Generative Development: An External Transactional State Machine and a Field Evaluation of Its Economics and Convergence
Dit artikel toont aan dat het implementeren van een externe transactionele toestandsmachine om reproduceerbare, dubbel geverifieerde gereedheidscriteria af te dwingen, generatieve ontwikkeling transformeert van een open-loop proces op basis van meningen naar een closed-loop systeem dat functionele equivalentie bereikt over diverse modellen heen, terwijl het uiteindelijk de totale kosten verlaagt en het verwijderen van de mens-in-de-lus mogelijk maakt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne landschap van softwarecreatie is een nieuw soort werker opgekomen: de kunstmatige intelligentie die computercode schrijft. Deze systemen kunnen de beschrijving van een menselijke taak overnemen en verrassend snel werkende programma's produceren. Er blijft echter een fundamenteel probleem bestaan: hoewel de machine de code kan genereren, kan zij niet betrouwbaar bepalen wanneer de klus echt geklaard is. Het huidige proces is vaak een kwestie van "schrijven en geloven", waarbij een mens of de machine zelf gokt of het resultaat werkt, wat leidt tot verborgen fouten en dure correcties achteraf. Deze onzekerheid creëert een kloof tussen wat een klant wil en wat de software daadwerkelijk doet. Om dit op te lossen, onderzoeken onderzoekers of een rigide, extern systeem kan fungeren als een onpartijdige rechter, waardoor een subjectieve mening over "klaar" wordt omgezet in een verifieerbaar feit.
Onafhankelijk geleerde Anton N. Smolin zette zich in om dit idee te testen via een grootschalig veldexperiment. Zij bouwden een gespecialiseerd systeem, dat zij een externe transactionele toestandsmachine noemen, om als een permanente, onveranderlijke scheidsrechter voor softwareontwikkeling te fungaien. In tegenstelling tot standaardtools die alleen binnen een gesprek leven en verdwijnen wanneer de chat eindigt, bezit deze machine de eisen en de regels van het spel voor altijd. De machine beheert een strikte lijst met controles waaraan de software moet voldoen, voert elke test twee keer uit in een schone omgeving om te garanderen dat de resultaten echt zijn en niet slechts gelukkige toevalligheden, en vaardigt een ondertekend oordeel uit van "klaar" of "niet klaar". De machine raadt niet; zij meet. Als de software faalt, geeft de machine een specifieke, benoemde reden voor de fout, en het proces wordt herhaald totdat aan de regels is voldaan.
Om te zien of deze aanpak daadwerkelijk werkt, ontwierpen de onderzoekers een rigoureuze vergelijking bestaande uit vijfentwintig verschillende softwaretaken. Deze taken varieerden van beeldverwerkingstools tot netwerkrelais en bestandsgeneratoren, verspreid over vijf verschillende programmeertalen. Zij voerden elke taak drie keer uit met verschillende methoden. Eerst gebruikten zij een krachtig, duur AI-model dat werd begeleid door hun nieuwe machine. Ten tweede gebruikten zij een goedkoper, sneller AI-model dat eveneins door de machine werd begeleid. Ten derde lieten zij het krachtige AI-model alleen werken, zonder de machine, wat de standaard "schrijven en geloven"-aanpak nabootst. Cruciaal was dat zij een vierde, onafhankelijke rechter inzetten om de resultaten van de solo-poging te vergelijken met de strikte, byte-voor-byte verwachtingen van de machine. Deze rechter had niet het recht om de code aan te passen of excuses te maken; hij controleerde simpelweg of de output exact overeenkwam met de regels.
De resultaten toonden een scherp verschil tussen de twee benaderingen. Wanneer de AI alleen werkte, produceerde zij code waarbij de functionele kern bijna altijd byte-voor-byte correct was, maar de output in 78% van de gedetailleerde controle-rijen afweek van de strikte referentie. Deze afwijkingen waren geen functionele defecten, maar eerder verschillen in protocol, diagnostiek en formattering. De machine zorgde er echter voor dat zowel het dure als het goedkope AI-model, begeleid door het systeem, geverifieerde resultaten produceerde voor elke taak die zij uitvoerden. De machine leverde succesvol geverifieerde software voor alle vijfentwintig taken tijdens de door het systeem begeleide runs, ongeacht welk AI-model de tekst schreef. De onderzoekers ontdekten dat de "fouten" in de solo-pogingen zelden gingen over het wel of niet werken van de kernfunctie van de software; in plaats daarvan gingen ze over kleine details zoals foutmeldingen, exitcodes en formattering. Dit zijn precies de details die een contract zou moeten definiëren, maar die een mens of een solo AI vaak anders interpreteert.
Misschien wel de meest verrassende bevinding betrof de kosten en efficiëntie van het proces. De onderzoekers merkten aanvankelijk op dat het primaire voordeel van de gesloten lus "reconcilierbaarheid (verzoenbaarheid), niet token-economie" was, aangezien het solo-pad qua ruw tokengebruik goedkoper leek. Echter, toen zij de volledige kosten in rekening brachten — inclusief de tijd die een mens zou moeten besteden aan het herstellen van de fouten van de solo AI — bleek het door de machine begeleide pad de goedkopere optie. De solo AI, hoewel sneller op het moment van schrijven, genereerde zoveel kleine fouten dat een mens uren moest besteden aan het herstellen ervan, een kostenpost die het machinesysteem volledig elimineerde. Bovendien ontdekten de onderzoekers dat het dure, krachtige AI-model niet noodzakelijk was voor hoogwaardige resultaten. Het goedkopere AI-model produceerde, wanneer het door de machine werd begeleid, exact dezelfde perfecte output als het dure model, waarbij het slechts iets langer duurde maar tegen een fractie van de prijs.
De studie toonde ook aan dat de machine met minimale menselijke tussenkomst kon opereren voor het overgrote deel van de taken. Wanneer de AI op een punt kwam waar de instructies onduidelijk waren, paste de machine een vooraf opgenomen standaardbeslissing toe en logde deze, waardoor het proces kon doorgaan. In het initiële experiment werden zeventendertig dergelijke splitsingen gesloten door de standaardinstellingen van de machine zonder een live menselijk antwoord. In een latere replicatiegolf werd de tussenkomst van de operator slechts in 7 van de 40 cellen getriggerd, terwijl de machine de rest autonoom oploste. De onderzoekers concludeerden dat de waarde van dit systeem niet alleen ligt in het besparen van geld, maar in het creëren van "reconcilierbaarheid". Het verandert het vage concept van een afgewerkt product in een ondertekend, reproduceerbaar feit dat iedereen op elk gewenst moment kan verifiëren. Door de regels buiten het gesprek te plaatsen en ze permanent te maken, neemt het systeem de ambiguïteit weg die de generatieve ontwikkeling gewoonlijk teistert, waarmee bewezen wordt dat een machine inderdaad de lus van verificatie kan sluiten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.