Code Agents under Split Specifications: An Empirical Study of Silent Failure in System Integration

In de wereld van software moeten verschillende computersystemen vaak met elkaar communiceren om werk te verrichten. Het ene systeem kan een datum sturen in de vorm van "dag eerst", terwijl het andere systeem "maand eerst" verwacht. Het ene systeem telt misschien geld in centen, terwijl het andere in dollars telt. Deze kleine verschillen zijn meestal geen mysteries; het zijn feiten die ergens door iemand zijn vastgelegd. De uitdaging ontstaat wanneer een nieuw soort werker, een kunstmatige intelligentie-agent, de opdracht krijgt om de brug tussen deze twee systemen te bouwen. Deze agenten zijn krachtige hulpmiddelen die computercode kunnen schrijven om verschillende programma's met elkaar te verbinden. Ze werken echter volgens een eenvoudige regel: ze kunnen alleen de informatie gebruiken die in hun instructies is gegeven. Als de instructies niet vermelden of een datum "dag eerst" of "maand eerst" is, kan de agent het antwoord niet weten. De agent moet een keuze maken.

Het gevaar in deze situatie is niet dat de agent vastloopt of stopt met werken. Het gevaar is dat de agent perfect blijft werken, maar het antwoord fout heeft. Dit wordt een stille fout (silent failure) genoemd. De code draait zonder fouten, doorstaat de basis-tests en ziet er correct uit voor een menselijke controleur, maar stuurt toch de verkeerde gegevens naar het volgende systeem. Dit is een kritiek probleem voor bedrijven en organisaties, omdat de fout niet onmiddellijk zichtbaar is. In plaats daarvan stromen de verkeerde cijfers stroomafwaarts, waardoor records, financiële rapporten en beslissingen worden aangetast lang voordat iemand beseft dat er iets mis is. De vraag die onderzoekers stelden was simpel: wanneer deze intelligente agenten geconfronteerd worden met een ontbrekend feit dat ze niet kunnen raden, stoppen ze dan en vragen ze om hulp, of gokken ze zelfverzekerd toch maar en breken ze het systeem?

Een onderzoeker zette zich in om precies te meten hoe vaak dit gebeurt. Hij creëerde een reeks realistische taken waarbij een kunstmatige intelligentie-agent code moest schrijven om twee systemen met elkaar te verbinden. In sommige van deze taken kreeg de agent het ontbrekende feit wel gekregen, zoals expliciet verteld worden dat datums "dag eerst" zijn. In andere taken was het feit verborgen, en kon de agent ofwel een vraag stellen om het te achterhalen, of werd de agent gedwongen de code te schrijven zonder te vragen. Dit werd getest met acht verschillende kunstmatige intelligentie-modellen, variërend van kleinere, open-source programma's tot de meest geavanceerde systemen van vandaag. De onderzoeker keek niet alleen of de code draaide; hij controleerde of de code het juiste antwoord produceerde voor elke mogbare scenario, inclusief de lastige gevallen die afhangen van dat ontbrekende feit.

De resultaten onthulden een harde realiteit over hoe deze systemen werken. Wanneer de agenten het ontbrekende feit kregen, waren ze zeer succesvol en bouwden ze ongeveer achttachtigentachtig procent van de tijd correcte verbindingen. Dit bewees dat de agenten in staat waren om de klus te klaren als ze over de nodige informatie beschikten. Echter, wanneer het feit ontbrak en de agenten verboden was om een vraag te stellen, veranderde de situatie drities. De agenten stopten niet; ze zeiden niet dat ze in de war waren. In plaats daarvan kozen ze een conventie en schreven ze de code. In zestig twee procent van deze gevallen was de geschreven code een stille fout. De code draaide vlekkeloos, zag er perfect uit, maar gaf de verkeerde waarde terug. Dit gebeurde ongeacht hoe geavanceerd het model was. Zelfs de krachtigste systemen, die het probleem perfect konden oplossen wanneer ze het feit wel kregen, faalden bijna de helft van de tijd wanneer ze niet mochten vragen.

De studie onderzocht ook of het simpelweg toestaan dat de agent een vraag stelt het probleem zou oplossen. De onderzoeker kwam tot de conclusie dat het antwoord volledig afhangt van wie er luistert. Bij de meest geavanceerde modellen, wanneer zij de ruimte kregen om een vraag te stellen, vroegen ze dit bij bijna elke uitvoering. Ze gokten niet; ze zochten de waarheid. Echter, als er niemand was om hen te antwoorden, liep de integratie simpelweg vast. Het werk kwam stil te liggen en er werd geen code geproduceerd. Dit is een ander soort falen, maar het is nog steeds een falen. De onderzoeker vond dat voor het functioneren van het systeem de pijplijn — het proces dat de agent aanstuurt — zo ontworpen moet zijn dat de vraag van de agent wordt doorgestuurd naar een mens of een partnersysteem dat het antwoord kan geven. Het louter open hebben van een kanaal is niet genoeg als er niemand beschikbaar is om het te beantwoorden.

De onderzoeker testte ook een veiligheidsregel waarbij de agent de opdracht kreeg om te weigeren de code te schrijven als hij het ontbrekende feit niet wist. Deze regel elimineerde stille fouten succesvol en bracht het foutpercentage naar bijna nul. Dit had echter een hoge prijs. De agent weigerde de code te schrijven, zelfs wanneer het antwoord uit de beschikbare informatie afgeleid had kunnen worden. Dit zorgde ervoor dat het systeem stopte met taken die het gemakkelijk had kunnen oplossen, waardoor het succespercentage daalde van eenentachtig procent naar achttien procent. De studie concludeerde dat de oplossing niet ligt in het slimmer maken van de agenten of het dwingen om voorzichtiger te zijn. De oplossing ligt in het ontwerp van het proces zelf. Het systeem moet zo gebouwd zijn dat het detecteert wanneer een feit ontbreekt over een organisatorische grens en dat de vraag doorstuurt naar een persoon of een systeem dat het antwoord kan geven. Zonder deze specifieke bedrading zal zelfs de meest capabele kunstmatige intelligentie zelfverzekerd een brug bouwen die naar de verkeerde plek leidt.