Separating AI-assisted authoring from governed execution through specification-driven composition A design framework and industrial experience report for explainable automation in regulated data transformation

In de wereld van gereguleerde sectoren, zoals de medische wereld en de financiële sector, stroomt data niet simpelweg van de ene naar de andere plek; het moet met absolute precisie worden getransformeerd. Wanneer een farmaceutisch bedrijf gegevens voorbereidt voor een beoordeling door de overheid, moet elk getal, elke datum en elke categorie aan strikte regels voldoen. Als een computerprogramma een fout maakt in dit proces, kunnen de gevolgen ernstig zijn, variërend van afgewezen aanvragen tot veiligheidsrisico's. Decennialang hebben ingenieurs deze programma's gebouwd door regel voor regel code te schrijven, waarbij elke stap wordt gecontroleerd, getest en goedgekeurd voordat deze ooit wordt uitgevoerd. Dit proces is traag maar betrouwbaar omdat mensen de controle houden over elke beslissing.

Vandaag de dag biedt kunstmatige intelligentie een nieuwe manier om deze programma's te schrijven. Deze systemen kunnen een beschrijving van een taak lezen en binnen enkele seconden de benodigde code genereren. Deze snelheid is uiterst nuttig voor het verkennen van ideeën of het opstellen van eerste versies van een programma. Echter, in omgevingen met hoge inzet mag snelheid niet ten koste gaan van veiligheid. Een computer mag niet zomaar het juiste antwoord raden en het direct uitvoeren. De kernuitdaging voor moderne ingenieurs is hoe ze de snelheid van kunstmatige intelligentie kunnen gebruiken zonder het vermogen te verliezen om het eindresultaat uit te leggen, te verifiëren en te controleren. Ze hebben een manier nodig om de machine het werk te laten ontwerpen, terwijl de mens in de loop blijft om te verifiëren dat het werk veilig, correct en volgens de regels is voordat het überhaupt mag worden uitgevoerd.

Dit is het probleem dat Rostislav Markov, een onderzoeker bij Amazon Web Services, aanpakt in zijn recente werk over gereguleerde datatransformatie. Hij stelt een nieuwe werkwijze voor die de handeling van het schrijven of ontwerpen van code scheidt van de handeling van het uitvoeren ervan. In plaats van een kunstmatig intelligentiemodel een programma te laten genereren en dan te hopen dat het werkt, dwingt het nieuwe framework de AI om eerst een gedetailleerd plan op te stellen. Dit plan, een specificatie genoemd, beschrijft precies wat er moet gebeuren, welke data het zal gebruiken en aan welke regels het moet voldoen. Het plan zelf is niet het programma; het is een reeks instructies voor een apart, strikt gecontroleerd systeem genaamd een 'composer'.

De composer fungeert als een poortwachter. Het bekijkt het door de AI gemaakte plan en controleert dit tegen een bibliotheek van vooraf goedgekeurde, geteste en geverifieerde bouwstenen. Deze blokken zijn specifieke functies die ingenieurs al hebben gevalideerd om correct te werken. De composer verzint geen nieuwe logica of raadt hoe een probleem moet worden opgelost. Het koppelt simpelweg de stappen in het plan aan de goedgekeurde blokken in de bibliotheek. Als het plan om een stap vraagt die geen overeenkomend goedkeurd blok heeft, of als de datatypen niet overeenkomen met de regels, stopt de composer en wijst het plan af. Het zal de code niet uitvoeren totdat elk onderdeel is geverifieerd tegen de bibliotheek en de regels. Dit zorgt ervoor dat zelfs als de kunstmatige intelligentie een fout maakt in haar concept, die fout wordt opgevangen voordat er ook maar enige echte data wordt aangeraakt.

Markov testte dit idee met een scenario uit de echte wereld waarbij klinische gegevens betrokken waren, waarbij patiëntinformatie moet worden georganiseerd in een standaardformaat voor indiening bij de overheid. In zijn experimenten vroeg hij een kunstmatige intelligentie om de code voor deze transformaties te schrijven onder verschillende omstandigheden. Wanneer de AI alleen een eenvoudige tekstuele beschrijving kreeg, produceerde het vaak code die er correct uitzag, maar niet paste in het grotere systeem of de verborgen regels overtrad. Wanneer de AI een gestructureerd plan kreeg met duidelijke regels en verwijzingen naar de goedgekeurde bouwstenen, waren de resultaten veel beter. De belangrijkste bevinding was niet dat de AI slimmer werd, maar dat het systeem eromheen robuuster werd. De artefacten — de plannen, de tests en de goedgekeurde blokken — deden het zware werk om veiligheid te garanderen, niet het AI-model zelf.

Het framework introduceert een concept genaamd "uitlegbaar door constructie" (explainable by construction). In veel discussies over kunstmatige intelligentie maken mensen zich zorgen over het begrijpen van de reden waarom een model een specifieke beslissing heeft genomen, waarbij ze vaak proberen in de "black box" van het algoritme te kijken. Deze benadering kiest een ander pad. Het stelt dat je voor gereguleerd werk niet hoeft te begrijpen wat de innerlijke gedachten van de AI zijn. In plaats daarvan moet je de technische beslissingen begrijpen die hebben geleid tot het uiteindelijke resultaat. Omdat het systeem alleen toestaat dat goedgekeurde blokken worden gebruikt en een volledig verslag bijhoudt van elke stap die is genomen om het uiteindelijke programma op te bouwen, kan iedereen naar het resultaat kijken en het terugleiden naar het specifieke plan, de specifieke goedgekeurde blokken en de specifieke regels die zijn gevolgd. De uitleg is geen gok over wat de AI dacht; het is een feitelijk verslag van wat is goedgekeurd en hoe het is samengesteld.

Om te bewijzen dat dit systeem werkt, bouwde de onderzoeker een kleine, werkende versie van het framework. Hij liet zien dat als je het systeem twee keer hetzelfde plan en dezelfde bibliotheek met blokken geeft, het elke keer exact hetzelfde resultaat produceert. Deze consistentie is essentieel in gereguleerde omgevingen waar reproduceerbaarheid vereist is. Hij demonstreerde ook dat wanneer er een nieuwe versie van een bouwblok aan de bibliotheek wordt toegevoegd, het systeem dit niet per ongeluk gebruikt voor een oud plan; het houdt zich aan de specifieke versie die is goedgekeurd op het moment dat het plan is gemaakt. Dit voorkomt dat wijzigingen op de achtergrond onverwacht de uitkomst van een proces veranderen. Het systeem genereert een gedetailleerd logboek, of 'trace', voor elk programma dat het bouwt. Dit logboek koppelt het uiteindelijke programma terug aan het oorspronkelijke plan, de specifieke versie van elk bouwblok dat is gebruikt en de validatiecontroles die zijn voltooid.

Het onderzoek suggereert dat deze scheiding van taken essentieel is voor de toekomst van kunstmatige intelligentie in gereguleerde velden. Het stelt organisaties in staat om de snelheid van AI te gebruiken om specificaties te ontwerpen en code te schrijven, maar houdt de autoriteit om uit te voeren in handen van een gecontroleerd, deterministisch systeem. De AI wordt een krachtige assistent die mensen helpt betere plannen te schrijven, maar het is niet de autoriteit die bepaalt wat er draait. De uiteindelijke beslissing om een programma uit te voeren rust op het bestaan van een geldig plan, de aanwezigheid van goedgekeurde componenten en de succesvolle voltooiing van een verificatieproces. Deze aanpak elimineert de noodzaak van menselijk toezicht niet; het geeft mensen juist betere instrumenten om dat toezicht uit te oefenen. Door de focus te leggen op de artefacten — de plannen, de regels en de goedgekeurde blokken — creëert het framework een grens waar kunstmatige intelligentie nuttig kan zijn zonder een risico te worden.

Uiteindelijk laat het werk zien dat de weg naar veilige automatisering niet ligt in het begrijpelijker maken van de kunstmatige intelligentie, maar in het transparanter maken van het proces van het bouwen van de automatisering. Wanneer de stappen duidelijk zijn, de regels strikt zijn en de componenten geverifieerd zijn, is het resultaat een systeem dat vertrouwd kan worden. De ervaring van de onderzoeker laat zien dat hoewel kunstmatige intelligentie plausibele code kan genereren, het de omliggende structuur van specificaties, tests en goedgekeurde bibliotheken is die ervoor zorgt dat de code daadwerkelijk correct en veilig is voor gebruik. Deze verschuiving van de focus, van de intelligentie van het model naar het bestuur van het proces, biedt een praktische weg voorwaarts voor industrieën die het zich niet kunnen veroorloven om fout te zitten.