A live agent benchmark of independent action authorization for healthcare AI agents

In de opkomende wereld van kunstmatige intelligentie vindt een belangrijke verschuiving plaats. Computers beantwoorden niet langer alleen vragen; ze beginnen te handelen. Ze kunnen medische dossiers opvragen, complexe werksequenties plannen en digitale hulpmiddelen gebruiken om taken uit te voeren. Deze nieuwe capaciteit heeft een race ontketend om benchmarks te bouwen, gestandaardiseerde tests die meten hoe goed deze digitale agenten presteren. Er blijft echter een kritieke kloof bestaan in de manier waarop we ze evalueren. De meeste huidige tests richten zich volledig op bekwaamheid: kan de agent het juiste antwoord vinden of de taak voltooien? Ze meten zellement zelden autorisatie: heeft de agent de toestemming om die actie te ondernemen, en onder welke voorwaarden? In de gezondheidszorg, waar een fout ernstige gevolgen kan hebben, is weten wat een agent kan doen niet genoeg; we moeten ook weten wat hij mag doen. De vraag is of het toevoegen van een externe veiligheidslaag, een digitale poortwachter die elke beweging controleert voordat deze plaatsvindt, het systeem daadwerkelijk veiliger maakt, of dat het simpelweg de boel vertraagt en nieuwe problemen creëert.

Een recente studie zette zich in om dit te beantwoorden door een live experiment uit te voeren met kunstmatige intelligentie-agenten in een gesimuleerde zorgomgeving. De onderzoekers creëerden een gecontroleerd scenario waarin ze alles constant hielden: de specifieke taken, het AI-model, de instructies die aan de computer werden gegeven en de beschikbare digitale hulpmiddelen. Het enige wat ze veranderden, was of er een onafhankelijke veiligheidslaag aanwezig was om de acties van de agent goed te keuren of te blokkeren. Ze voerden honderden van deze gesimuleerde coördinatie-episoden voor de zorg uit, waarbij ze een situatie creëerden waarin de veiligheidslaag beslissingen moest nemen op basis van imperfecte informatie, net zoals een menselijke supervisor dat zou doen. Het doel was om te zien of deze extra laag van toezicht daadwerkelijk gevaarlijke fouten voorkwam of dat het nieuwe fouten en vertragingen introduceerde.

Het experiment omvatte vier verschillende opstellingen. Eén groep agenten volgde strikte, onveranderlijke regels en gedroeg zich als een eenvoudige rekenmachine. Een andere groep was een ongecontroleerde agent, vrij om elk hulpmiddel te gebruiken dat hij wilde zonder externe controles. De derde groep gebruikte dezelfde ongecontroleerde agent, maar plaatste deze achter een "veiligheidspoort", een systeem dat elke voorgestelde actie controleerde aan de hand van een reeks regels voordat deze kon voortgaan. De vierde groep voegde een dynamische controller toe bovenop die poort, die het vrijheidsniveau van de agent kon aanpassen op basis van diens recente prestaties. De onderzoekers voerden 576 afzonderlijke episoden uit binnen deze opstellingen, waarbij zij ervoor zorgden dat elk scenario onder identieke omstandigheden werd getest om een eerlijke vergelijking te maken.

De resultaten boden een verrassend en genuanceerd beeld. De primaire maatstaf was het percentage onveilige acties, gedefinieerd als elke stap die de agent ondernam die de veiligheidsrichtlijnen overtrad, zoals het proberen te wijzigen van een medicatie die expliciet verboden was of het contact opnemen met een patiënt zonder de juiste autorisatie. In de groep met het volledige veiligheidssysteem in gebruik, kwamen onveilige acties voor in 0,7 procent van de episoden. In de groep zonder enige veiligheidscontroles was het percentage iets lager, namelijk 0,4 procent. Het verschil was zo klein dat het gemakkelijk aan toeval toe te schrijven kon zijn, wat betekent dat de veiligheidslaag het aantal fouten niet statistisch gezien verminderde. Sterker nog, de ongecontroleerde agent had de specifieke verboden actie die in de testscenario's verborgen zat zelfs nooit geprobeerd, wat suggereert dat de AI al zeer voorzichtig handelde op zichzelf.

Hoewel de veiligheidslaag de veiligheid niet verbeterde, bracht het wel duidelijke kosten met zich mee. De agenten die onder het volledige governance-systeem werkten, deden er langer over om hun taken te voltooien en vereisten meer menselijke inspanning om te beheren. Hun succespercentage bij routinetaken daalde aanzienlijk, en ze waren minder accuraat bij het beslissen wanneer een casus naar een menselijke arts geëscaleerd moest worden. Het systeem werd ook duurder in gebruik. De onderzoekers stelden vast dat de veiligheidspoort en de dynamische controller meetbare vertragingen en werklast toevoegden zonder een meetbaar veiligheidsvoordeel te bieden in deze specifieke context. Dit suggereert dat voor een AI-model dat al goed is afgestemd en onwaarschijnlijk gevaarlijke fouten maakt, het toevoegen van een externe laag voor toestemmingcontrole een onnodige last kan zijn die de prestaties vertraagt zonder nieuwe fouten te onderscheppen.

De studie benadrukte ook de beperkingen van dergelijke tests. De episoden waren synthetisch, wat betekende dat het computergegenereerde scenario's waren in plaats van echte patiëntendossiers, en de veiligheidsregels waren gebaseerd op een vaste set richtlijnen in plaats van het complexe oordeel van een menselijke arts. De onderzoekers merkten op dat het geteste AI-model toevallig een zeer laag basispercentage aan fouten had, waardoor er weinig ruimte was voor een veiligheidslaag om verbetering aan te tonen. Zij waarschuwden dat dit resultaat mogelijk niet van toepassing is op andere AI-modellen die gevoeliger zijn voor fouten of op andere soorten zorgtaken. De bevindingen bewijzen niet dat veiligheidslagen nutteloos zijn, maar ze laten wel zien dat ze geen gratis of automatische oplossing zijn. Voordat een organisatie besluit een complex veiligheidssysteem aan een AI-agent toe te voegen, zouden ze eerst moeten meten hoe vaak die specifieke agent op zichzelf fouten maakt. Als de agent al veilig is, kan de veiligheidslaag simpelweg een kostenpost zijn die tijd en moeite kost zonder het resultaat te veranderen.

Uiteindelijk biedt dit onderzoek een zeldzame, gecontroleerde blik op de afwegingen van AI-autonomie in de gezondheidszorg. Het daagt de aanname uit dat meer toezicht altijd gelijk staat aan meer veiligheid. In plaats daarvan suggereert het dat de waarde van een externe veiligheidspoort volledig afhangt van het gedrag van de agent die zij bewaakt. Als de agent al voorzichtig is, kan de poort een knelpunt zijn. Als de agent gevoelig is voor fouten, kan de poort essentieel zijn. De studie concludeert dat organisaties er niet vanuit moeten gaan dat een veiligheidslaag een kostenloze verzekeringspolis is; ze moeten hun specifieke agenten testen om te zien of de laag daadwerkelijk fouten vangt of dat het slechts een systeem vertraagt dat al goed functioneerde.