Lessons Learned and Iterative Enhancements: A 2-Year Experience with an Established Responsible AI Framework
Gedurende een periode van twee jaar heeft UNC Health zijn Responsible AI-raamwerk verbeterd door de implementatie van een drieledig risicogebaseerd systeem dat de evaluatie-efficiëntie en doorlooptijden aanzienlijk heeft verbeterd terwijl een strikt toezicht werd gehandhaafd, wat resulteerde in de succesvolle beoordeling van 64 oplossingen en de instelling van robuuste mechanismen voor monitoring na implementatie met minimale ongunstige gebeurtenissen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je UNC Health voor als een enorm, druk ziekenhuisnetwerk dat plotseling overspoeld werd met verzoeken om nieuwe "slimme" computerprogramma's (Artificiële Intelligentie) te gebruiken om artsen en personeel te helpen. Twee jaar geleden bouwden ze een "poortwachter"-systeem om te controleren of deze programma's veilig en eerlijk waren. Maar naarmate de vloedgolf aan verzoeken groeide, verdronken de poortwachters.
Dit artikel is het verhaal van hoe ze hun poortwachterssysteem hebben geüpgraded om de drukte aan te kunnen zonder dat er gevaarlijke instrumenten tussendoor glippen. Dit is hoe ze het deden, eenvoudig uitgelegd:
1. Het "Verkeerslicht"-systeem (Risicocategorieën)
Voorheen moest elk verzoek, hoe klein of groot ook, door dezelfde lange, ingewikkelde inspectielijn. Het was alsof een persoon die een reep chocolade koopt, in dezelfde beveiligingsrij moest staan als iemand die een kernreactor importeert.
De oplossing: Ze creëerden een drielaags verkeerslichtsysteem:
- Groen licht (Niveau 0): Laag-risico tools. Dit zijn digitale rekenmachines of tools die niet naar patiëntgeheimen kijken. Ze krijgen een snelle "go" met bijna geen wachttijd.
- Geel licht (Niveau 1): Middelhoog-risico tools. Deze kijken misschien naar patiëntgegevens, maar geven alleen advies (zoals een suggestie), en een mens moet het werk altijd dubbelchecken. Deze krijgen een standaard inspectie.
- Rood licht (Niveau 2): Hoog-risico tools. Dit zijn de zware jongens—tools die bijvoorbeeld patiëntnotities kunnen samenvatten, diagnoses kunnen stellen of kunnen werken zonder dat er elke seconde een mens toezicht houdt. Deze krijgen de "full body scan" inspectie, waarbij veel experts en strenge tests betrokken zijn.
Het resultaat: Dit sorteersysteem was als het toevoegen van een snelle rij aan een snelweg. De tijd die nodig was om laag-risico tools te keuren, daalde van 20 weken naar slechts 9 weken.
2. Het "Leveranciersrapport" (De enquête)
Om de tools te controleren, stuurt het ziekenhuis een enquête met 25 vragen naar de bedrijven die de AI maken. Denk aan dit als een rapportcijfer dat vraagt: "Ben je eerlijk? Ben je transparant? Heb je dit goed getest?"
Het probleem: De bedrijven (leveranciers) waren vaak slecht in het invullen van het rapportcijfer.
- De "Geen risico"-leugen: Veel leveranciers schreven simpelweg "Geen risico" of "Er kijkt een mens naar", zonder uit te leggen hoe. Het is alsof een bestuurder zegt: "Ik ben veilig omdat ik een autogordel heb," maar vervolgens weigert te laten zien dat de auto ook remmen heeft.
- Het "Kopieer-plak"-probleem: Sommige antwoorden leken gekopieerd uit marketingbrochures in plaats van geschreven door de ingenieurs die daadwerkelijk de code hebben gebouwd.
- Het "Black Box"-mysterie: Veel tools zijn gebouwd bovenop enorme, vooraf gemaakte AI-hersenen (genaamd Large Language Models). De leveranciers hebben de hersenen niet zelf gebouwd; ze hebben er alleen een nieuw pakketje omheen gewikkeld. Ze konden vaak niet uitleggen hoe de hersenen getraind waren, wat het moeilijk maakte om op eerlijkheid te controleren.
Het resultaat: Het ziekenhuis heeft de enquêtevragen drie keer bijgewerkt om ze duidelijker te maken. Zelfs met betere vragen bleef de score voor "Eerlijkheid" consequent het laagst, wat betekent dat leveranciers nog steeds moeite hebben om te bewijzen dat hun tools iedereen gelijk behandelen.
3. Het "Veiligheidsnet" (Na implementatie)
Zelfs nadat een tool is goedgekeurd en in gebruik is genomen, weet het ziekenhuis dat er fouten kunnen optreden. Ze hadden een manier nodig om fouten te vangen nadat de tool in de praktijk is gebracht.
De oplossing: Ze hebben de AI-tools verbonden aan twee bestaande veiligheidsnetten:
- De "Oeps"-knop: Als een arts ziet dat de AI een vreemde fout maakt (zoals het schrijven van een nep medische notitie), kunnen ze dit direct melden in een systeem voor veiligheidsrapportage.
- De "Klachten"-lijn: Patiënten kunnen bellen of e-mailen als ze zich zorgen maken over hoe AI voor hun zorg wordt gebruikt.
Het resultaat: In de eerste zes maanden van dit nieuwe systeem hebben ze 13 veiligheidsincidenten gevangen. Opvallend genoeg waren bijna alle incidenten "hallucinaties" (de AI die feiten verzint) in medische notities. Geen van deze incidenten heeft tot ernstige schade geleid, en nul patiënten hebben geklaagd via de nieuwe telefoonlijn. Dit suggereert dat de veiligheidsnetten werken, maar het laat ook zien dat de meeste AI-fouten tot nu toe kleine foutjes waren in plaats van rampen.
4. De "Mens-in-de-lus" valkuil
Een belangrijke les die is geleerd, is dat je niet simpelweg kunt zeggen: "We hebben een mens in de lus, dus het is veilig."
- De analogie: Stel je een zelfrijdende auto voor die zegt: "Maak je geen zorgen, de bestuurder let op." Maar als de bestuurder moe of afgeleid is, of te veel vertrouwen heeft in de auto, zal hij misschien niet op de remmen trapt wanneer de auto faalt.
- De realiteit: Het ziekenhuis kwam erachter dat veel leveranciers "Mens-in-de-lus" gebruikten als een magische excuus om niet te hoeven bewijzen dat hun AI daadwerkelijk veilig was. Ze leerden dat mensen vaak AI-fouten niet opmerken omdat ze te veel vertrouwen hebben op de computer (een probleem dat "automatisering-bias" wordt genoemd).
5. De Toekomst: "Agentic" AI
Het artikel eindigt met een blik op de volgende generatie AI: Agentic Systemen.
- De analogie: Huidige AI is als een rekenmachine die je een antwoord geeft. "Agentic" AI is als een robot-butler die niet alleen een antwoord geeft, maar ook dingen gaat doen (zoals een afspraak boeken, voorraden bestellen of een dossier wijzigen) op basis van een doel.
- Het risico: Als een rekenmachine fout zit, krijg je één fout getal. Als een robot-butler een fout maakt, kan hij een keten van slechte beslissingen veroorzaken. Het ziekenhuis geeft toe dat hun huidige regels nog niet helemaal klaar zijn om deze "doeners" aan te kunnen en dat ze moeten evolueren.
De Kernboodschap
UNC Health is erin geslaagd hun AI-goedkeuringsproces te versnellen door tools te sorteren op risiconiveaus en hun vragenlijsten aan te scherpen. De grootste flessenhals blijft echter de leverancier zelf. Als de bedrijven die de AI maken niet eerlijk willen zijn over risico's of niet willen laten zien hoe ze hun tools hebben getest, kan de beste regelgeving van het ziekenhuis daar weinig tegen doen. Het doel is om een systeem te bouwen waarbij de "juiste" actie (veilige, eerlijke zorg) de makkelijkste weg is voor iedereen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.