Premarket transparency and postmarket observability in FDA-authorized AI-enabled medical devices: a source-linked cross-sectional study
Deze cross-sectionele studie naar door de FDA geautoriseerde AI-gestuurde medische hulpmiddelen onthult dat hoewel de volledigheid van de rapportage voorafgaand aan de markttoelating in de afgelopen jaren aanzienlijk is verbeterd, prospectieve bewijsvoering nog steeds zelden wordt gedocumenteerd en de observeerbaarheid na markttoelating ongelijkmatig is, wat de noodzaak onderstreept van transparantiemaatregelen om bewijsmonitoring te ondersteunen in plaats van rangschikkingen van hulpmiddelen of ononderbouwde veiligheidsconclusies.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van medische technologie voor als een enorme, drukke bibliotheek waar elke nieuwe uitvinding een speciale ID-kaart krijgt. Jarenlang zijn de meest opwindende nieuwe boeken in deze bibliotheek geschreven door "slimme" computers—kunstmatige intelligentie (AI) die artsen kan helpen bij het opsporen van ziekten, het lezen van röntgenfoto's of het monitoren van hartslagen. Maar hier is het lastige deel: alleen omdat een boek een glimmende nieuwe kaft heeft, betekent dit nog niet dat we precies weten wat er van binnen staat, of dat het verhaal standhoudt wanneer de lichten dimmen en de echte wereld rommelig wordt.
Om te begrijpen of deze AI-artsen klaar zijn voor de baan, moeten we naar twee verschillende dingen kijken. Ten eerste is er de "Premarket"-controle. Dit is alsof de auteur zijn huiswerk laat controleren door een strenge bibliothecaris (de FDA) voordat het boek in de schappen belandt. We willen weten: hebben ze het getest op verschillende soorten mensen? Hebben ze het in veel verschillende ziekenhuizen geprobeerd? Hebben ze de wiskunde achter hun antwoorden laten zien? Ten tweede is er de "Postmarket"-controle. Dit is wat er gebeurt nadat het boek is verkocht. Het is alsof we kijken naar een "Lezersfeedback"-doos in een bibliotheek. Als een boek een typefout heeft of een verwarrend hoofdstuk, schrijven mensen dan een klacht in? Als de bibliotheek niet genoeg feedbackformulieren heeft, of als de formulieren ontbreken, kunnen we echt niet zeggen of het boek veilig is voor iedereen. De grote vraag is: worden de nieuwe AI-medische apparaten beter in het laten zien van hun huiswerk, en kunnen we de feedbackformulieren daadwerkelijk zien zodra ze aan het werk gaan?
De Huiswerkcontrole: Tonen de auteurs hun werk?
In dit onderzoek besloot een onderzoeker genaamd Olga Lavinda de rol van een zeer grondige bibliothecaris op zich te nemen. Ze doorzocht de openbare lijst van AI-medische apparaten van de FDA en keek naar 1.491 verschillende beslissingen die werden genomen tussen 2011 en maart 2026. Ze controleerde niet of de apparaten perfect waren; ze controleerde alleen of de publieke samenvattingen (het "huiswerk" dat aan de bibliothecaris is overhandigd) daadwerkelijk de belangrijke zaken vermelden.
Ze maakte een "rapportcijferlijst" met zeven kernpunten die ze wilde zien:
- Hebben ze vermeld dat ze gebruik hebben gemaakt van echte patiëntgegevens?
- Hebben ze minstens één duidelijke score gegeven over hoe goed de AI functioneerde?
- Hebben ze beschreven wie de patiënten waren (zoals leeftijd of geslacht)?
- Hebben ze de AI in meer dan één ziekenhuis getest?
- Hebben ze het getest op gegevens die de AI nog nooit eerder had gezien?
- Hebben ze verschillende soorten scanners of machines gebruikt?
- Hebben ze laten zien hoe de AI presteerde bij specifieke groepen mensen?
De resultaten waren een mix van goed nieuws en "nog aan het werk"-nieuws. In de beginjaren (2011–2020) hadden slechts ongeveer 16,5% van deze apparaten samenvattingen die vijf of meer van deze zeven vakjes afvinken. Maar tegen de tijd dat we bij 2024–2026 aankwamen, sprong dat aantal naar 59,5%. Het is alsof de auteurs plotseling veel gedetailleerdere inleidingen voor hun verhalen zijn gaan schrijven. Ze waren veel eerder geneigd te zeggen: "We hebben dit in drie ziekenhuizen getest," of "We hebben ervoor gezorgd dat het werkt voor mensen van verschillende leeftijden."
Er was echter één ding dat niet veel verbeterde: de "Prospective of Reader Study". Dit is een chique manier om te zeggen: "Hebben we dit getest op echte patiënten terwijl ze binnenliepen, of hebben we een groep artsen naar de antwoorden van de AI laten kijken om te zien of ze het ermee eens waren?" Dit bleef zeldzaam en schommelde tussen de 16% en 18% over alle jaren heen. Het is alsof de auteurs nog steeds vooral onze oefentoetsen laten zien in plaats van het uiteindelijke examen dat in realtime wordt afgelegd.
De Feedbackdoos: Kunnen we zien wat er daarna gebeurt?
Zodra deze apparaten in het wild zijn uitgebracht, keek de onderzoeker naar de "Postmarket"-kant. Ze probeerde elk apparaat te koppelen aan zijn publieke feedbackgeschiedenis, specifer kijkend naar de MAUDE-database (een systeem waar artsen en ziekenhuizen problemen rapporteren).
Hier wordt het verhaal wat ingewikkelder. Van de 1.477 apparaten die zij aan een feedbackrecord kon koppelen, had slechts ongeveer 54% genoeg geschiedenis om zelfs een trend te kunnen berekenen. Denk aan het beoordelen van een nieuw restaurant. Als het restaurant vorige week is geopend, kun je nog niet echt zeggen of het eten goed of slecht is, omdat er nog niet genoeg mensen zijn geweest om recensies achter te laten. De studie vond dat voor de nieuwste apparaten (2024–2026) slechts ongeveer 45% genoeg publieke feedbackgeschiedenis had om geanalyseerd te worden. Voor de oudere apparaten (2011–2020) lag dat aantal hoger, namelijk op 71,7%.
De onderzoeker keek ook naar "recalls" (wanneer een apparaat van de plank wordt gehaald). Ze vond dat ongeveer 47,7% van de apparaten in de afgelopen twee jaar een recall-melding had binnen hun productcategorie. Ze was echter zeer voorzichtig om te benadrukken dat dit niet betekent dat dat specifieke apparaat is teruggeroepen. Het is als het zien van een "Waarschuwing: Controleer uw banden"-bericht voor een heel merk auto's; het betekent niet dat uw specifieke auto een lekke band heeft, maar alleen dat de categorie problemen heeft.
Het Grotere Plaatje
Dus, wat betekent dit allemaal? De studie suggereert dat het publieke "huiswerk" voor AI-medische apparaten veel completer wordt. Fabrikanten doen hun best om ons te vertellen waar ze hun hulpmiddelen hebben getest en op wie ze deze hebben getest. Echter, de "eindtoets" waarbij ze testen op echte patiënten op het moment dat zij binnenkomen, is nog steeds zeldzaam.
Bovendien, hoewel het huiswerk beter wordt, is de "feedbackdoos" voor de nieuwste apparaten vaak leeg, simpelweg omdat ze nog niet lang genoeg uit de handel zijn om een menigte aan recensenten te verzamelen. De onderzoeker benadrukt dat het feit dat een samenvatting gedetailleerd is, niet betekent dat het apparaat perfect is, en dat het feit dat we nog geen probleem zien in de publieke feedbackdoos, niet betekent dat er geen probleem is—het kan gewoon te vroeg zijn om het te zeggen.
Kortom, de bibliotheek wordt beter in het organiseren van de boeken en het schrijven van duidelijkere samenvattingen, maar we moeten nog even wachten om te zien of de verhalen standhouden wanneer iedereen ze in de echte wereld gaat lezen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.