AI Evaluation of Expert Testimony in Medical Malpractice
Deze studie toont aan dat AI-tools snel relevante medische literatuur kunnen opvragen en effectief significante afwijkingen van bewijsmateriaal in deskundigengetuigenissen binnen medische aansprakelijkheidszaken kunnen detecteren, waarbij specifiek wordt benadrukt dat verdedigingsdeskundigen vaker de gepubliceerde gegevens tegenspreken dan eisersdeskundigen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een rechtszaal voor als een spannend spel van "Truth or Consequences", waarbij twee teams van advocaten hun eigen persoonlijke "guru's" meebrengen om uit te leggen wat er misging bij een medisch incident. Deze guru's zijn medische experts, die bedoeld zijn als neutrale wetenschappers die de rechter en de jury precies vertellen wat er in de medische handboeken staat. Maar hier komt de crux: mensen zijn lastig. Net zoals een sportfan zich alleen de acties kan herinneren die hielpen om zijn favoriete team te laten winnen, kiezen deze experts soms feiten uit om hun kant er beter uit te laten zien. Dit wordt "bias" genoemd.
Om dit op te lossen, heeft de juridische wereld geprobeerd een nieuw soort scheidsrechter te gebruiken: Kunstmatige Intelligentie (AI). Denk aan AI als een supersnelle bibliothecaris die elke medische studie ooit geschreven heeft gelezen. In tegen tegenstelling tot menselijke experts, die moe kunnen worden of een agenda kunnen hebben, kan deze digitale bibliothecaris in enkele seconden miljoenen pagina's scannen om de "gouden standaard" van bewijsmateriaal te vinden. De grote vraag die onderzoekers wilden beantwoorden was simpel: Kan deze superintelligente AI doorhebben wanneer een menselijke expert de waarheid verdraait? En als de AI iets anders zegt dan de menselijke expert, wie heeft er dan eigenlijk gelijk?
De AI versus de Menselijke Expert: Een Detectiveroman
In dit onderzoek besloot een team van onderzoekers dit idee op de proef te stellen. Ze traden op als digitale detectives en gebruikten twee krachtige AI-tools — Claude en OpenEvidence — om echte zaken van medische nalatigheid uit de Verenigde Staten, het VK, Canada en Australië te beoordelen. Hun missie was om te zien of ze snel de "echte" medische feiten konden vinden die verborgen liggen in de literatuur en deze konden vergelijken met wat de menselijke experts daadwerkelijk in de rechtszaal zeiden.
De onderzoekers bouwden een speciale "leugendetector"-schaal, die ze de L-schaal noemden, om te beoordelen hoe ver het getuigenis van een expert afweek van het werkelijke wetenschappelijke bewijs.
- Niveau 1 (L1): De expert zit perfect op koers en gebruikt het sterkst beschikbare bewijs.
- Niveau 2 (L2): De expert heeft het grotendeels bij het rechte eind, maar is misschien een beetje vaag of mist een citatie.
- Niveau 3 (L3): De expert wijkt af, door claims te maken die de gepubliceerde studies niet echt ondersteunen.
- Niveau 4 (L4): De expert spreekt de bewijzen volledig tegen, of verzint zelfs feiten.
Wat ze vonden: De strijd van het verdedigingsteam
Toen de AI-tools hun analyse uitvoerden, waren de resultaten opmerkelijk. In de overgrote meerderheid van de gevallen kon de AI het juiste medische antwoord binnen seconden of minuten vinden — antwoorden waar menselijke rechters jarenlang over hadden gedebatteerd. Maar het echte verhaal zat in het gedrag van de experts.
De AI ontdekte een enorme onbalans. Wanneer er werd gekeken naar de experts die door de verdediging (de artsen of ziekenhuizen die worden aangeklaagd) waren ingehuurd, ontdekte de AI dat zij vaak ver naast de werkelijkheid zaten. In de Fase 2-steekproef vertoonde een enorme 88% van de verdedigingsdeskundigen een "duidelijke afwijking" van het gepubliceerde bewijs (een score van L3 of L4). In de Fase 3-steekproef was dat percentage 73%. Erger nog, 55% van de verdedigingsdeskundigen in Fase 3 bevond zich in de zone van "ernstige afwijking" (L4), wat betekende dat hun getuigenis onmiskenbaar werd tegengesproken door de wetenschap.
In contrast hiermee waren de experts die door de eisers (de patiënten die de rechtszaak aanspannen) waren ingehuurd, veel dichter bij de waarheid. Slechts 40% van de eisers in Fase 2 en 0% in Fase 3 vertoonden een duidelijke afwijking. Het verschil was zo groot dat de onderzoekers er zeker van waren dat het geen toeval was; de gegevens toonden een duidelijk patief waarbij de verdedigingsdeskundigen consequent verder van het wetenschappelijke bewijs af stonden dan de experts van de eisers.
Had de AI het goed?
Je vraagt je misschien af: "Hoe weten we dat de AI niet gewoon dingen heeft verzonnen?" De onderzoekers voerden verschillende controles uit. Ze vergeleken de antwoorden van de AI met elkaar en controleerden of de AI van mening veranderde wanneer het met andere details over de zaak werd gevoed. De AI-tools waren in meer dan 90% van de gevallen het met elkaar eens. Bovendien kwam in 91% van de gevallen waarin de AI een duidelijk wetenschappelijk antwoord vond, dat antwoord overeen met de uiteindelijke uitspraak van de rechtbank. Dit suggereert dat de "super-bibliothecaris"-aanpak van de AI daadwerkelijk erg goed was in het vinden van de waarheid, zelfs wanneer menselijke experts probeerden de waarheid te verbergen.
Wat dit betekent (en wat het niet betekent)
De studie suggereubereert dat AI-tools een gamechanger kunnen zijn voor het rechtssysteem. Stel je een wereld voor waarin advocaten, nog voordat een proces begint, AI kunnen gebruiken om snel te controleren of de mening van een expert wordt ondersteund door de wetenschap of dat het slechts "spin" is. Dit zou kunnen helpen om zaken sneller te schikken, geld te besparen en ervoor te zorgen dat de focus blijft liggen op de feitelijke medische feiten in plaats van op wie de meest overtuigende expert kan inhuren.
De auteurs benadrukken echter dat dit geen toverstaf is. Ze merken op dat AI niet perfect is; het kan nog steeds fouten maken of "hallucineren" als er geen mens naar kijkt. Ook keek deze studie naar specifieke soorten zaken waarbij de feiten duidelijk genoeg waren voor de AI om te lezen. Het lost niet alle juridische problemen op en het heeft zeker niet bewezen dat AI menselijke rechters moet vervangen. Maar het suggereerde iets krachtigs: in de chaotische wereld van medische rechtszaken zou een digitaal hulpmiddel wel eens de meest eerlijke scheidsrechter kunnen zijn die we hebben.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.