AI Evaluation of Expert Testimony in Medical Malpractice
Diese Studie zeigt, dass KI-Tools schnell relevante medizinische Literatur abrufen und signifikante Abweichungen von der Evidenz in Sachverständigenaussagen in Arzthaftungsprozessen effektiv aufdecken können, wobei insbesondere hervorgehoben wird, dass Verteidigungssachverständige häufiger veröffentlichten Daten widersprechen als Klägerseite-Sachverständige.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen Gerichtssaal wie ein hochkarätiges Spiel von „Wahrheit oder Konsequenz“ vor, bei dem zwei Teams von Anwälten ihre eigenen persönlichen „Gurus“ mitbringen, um zu erklären, was bei einem medizinischen Unfall schiefgelaufen ist. Diese Gurus sind medizinische Experten, die eigentlich neutrale Wissenschaftler sein sollten, die dem Richter und der Jury genau das erklären, was in den medizinischen Lehrbüchern steht. Aber hier ist der Haken: Menschen sind kompliziert. Genau wie ein Sportfan vielleicht nur die Spielzüge in Erinnerung behält, die seinem Lieblingsteam zum Sieg verholfen haben, wählen auch diese Experten manchmal Fakten gezielt aus, um ihre Seite besser dastehen zu lassen. Das nennt man „Bias“ (Voreingenommenheit).
Um dies zu lösen, hat die Rechtswelt versucht, eine neue Art von Schiedsrichter einzusetzen: Künstliche Intelligenz (KI). Stellen Sie sich KI wie einen superschnellen Bibliothekar vor, der jede jemals geschriebene medizinische Studie gelesen hat. Im Gegensatz zu menschlichen Experten, die müde werden oder eine Agenda haben können, kann dieser digitale Bibliothekar Millionen von Seiten in Sekundenschnelle scannen, um den „Goldstandard“ der Evidenz zu finden. Die große Frage, die die Forscher beantworten wollten, war simpel: Kann diese superintelligente KI erkennen, wenn ein menschlicher Experte die Wahrheit verdreht? Und wenn die KI etwas anderes sagt als der menschliche Experte, wer hat dann eigentlich recht?
Die KI gegen den menschlichen Experten: Eine Detektivgeschichte
In dieser Studie beschloss ein Team von Forschern, diese Idee auf die Probe zu stellen. Sie agierten wie digitale Detektive und setzten zwei leistungsstarke KI-Tools ein – Claude und OpenEvidence –, um echte Fälle von medizinischer Fahrlässigkeit aus den USA, Großbritannien, Kanada und Australien zu überprüfen. Ihre Mission war es, zu sehen, ob sie schnell die „echten“ medizinischen Fakten finden konnten, die in der Fachliteratur verborgen liegen, und diese mit den Aussagen der menschlichen Experten zu vergleichen, die tatsächlich vor Gericht standen.
Die Forscher entwickelten eine spezielle „Lügendetektor“-Skala, die sie die L-Skala nannten, um zu bewerten, wie weit die Aussage eines Experten von der tatsächlichen wissenschaftlichen Evidenz abwich.
- Level 1 (L1): Der Experte ist perfekt auf Kurs und nutzt die stärkste verfügbare Evidenz.
- Level 2 (L2): Der Experte liegt größtenteils richtig, ist aber vielleicht etwas vage oder hat eine Zitierung übersehen.
- Level 3 (L3): Der Experte driftet ab und stellt Behauptungen auf, die durch die veröffentlichten Studien nicht wirklich gestützt werden.
- Level 4 (L4): Der Experte widerspricht der Evidenz komplett oder erfindet sogar Fakten.
Was sie fanden: Der Kampf des Verteidigungsteams
Als die KI-Tools ihre Analyse durchführten, waren die Ergebnisse frappierend. In der großen Mehrheit der Fälle konnte die KI die korrekte medizinische Antwort in Sekunden oder Minuten finden – Antworten, über die menschliche Richter jahrelang debattiert hatten. Aber die eigentliche Geschichte lag im Verhalten der Experten.
Die KI entdeckte ein massives Ungleichgewicht. Wenn sie die Experten untersuchte, die von der Verteidigung (den Ärzten oder Krankenhäusern, die verklagt wurden) engagiert worden waren, stellte die KI fest, dass diese oft weit daneben lagen. In der Phase-2-Stichprobe zeigten sage und schreibe 88 % der Verteidigungsexperten eine „deutliche Abweichung“ von der veröffentlichten Evidenz (Bewertung L3 oder L4). In der Phase-3-Stichprobe lag dieser Wert bei 73 %. Noch schlimmer noch: 55 % der Verteidigungsexperten in Phase 3 befanden sich in der Zone der „schweren Abweichung“ (L4), was bedeutete, dass ihre Aussagen eindeutig durch die Wissenschaft widerlegt wurden.
Im Gegensatz dazu lagen die Experten, die von den Klägern (den Patienten, die klagten) engagiert wurden, viel näher an der Wahrheit. Nur 40 % der Kläger-Experten in Phase 2 und 0 % in Phase 3 zeigten eine deutliche Abweichung. Der Unterschied war so gewaltig, dass die Forscher sicher waren, dass es sich nicht bloß um einen Zufall handelte; die Daten zeigten ein klares Muster, wonach die Experten der Verteidigung konsistent weiter von der wissenschaftlichen Evidenz entfernt waren als die Experten der Kläger.
Hat die KI recht behalten?
Sie fragen sich vielleicht: „Woher wissen wir, dass die KI nicht einfach Dinge erfunden hat?“ Die Forscher führten mehrere Überprüfungen durch. Sie verglichen die Antworten der KI untereinander und prüften, ob die KI ihre Meinung änderte, wenn sie mit unterschiedlichen Details zum Fall gefütet wurde. Die KI-Tools stimmten in über 90 % der Fälle überein. Darüber hinaus entsprach in 91 % der Fälle, in denen die KI eine klare wissenschaftliche Antwort fand, diese auch dem endgültigen Urteil des Gerichts. Dies deutet darauf hin, dass der „Super-Biblikar“-Ansatz der KI tatsächlich sehr gut darin war, die Wahrheit zu finden, selbst wenn menschliche Experten versuchten, sie zu verbergen.
Was das bedeutet (und was es nicht bedeutet)
Die Studie legt nahe, dass KI-Tools ein Wendepunkt für das Rechtssystem sein könnten. Stellen Sie sich eine Welt vor, in der Anwälte vor Beginn eines Prozesses KI nutzen können, um schnell zu prüfen, ob die Meinung eines Experten durch die Wissenschaft gestützt wird oder ob es sich nur um „Spin“ handelt. Dies könnte helfen, Fälle schneller zu klären, Geld zu sparen und sicherzustellen, dass der Fokus auf den tatsächlichen medizinischen Fakten liegt statt darauf, wer den überzeugenderen Experten engagieren kann.
Die Autoren sind jedoch vorsichtig damit, dies als Zauberstab darzustellen. Sie merken an, dass KI nicht perfekt ist; sie kann immer noch Fehler machen oder „halluzinieren“, wenn sie nicht von Menschen überwacht wird. Zudem untersuchte diese Studie spezifische Arten von Fällen, in denen die Fakten klar genug waren, damit die KI sie lesen konnte. Sie löste nicht jedes juristische Problem und sie bewies keineswegs, dass die KI menschliche Richter ersetzen sollte. Aber sie deutete auf etwas Mächtiges hin: In der chaotischen Welt der medizinischen Klagen könnte ein digitales Werkzeug vielleicht der ehrlichste Schiedsrichter sein, den wir haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.