The fundamental problem of risk prediction for individuals: health AI, uncertainty, and personalized medicine
Diese Studie zeigt auf, dass individuelle Risikoprädiktionen im klinischen Umfeld oft weitaus unsicherer sind als angenommen, da Modell- und Anwendbarkeitunsicherheiten häufig die Schätzunsicherheit dominieren, selbst bei leistungsstarken Algorithmen, was erforderlich macht, dass prädiktive Werkzeuge als unterstützende Hilfsmittel für die Interaktion zwischen Kliniker und Patient und nicht als definitive Entscheidungsträger dienen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen das Wetter für eine bestimmte Person vorherzusagen, die auf einem Feld steht. Sie haben ein Supercomputer-Modell, das unglaublich gut darin ist, das Wetter für das ganze Land vorherzusagen. Wenn Sie fragen: „Wird es in dieser Region regnen?“, liefert es eine sehr genaue Antwort basierend auf Millionen von Datenpunkten.
Wenn Sie jedoch dasselbe Supercomputer-Modell fragen: „Wird es genau jetzt auf Johns Kopf regnen?“, ist die Antwort tatsächlich viel unsicherer, als man denkt. Selbst wenn das Modell ein Genie im großen Ganzen ist, könnte es beim Einzelnen wild herumraten.
Hier ist die Aufschlüsselung der Erkenntnisse der Arbeit unter Verwendung einfacher Analogien:
Die drei Arten des „Raten“ (Unsicherheit)
Die Autoren erklären, dass es drei verschiedene Gründe gibt, warum die Vorhersage unsicher sein kann, wenn ein Arzt eine KI verwendet, um vorherzusagen, ob eine Patientin an Eierstockkrebs leidet. Sie nennen dies „Schätzungs-“, „Modell-“ und „Anwendbarkeitsunsicherheit“.
1. Schätzungsunsicherheit: Das „Problem der kleinen Stichprobe“
- Die Analogie: Stellen Sie sich vor, Sie versuchen, die durchschnittliche Körpergröße aller Erwachsenen in einer Stadt zu erraten. Wenn Sie nur 10 Personen messen, könnte Ihre Schätzung weit daneben liegen. Wenn Sie 10.000 Menschen messen, wird Ihre Schätzung sehr präzise.
- Die Behauptung der Arbeit: Dies ist die Unsicherheit, die aus einer geringen Menge an Daten resultiert. Die Arbeit bestätigt, dass diese spezifische Art von Fehler sinkt, wenn man der KI mehr Daten gibt (einen größeren Trainingsdatensatz). Aber dies ist der einzige Fehlertyp, der durch mehr Daten besser wird.
2. Modellunsicherheit: Das „Rezept“-Problem
- Die Analogie: Stellen Sie sich vor, Sie möchten einen Kuchen backen. Sie haben die gleichen Zutaten (die Daten der Patientin), aber Sie haben 50 verschiedene Köche. Koch A benutzt eine Mikrowelle, Koch B einen Backofen, Koch C gibt extra viel Zucker hinzu und Koch D lässt die Eier weg. Selbst wenn sie alle die gleichen Zutaten verwenden, werden sie alle leicht unterschiedliche Kuchen produzieren.
- Die Behauptung der Arbeit: In der KI entsteht „Modellunsicherheit“, weil Forscher Entscheidungen treffen müssen: Welchen Algorithmus sollten wir verwenden? Welche Variablen sind wichtig? Wie gehen wir mit fehlenden Werten um? Die Arbeit fand heraus, dass das Ändern dieser „Rezept“-Entscheidungen eine enorme Menge an Unsicherheit erzeugt. Selbst wenn Sie den Köchen 10.000 Zutaten geben, werden sie immer noch unterschiedliche Kuchen backen, weil sie unterschiedliche Methoden anwenden.
3. Anwendbarkeitsunsicherheit: Das „Kontext“-Problem
- Die Analogie: Stellen Sie sich vor, ein Rezept funktioniert perfekt in einer Küche in Belgien. Versuchen Sie nun, genau dasselbe Rezept in einer Küche in Schweden zu verwenden, aber das Mehl ist anders, der Ofen heizt anders und das Wasser ist härter. Der Kuchen könnte völlig anders aussehen, selbst wenn das Rezept das gleiche ist.
- Die Behauptung der Arbeit: Dies geschieht, wenn ein Modell, das mit Patienten in einem Krankenhaus trainiert wurde, auf Patienten in einem anderen Krankenhaus (oder einem anderen Land) angewendet wird. Unterschiede darin, wie Ärzte Dinge messen oder wer die Patienten sind, erzeugen Unsicherheit. Die Arbeit fand heraus, dass das bloße Hinzufügen von mehr Daten dieses Problem nicht löst; der „Standort“ und der „Messstil“ spielen immer noch eine große Rolle.
Die große Entdeckung: Mehr Daten sind nicht die magische Lösung
Die überraschendste Erkenntnis der Arbeit betrifft die Frage, wie viel diese Unsicherheiten bedeuten.
- Das alte Denken: Wir denken meistens: „Wenn wir nur mehr Daten bekommen, wird die KI für jeden einzelnen Menschen perfekt sein.“
- Der Realitätscheck der Arbeit: Die Autoren testeten dies anhand von Daten zu Eierstockkrebs. Sie erstellten fast 60.000 verschiedene Versionen eines Vorhersagemodells (indem sie die Rezepte, die Datenquellen und die Stichprobengrößen änderten).
- Wenn sie sich die „Rezept“- und „Kontext“-Probleme (Modell- und Anwendbarkeitsunsicherheit) ansah, half mehr Daten kaum weiter.
- Selbst mit einem riesigen Datensatz von 10.000 Patientinnen konnte das vorhergesagte Risiko für eine einzelne Patientin massiv schwanken. In einer Version des Modells könnte die KI ein Krebsrisiko von 5 % angeben, in einer anderen Version 95 %. Beide Versionen könnten für die Bevölkerung „korrekt“ sein, aber sie geben dem Individuum gegensätzliche Ratschläge.
Was das für Sie und Ihren Arzt bedeutet
Die Arbeit kommt zu einer sehr wichtigen Schlussfolgerung darüber, wie wir diese KI-Tools nutzen sollten:
- KI ist ein Wegweiser, kein Diktator: Da die Vorhersage für eine einzelne Person so unsicher ist, sollte die KI niemals allein die Entscheidung treffen. Sie ist wie eine Wettervorhersage, die sagt: „Es besteht eine Regenwahrscheinlichkeit von 50 %.“ Sie sagt Ihnen nicht, dass Sie drinnen bleiben sollen; sie liefert nur Informationen.
- Die menschliche Verbindung ist entscheidend: Da die Zahl der KI für ein Individuum wackelig ist, kommt die echte „personalisierte Medizin“ aus dem Gespräch zwischen Arzt und Patient. Der Arzt muss erklären, dass die KI nur eine Meinung unter vielen möglichen Meinungen ist.
- Vertrauen Sie der Zahl nicht blind: Nur weil ein Modell für eine Gruppe von Menschen „genau“ ist (wie etwa die Aussage, dass es in einer Stadt zu 30 % der Zeit regnet), bedeutet das nicht, dass die Zahl für Sie persönlich vertrauenswürdig ist.
Kurz gesagt: Die Arbeit warnt uns davor, dass KI zwar großartig darin ist, Muster in großen Gruppen zu erkennen, aber beim Versuch, das exakte Risiko für eine einzelne Person zu bestimmen, ziemlich „unscharf“ ist. Wir müssen aufhören zu erwarten, dass die KI eine einzige, perfekte Zahl für jeden Patienten liefert, und statfangen, sie als Werkzeug zu nutzen, um gemeinsam mit Ärzten und Patienten Entscheidungen zu treffen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.