Socioeconomic Inference in LLM Medical Triage: Same Symptoms, Different ZIP Code
Diese Studie zeigt auf, dass mehrere große Sprachmodelle konsistent die Überweisungen in die Notaufnahme für Patienten mit niedrigem sozioökonomischem Status erhöhen, wenn dieser Status explizit angegeben wird, während nur ein Modell (Gemini 3.5 Flash) eine ähnliche Voreingenommenheit aufweist, wenn der sozioökonomische Status aus der Postleitzahl eines Patienten implizit abgeleitet werden muss, was eine modellspezifische Sensitivität gegenüber Proxy-Signalen hervorhebt, die durch Standard-Reasoning-Audits unentdeckt bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten eine riesige, hochmoderne Bibliothek, in der die Bibliothekarin eine künstliche Intelligenz ist. Diese Bibliothekarin ist unglaublich klug; sie hat fast jedes Buch gelesen, das jemals geschrieben wurde, und kann ein gebrochenes Bein oder ein Fieber diagnostizieren, nur indem sie Ihre Beschreibung hört. Aber es gibt einen Haken: Diese Bibliothekarin schaut nicht nur auf Ihre Symptome; sie schaut auch darauf, wer Sie sind. In der realen Welt wissen wir, dass es keinen Unterschied machen sollte, wo Sie leben, wie viel Geld Sie verdienen oder welche Versicherung Sie haben, wie gefährlich Ihre Symptome sind. Ein Kopfschmerz ist ein Kopfschmerz, egal ob man in einer Villa oder in einer kleinen Wohnung lebt. Die große Frage, die sich Wissenschaftler stellen, ist: Kümmert sich diese superkluge KI-Bibliothekarin heimlich um Ihren Geldbeutel oder Ihre Adresse, wenn sie entscheidet, ob Sie in die Notaufnahme müssen, oder behandelt sie jeden exakt gleich?
Dies ist die Geschichte eines neuen Experiments, das drei der populärsten KI-„Ärzte“ auf die Probe gestellt hat. Die Forscher wollten sehen, ob diese KIs ihr Rat ändern würden, basierend auf dem sozioökonomischen Status (SES) eines Patienten – ein schicker Begriff für das, was man verdient, welchen Job man hat oder in welcher Nachbarschaft man lebt. Sie verwendeten einen spezifischen Satz beängstigender neurologischer Symptome (wie einen ständigen Kopfschmerz, der nicht aufhört, und verschwommenes Sehen), die immer als Notfall behandelt werden sollten. Sie fragten die KI: „Wenn eine Person diese Symptome hat, sollte sie in die Notaufnahme gehen?“ Aber sie änderten die Geschichte für jeden Test leicht ab. Manchmal sagten sie der KI direkt: „Diese Person ist arm und hat keine Versicherung.“ Ein anderes Mal sagten sie kein Wort über Geld; sie gaben der KI einfach eine fünfstellige Postleitzahl (wie einen ZIP-Code) und ließen die KI den Status der Person basierend auf der Nachbarschaft erraten.
Hier ist, was das Experiment herausfand. Wenn die KI direkt gesagt bekam: „Dieser Patient ist arm“, waren alle drei KI-Ärzte viel wahrscheinlicher bereit, sie in die Notaufnahme zu schicken. Es war nicht so, dass sie dachten, der Kopfschmerz des armen Patienten sei schmerzhafter; sie dachten, das Leben des armen Patienten sei gefährdeter, weil sie annahmen, dass der arme Patient später keinen regulären Arzttermin bekommen könnte. Dies wird als „protektiver“ Bias bezeichnet: Die KI versuchte, sicher zu sein, indem sie den armen Patienten übertherapiert, aber sie tat dies basierend auf einem Stereotyp, nicht auf den tatsächlichen medizinischen Fakten.
Die eigentliche Überraschung geschah jedoch, als die KI den Status des Patienten nur anhand der Postleitzahl erraten musste. Eines der KI-Modelle, namens Gemini, war ein Meisterdetektiv. Es betrachtete den fünfstelligen Code, erkannte, dass die Nachbarschaft einkommensschwach war, und begann sofort, diese Patienten häufiger in die Notaufnahme zu schicken. Tatsächlich schickte die KI bei sechs verschiedenen Stadtpaaren Patienten aus einkommensschwachen Postleitzahlen 11,4 Prozentpunkte häufiger in die Notaufnahme als solche aus einkommensstarken Gebieten. Dies geschah, obwohl die Symptome identisch waren.
Aber hier ist die Wendung: Die anderen beiden KI-Modelle, Claude und GPT, spielten nicht das Detektivspiel. Als sie dieselben Postleitzahlen sahen, änderten sie ihre Meinung überhaupt nicht. Sie behandelten den Patienten im schicken Viertel und den Patienten im rauen Viertel exakt gleich. Das bedeutet, dass dieser „Bias“ keine Regel ist, der alle KIs folgen; es ist eine spezifische Angewohnheit eines ganz bestimmten Modells.
Der erschreckendste Teil der Geschichte ist, wie leise dieser Bias ist. Wenn man die KI fragt, warum sie jemanden in die Notaufnahme geschickt hat, gibt sie eine vollkommen logische medizinische Antwort: „Der Kopfschmerz ist konstant, das Sehen ist verschwommen und Übelkeit ist vorhanden.“ Sie sagt niemals: „Ich habe sie geschickt, weil sie in einer armen Postleitzahl leben.“ Die Begründung klingt für alle gleich, aber die Entscheidung ändert sich. Es ist, als wäre es ein Schiedsrichter, der eine andere Entscheidung für zwei Spieler trifft, aber exakt denselben Grund auf die Punktkarte schreibt.
Die Forscher versuchten auch, dies zu beheben, indem sie der KI eine einfache Anweisung gaben: „Ignorieren Sie, wo der Patient lebt oder arbeitet; schauen Sie nur auf die Symptome.“ Dies half ein wenig, aber es löste das Problem nicht vollständig. Die KI traf immer noch unterschiedliche Entscheidungen basierend auf der Postleitzahl, selbst nachdem man ihr gesagt hatte, sie solle es nicht tun.
Was bedeutet das also? Es deutet darauf an, dass, obwohl KI-Ärzte besser werden, einige von ihnen immer noch unsichtbares Gepäck mit sich herumtragen. Sie könnten lebenswichtige Entscheidungen basierend auf einer Vermutung über Ihre Nachbarschaft treffen, anstatt auf den Fakten Ihrer Krankheit. Und das Schlimmste ist, dass Sie es nicht merken würden, wenn Sie nur die Erklärung lesen. Das Experiment zeigt, dass wir, um diesen KI-Ärzten wirklich zu vertrauen, nicht nur darauf hören können, was sie sagen; wir müssen beobachten, was sie tatsächlich tun, besonders wenn sie versuchen, Dinge zu erraten, die man ihnen gar nicht gesagt hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.