Proxy reliance in large language model decisions is uncalibrated to predictive evidence

In der modernen Welt werden Algorithmen zunehmend gebeten, hochrelevante Entscheidungen über Menschen zu treffen, von der Frage, wer einen Kredit erhält, bis hin zur Entscheidung, welcher Krankenhauspatient zuerst versorgt werden muss. Wenn diese Systeme unter Verwendung von Large Language Models – leistungsstarken Computerprogrammen, die auf riesigen Mengen von Text trainiert wurden – aufgebaut werden, wird die Frage der Fairness kompliziert. Das Gesetz akzeptiert im Allgemeinen, dass ein Entscheidungsträger Informationen verwenden darf, wenn diese helfen, ein gutes Ergebnis vorherzusagen, wie etwa die Verwendung des Blutdrucks eines Patienten, um dessen Risiko für einen Herzinfarkt vorherzusagen. Es verbietet jedoch die Verwendung von Informationen, die lediglich als Stellvertreter für ein geschütztes Merkmal stehen, wie etwa Rasse oder Geschlecht, selbst wenn diese Informationen statistisch nützlich sind. Dies ist als Proxy-Diskriminierung bekannt. Die Schwierigkeit liegt darin, dass ein einzelnes Datenstück, wie etwa die Nachbarschaft einer Person, sowohl ein legitimer medizinischer Indikator als auch ein verstecktes Signal ihrer ethnischen Zugehörigkeit sein kann. Aktuelle Methoden, um zu testen, ob ein Algorithmus fair ist, verlassen sich oft auf eine einfache Prüfung: Wenn man die ethnische Zugehörigkeit einer Person im Prompt des Computers ändert und sich dadurch die Entscheidung ändert, ist das System voreingenommen. Aber dieser Ansatz verfehlt die Nuancen der Realität. Ein rationaler Entscheidungsträger sollte seine Meinung ändern, wenn die neuen Informationen tatsächlich nützlich sind, und ein System, das seine Meinung niemals ändert, könnte wichtige Beweise ignorieren, anstatt fair zu sein.

Forscher der Universität Osaka setzten sich zum Ziel, dieses Problem zu lösen, indem sie über einfache Ja-oder-Nein-Checks hinausgingen und zu einer präziseren Messung entwickelten, wie sehr ein Algorithmus sich auf bestimmte Hinweise verlassen sollte. Sie erschufen eine simulierte Welt, in der sie die exakte Wahrheit über jeden Patienten und jedes Ergebnis kannten, was es ihnen ermöglichte, das perfekte Maß an Abhängigkeit von einer gegebenen Information zu berechnen. In dieser kontrollierten Umgebung baten sie vier verschiedene Large Language Models, als Triage-Spezialisten zu agieren und Paare von simulierten Patienten hinsichtlich der Bevorzugung bei der Behandlung zu ranken. Die Patienten wurden durch numerische Indikatoren beschrieben, von denen einige legitime medizinische Signale waren und andere „Proxys“ darstellten, die mit einem verborgenen geschützten Attribut korrelierten, aber keinen realen medizinischen Wert hatten. Die Forscher konnten dann das Verhalten der Modelle gegenüber einem mathematischen Standard vergleichen, der beschreibt, was ein perfekt rationaler Entscheidungsträger mit denselben Informationen tun würde.

Die Studie offenbarte eine erschreckende Diskrepanz zwischen den verfügbaren Hinweisen für die Modelle und der Art und Weise, wie sie diese tatsächlich nutzten. Wenn die Forscher den Modellen Hinweise gaben, die absolut keinen Vorhersagewert besaßen, stützten sich die Modelle dennoch auf sie und behandelten nutzlose Informationen so, als ob sie wichtig wären. Dies geschah konsistent bei allen vier getesteten Modellen, unabhängig vom Anbieter. Wenn die Hinweise tatsächlich nützlich waren, passten die Modelle ihre Abhängigkeit nicht an die Stärke der Evidenz an. Stattdessen operierten sie auf einem großen positiven Basisniveau der Abhängigkeit, das die Evidenz massiv unterschätzte, während deren Vorhersagewert stieg. Mit anderen Worten: Die Modelle hörten nicht auf die Daten; sie folgten einem starren internen Skript, das die sich ändernde Realität ignorierte. Dies bedeutet, dass ein System in einem spezifischen Test fair erscheinen könnte, in einem anderen jedoch tiefgreifend fehlerhaft sein kann, einfach weil der Test nicht den realen Bedingungen entsprach, in denen die Beweislage stärker oder schwächer war.

Die Forscher untersuchten auch, ob die Änderung der Namen der Datenfelder dieses Verhalten stoppen könnte. Als sie die Proxy-Hinweise mit gesellschaftlich aufgeladenen Begriffen wie „Nachbarschaft“ oder „Beruf“ statt mit neutralen medizinischen Begriffen beschrifteten, reduzierten die Modelle ihre Abhängigkeit von ihnen. Dies sah auf den ersten Blick wie ein Sicherheitsmerkmal aus. Die Studie stellte jedoch fest, dass diese Unterdrückung fragil und leicht zu brechen war. Wenn die Forscher Beispiele in den Prompt einfügten, um den Modellen bei der Aufgabe zu helfen – eine in der Praxis übliche Methode –, begannen die Modelle sofort wieder, sich auf die sozialen Labels zu verlassen, wobei sie den Schutzeffekt der Namen oft vollständig ignorierten. Die Studie merkte jedoch an, dass der Kontrast zwischen sozialen und neutralen Labels in drei der sechs Fälle, in denen Beispiele bereitgestellt wurden, bestehen blieb, was darauf hindeutet, dass die Unterdrückung nicht vollständig ausgelöscht, aber signifikant abgeschwächt wurde. Dies deutet darauf hin, dass die scheinbare Sicherheit dieser Modelle eine oberflächliche Reaktion auf eine spezifische Wortwahl ist und kein tiefes, zuverlässiges Verständnis von Fairness. Die Modelle konnten durch die Änderung des Kontextes, in dem sie gebeten wurden zu arbeiten, in unfaire Verhaltensweisen gelockt werden.

Darüber hinaus zeigte die Studie, dass die Genauigkeit der Entscheidung eines Modells kein zuverlässiger Indikator dafür ist, ob es Informationen fair verwendet. Ein Modell könnte die richtige Wahl aus den richtigen Gründen treffen oder die falsche Wahl aus den falschen Gründen treffen und dennoch am Ende denselben Score erzielen. In einigen Fällen führte das Erschweren der Aufgabe durch das Hinzufügen von mehr Datenpunkten dazu, dass die Modelle stärker auf die unfairen Proxys zurückgriffen, während es in anderen Fällen die Abhängigkeit verringerte. Diese Inkonsistenz bedeutet, dass die bloße Überprüfung, ob ein Modell genau arbeitet, uns nicht verrät, ob es diskriminiert. Die Forscher fanden heraus, dass die Beziehung zwischen der Anzahl der Datenpunkte, die ein Modell sieht, und der Art und Weise, wie es sie nutzt, vollständig davon abhängt, wie diese Datenpunkte miteinander verknüpft sind – ein Faktor, der in realen medizinischen Daten stark variiert.

Letztendlich zeigt die Arbeit, dass aktuelle Methoden zur Prüfung künstlicher Intelligenz für die Komplexität eines realen Einsatzes unzureichend sind. Die Studie beweist, dass es ohne einen bekannten Standard, was die Evidenz rechtfertigt, unmöglich ist, festzustellen, ob ein Modell fair ist oder lediglich nützliche Daten ignoriert. Die Ergebnisse legen nahe, dass die am sichersten erscheinenden Konfigurationen dieser Modelle – jene, die in einfachen Tests am widerstandsfähigsten gegen Bias erscheinen – oft am wenigsten repräsentativ für ihr tatsächliches Verhalten in einem Krankenhaus oder einer Bank sind. Die Forschung kommt zu dem Schluss, dass wir, um diese Systeme wirklich zu verstehen und zu regulieren, über einfache Checks für Voreingenommenheit hinausgehen und Wege entwickeln müssen, um zu messen, ob die Abhängigkeit eines Algorithmus von spezifischen Informationen dem tatsächlichen Wert dieser Informationen entspricht. Bis wir dies tun können, riskieren wir entweder, Systeme für ihre Rationalität zu bestrafen oder, was gefährlicher ist, Systemen zu vertrauen, die im Stillen unfaire Entscheidungen auf Basis eines fragilen Weltverständnisses treffen.