Gender bias in AI-based model according to the sex composition of the training sets: the case of a model triaging patients requiring referral to hospital emergencies among those seeking emergency or unscheduled care by phone

Wenn eine Person um Notfallhilfe ruft, wird die erste Entscheidung oft von einer Stimme am anderen Ende der Leitung getroffen. Dieser Disponent muss schnell entscheiden, ob der Anrufer einen Krankenwagen, einen Hausbesuch eines Arztes oder lediglich den Rat benötigt, abzuwarten. In den letzten Jahren haben Krankenhäuser und Rettungsdienste damit begonnen, künstliche Intelligenz einzusetzen, um bei dieser schwierigen Aufgabe zu unterstützen. Diese Computerprogramme hören dem Gespräch zu, lesen die gesprochenen Worte und berechnen, wie dringlich die Situation ist. Die Hoffnung ist, dass Maschinen Informationen schneller und konsistenter verarbeiten können als Menschen, insbesondere wenn der Anrufer unter Schmerzen oder in Not ist. Es ist jedoch ein beständiges Problem in der Medizin, dass Frauen oft eine andere Versorgung erhalten als Männer, manchmal zu ihrem Nachteil. Sie müssen oft länger auf Schmerzlinderung warten oder werden weniger ernst genommen, wenn sie Symptome beschreiben. Die entscheidende Frage für das neue Zeitalter der medizinischen Technologie ist, ob diese Computerprogramme einfach jene alten menschlichen Fehler wiederholen oder ob sie so gebaut werden können, dass sie alle fair behandeln.

Ein Forscherteam in Frankreich machte sich daran, genau dieses Problem im Kontext der medizinischen Notfalltelefonie zu untersuchen. Sie arbeiteten mit einer großen Organisation namens SOS Médecins Grand Paris zusammen, die täglich tausende Anrufe von Menschen bearbeitet, die am selben Tag medizinische Hilfe benötigen. Die Forscher konzentrierten sich auf eine spezifische Art von Anruf: solche, bei denen ein Arzt letztendlich den Patienten zu Hause besuchte. Am Ende jedes Besuchs hielt der Arzt fest, ob der Patient in eine Krankenhausnotaufnahme geschickt oder nach Hause entlassen wurde. Dieser Datensatz diente als „Ground Truth“ (Grundwahrheit) für die Studie und ermöglichte es den Forschern zu sehen, welche Anrufe tatsächlich eine dringende Krankenhausbehandlung erforderten. Sie sammelten Daten aus fast zwei Millionen Anrufen zwischen 2018 und 2023 und glichen die Audioaufnahmen der ursprünglichen Telefonate mit den abschließenden medizinischen Unterlagen der Patienten ab. Nach der Bereinigung und Zusammenführung der Daten verfügten sie über eine massive Sammlung von über einer Million gepaarter Anrufe und Ergebnisse.

Die Forscher entwickelten daraufhin drei verschiedene Computermodelle, um zu sehen, wie sich die Mischung aus Männern und Frauen in den Trainingsdaten auf die Ergebnisse auswirkt. Sie bauten nicht nur ein Modell und testeten es, sondern erstellten drei verschiedene Versionen, um den Effekt des Geschlechterverhältnisses zu isolenieren. Das erste Modell wurde ausschließlich mit Daten von Männern trainiert. Das zweite wurde ausschließlich mit Daten von Frauen trainiert. Das dritte wurde mit einer perfekt ausgewogenen Mischung aus Männern und Frauen trainiert, jedoch mit der Hälfte der Gesamtzahl an Beispielen im Vergleich zu den anderen beiden. Sie testeten dann jedes Modell anhand neuer, unbekannter Anrufe, um zu sehen, wie gut es vorhersagen konnte, wer ins Krankenhaus musste. Das Ziel war zu sehen, ob ein Modell, das auf einer ausgewogenen Gruppe trainiert wurde, sowohl für Männer als als auch für Frauen gleichermaßen gut funktioniert, oder ob die Zusammensetzung der Trainingsdaten die Art und Weise veränderte, wie die Maschine Männer und Frauen „sieht“.

Die Ergebnisse zeigten ein überraschend komplexes Bild davon, wie diese Maschinen lernen. Das ausschließlich an Männern trainierte Modell funktionierte gut bei Männern, hatte aber bei der Anwendung auf Frauen erhebliche Schwierigkeiten. Es versäumte es, viele Frauen zu identifizieren, die tatsächlich eine Notfallversorgung benötigten, was eine deutliche Leistungslücke aufzeigte. Im Gegensatz dazu funktionierte das ausschließlich an Frauen trainierte Modell gut bei Frauen und – vielleicht überraschender – funktionierte es ebenso gut bei Männern. Es schien keine Genauigkeit bei der Anwendung auf die männliche Bevölkerung zu verlieren. Das dritte Modell, das auf einer ausgewogenen Mischung aus Männern und Frauen trainiert wurde, lag irgendwo dazwischen. Es performte besser für Männer als für Frauen, aber die Lücke war kleiner als beim rein männlichen Modell. Entscheidend war, dass die Forscher feststellten, dass das bloße Ausgleichen der Anzahl von Männern und Frauen in den Trainingsdaten nicht ausreichte, um Fairness zu garantieren. Selbst das ausgewogene Modell zeigte eine leichte Präferenz für Männer, was darauf hindeutet, dass das Problem nicht nur darin besteht, eine gleiche Anzahl an Beispielen zu haben, sondern in etwas Tieferem darüber, wie Symptome und Ergebnisse in Bezug auf die verschiedenen Geschlechter zueinander stehen.

Um zu verstehen, warum dies geschah, untersuchten die Forscher genau die Wörter, die die Modelle bei ihren Entscheidungen als am wichtigsten erachteten. Sie fanden heraus, dass die verwendete Sprache bei der Beschreibung eines Notfalls je nach Modell unterschiedliche Gewichtungen besaß. Beispielsweise waren Begriffe im Zusammenhang mit Stürzen oder Kurzatmigkeit für beide Gruppen wichtig, aber andere Begriffe wie „Schmerz“ und „Abdomen“ waren für das Frauenmodell hochgradig einflussreich, während „Blut“ und „Schwindel“ die Entscheidungen des Modells für Männer vorantrieben. Dies deutet darauf hin, dass die Beziehung zwischen dem, was ein Patient sagt, und der Notwendigkeit eines Krankenhausaufenthalts nicht identisch ist für Männer und Frauen. Die Computermodelle versäumten es nicht nur, genügend Beispiele von Frauen zu sehen, sondern sie lernten auch, dass die Anzeichen eines Notfalls je nach Geschlecht des Anrufers unterschiedlich aussehen. Ein einzelnes Modell, das versucht, von beiden Gruppen gleichzeitig zu lernen, geht am Ende einen Kompromiss ein, der das Muster der Mehrheitsgruppe begünstigt, was in diesem Fall zugunsten der Männer ausfiel.

Die Studie kommt zu dem Schluss, dass die Behebung von Geschlechter-Bias in der künstlichen Intelligenz nicht so einfach ist, wie sicherzustellen, dass die Trainingsdaten eine gleiche Anzahl von Männern und Frauen enthalten. Während das Ausgleichen der Daten hilft, löst es das Problem nicht automatisch. Die Forscher legen nahe, dass die Unterschiede darin, wie Männer und Frauen Krankheit erleben und beschreiben, strukturell und grundlegend sind. Aufgrund dessen scheint ein speziell für Frauen entwickeltes Modell robust genug zu sein, um auch bei Männern zu funktionieren, während ein für Männer entwickeltes Modell sich nicht gut auf Frauen übertragen lässt. Dieser Befund stellt die verbreitete Annahme infrage, dass ein einzener, ausgewogener Algorithmus alle Menschen gleichermaßen behandeln kann. Stattdessen deutet es darauf hin, dass Fairness in der medizinischen KI erfordern kann, diese tiefgreifenden Unterschiede von Beginn an im Designprozess zu berücksichtigen, anstatt zu versuchen, sie später durch einfache Datenanpassungen zu korrigieren. Die Arbeit unterstreicht, dass diese Werkzeuge nur dann wirklich sicher und effektiv sein können, wenn sie mit dem Verständnis gebaut werden, dass die menschliche Erfahrung von Krankheit nicht über die Geschlechter hinweg einheitlich ist.