Can we trust AI to detect healthy multilingual English speakers among the cognitively impaired cohort in the UK? An investigation using real-world conversational speech
Die Studie zeigt, dass aktuelle KI-Modelle zur Erkennung kognitiver Beeinträchtigungen im Vereinigten Königreich multilinguale Sprecher und Personen mit bestimmten Akzenten (wie dem South Yorkshire-Akzent) aufgrund von Verzerrungen unzuverlässig diagnostizieren und sie häufiger fälschlicherweise als kognitiv beeinträchtigt einstufen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr klugen, digitalen Detektiv namens „KI". Dieser Detektiv ist darauf trainiert, Menschen zu untersuchen, die vielleicht an Gedächtnisproblemen oder Demenz leiden. Er tut dies, indem er ihnen zuhört, wie sie sprechen. Wenn jemand verwirrt ist, macht die KI das „Klick" und sagt: „Achtung, hier könnte etwas nicht stimmen."
Bisher war dieser Detektiv aber nur in einer einzigen Sprache sehr gut: im „Standard-Englisch", wie es von Muttersprachlern gesprochen wird. Das Problem? In Großbritannien lebt eine riesige Gruppe von Menschen, die Englisch als zweite Sprache sprechen (z. B. aus Somalia, China oder Südasien). Sie haben oft einen Akzent oder benutzen Wörter anders.
Diese Forscher aus Sheffield haben nun eine wichtige Frage gestellt: Ist unser digitaler Detektiv auch fair gegenüber diesen Menschen? Oder macht er Fehler, nur weil sie anders klingen?
Hier ist die Geschichte ihrer Entdeckungen, einfach erklärt:
1. Das Experiment: Ein Testlauf mit 1.400 Menschen
Die Forscher haben einen riesigen Testlauf gemacht. Sie haben 1.400 Menschen gebeten, mit einer virtuellen KI-Stimme zu sprechen und verschiedene Fragen zu beantworten (z. B. „Was gab es heute in den Nachrichten?" oder „Erzählen Sie von Ihrer Schule").
- Gruppe A: Muttersprachler aus ganz Großbritannien.
- Gruppe B: Mehrsprachige Menschen mit verschiedenen Akzenten (z. B. Somali, Chinesisch, Hindi, Urdu) und spezifischen britischen Dialekten (wie aus Sheffield oder Bradford).
Wichtig zu wissen: Da es sehr schwierig ist, kranke mehrsprachige Menschen zu finden, die genug Englisch können, um den Test zu machen, bestand die „kranke" Gruppe nur aus Muttersprachlern. Die mehrsprachige Gruppe bestand nur aus gesunden Menschen. Das ist wie ein Test, bei dem man nur gesunde Menschen prüft, um zu sehen, ob der Arzt sie fälschlicherweise für krank hält.
2. Die Ergebnisse: Der Hörer vs. der Denker
Die Forscher haben zwei Teile der KI getestet:
Der Hörer (Spracherkennung): Zuerst haben sie geprüft, ob die KI das Gesagte überhaupt richtig versteht (wie ein Übersetzer, der versucht, Akzente zu entschlüsseln).
- Das Ergebnis: Der Hörer war ziemlich fair! Er hat bei Muttersprachlern und Menschen mit Akzent fast gleich gut mitgeschnitten. Er hat nicht viel verwirrt.
Der Denker (Die Diagnose): Dann haben sie geprüft, ob die KI basierend auf dem Gehörten eine Diagnose stellen kann (Ist die Person gesund oder krank?).
- Das Ergebnis: Hier wurde es kritisch. Der „Denker" war voreingenommen.
- Er hat gesunde Menschen mit Akzent viel öfter fälschlicherweise als „dement" oder „leicht kognitiv beeinträchtigt" eingestuft als Muttersprachler.
- Besonders Menschen mit einem südjorkshirischen Akzent (aus Sheffield) wurden oft für schwerer krank gehalten, als sie waren.
3. Warum passiert das? Die Analogie vom „Wort-Schatz"
Stellen Sie sich vor, die KI lernt wie ein Schüler, der nur ein bestimmtes Lehrbuch kennt.
- Wenn ein Muttersprachler sagt: „Ich erinnere mich an den Premierminister", denkt die KI: „Ah, das ist ein normales Wort, der Patient ist gesund."
- Wenn ein mehrsprachiger Mensch sagt: „Ich erinnere mich an Pakistan" oder „Lahore" (seine Heimat), denkt die KI: „Hä? Das passt nicht in mein Lehrbuch! Das klingt seltsam, vielleicht ist er verwirrt?"
Die KI verwechselt also kulturelle Unterschiede (woher jemand kommt) mit kognitiven Problemen (ob jemand krank ist). Sie ist wie ein Richter, der jemanden verurteilt, nur weil er einen anderen Dialekt spricht.
4. Der Vergleich mit einem anderen Datenset
Die Forscher haben ihre KI auch mit einem alten, öffentlichen Datensatz (DementiaBank) trainiert. Das war wie das Training mit einem veralteten Lehrbuch.
- Das Ergebnis: Die Voreingenommenheit war dort noch viel schlimmer! Die KI aus dem öffentlichen Datensatz war fast blind für mehrsprachige Menschen. Das zeigt, dass die Daten, mit denen wir KI trainieren, sehr wichtig sind. Wenn wir nur Daten von Muttersprachlern nutzen, wird die KI unfair.
5. Das Fazit: Noch nicht einsatzbereit
Die große Botschaft dieser Studie ist: Wir können der aktuellen KI noch nicht blind vertrauen, wenn es um Menschen mit Migrationshintergrund geht.
Obwohl die KI super gut darin ist, Muttersprachler zu diagnostizieren, macht sie bei mehrsprachigen Menschen zu viele Fehler. Sie diagnostiziert gesunde Menschen fälschlicherweise als krank. Das wäre im echten Leben katastrophal, denn es würde zu unnötigen Ängsten und falschen Behandlungen führen.
Was tun die Forscher jetzt?
Sie wollen die KI nicht wegwerfen, sondern umbauen. Sie planen, die KI mit mehr Daten von kranken mehrsprachigen Menschen zu trainieren (was schwierig ist, da es diese Daten noch kaum gibt) und ihr beizubringen, den Unterschied zwischen einem „interessanten Akzent" und einer „Krankheit" zu verstehen.
Zusammengefasst: Unser digitaler Detektiv ist noch ein bisschen rassistisch (im Sinne von sprachlich voreingenommen). Bevor wir ihn in britischen Krankenhäusern einsetzen können, müssen wir ihn erst fairer machen, damit er nicht nur die Muttersprachler versteht, sondern alle Bürger des Landes.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.