TreeProbe : A Tibetan Medicine Benchmark for Cultural Bias in LLMs
Dieses Paper stellt TreeProbe vor, den ersten Benchmark, der darauf ausgelegt ist, kulturelle Voreingenommenheit in großen Sprachmodellen zu bewerten, indem er deren Einhaltung des strukturierten theoretischen Rahmens der tibetischen Medizin testet, was offenlegt, dass aktuelle Modelle oft eine systematische epistemische Drift hin zu dominanten biomedizinischen oder Traditionellen Chinesischen Medizin-Paradigmen aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten eine riesige, hochtechnologische Bibliothek, in der die Bücher von superintelligenten Robotern geschrieben wurden. Diese Roboter, sogenannte Large Language Models (LLMs), haben fast alles im Internet gelesen. Sie sind fantastisch darin, Fragen zu beantworten, Geschichten zu schreiben und sogar so zu tun, als wären sie Ärzte. Aber hier ist der Haken: Die meisten Bücher, die sie gelesen haben, wurden auf Englisch verfasst und basieren auf westlicher Wissenschaft. Wenn Sie sie also nach einem Medizinsystem aus einer anderen Kultur fragen – wie etwa der tibetischen Medizin, die ihre eigene, einzigartige Art des Denkens über den Körper und Krankheiten hat –, werden die Roboter verwirrt. Anstatt die tibetischen Regeln anzuwenden, wechseln sie versehentlich zu den westlichen Regeln oder sogar zu den Regeln der chinesischen Medizin – wie ein Koch, der nur weiß, wie man Pizza macht, und plötzlich versucht, Sushi herzustellen, dabei aber Pizzateig verwendet. In dieser Arbeit geht es darum, einen speziellen Test zu entwickeln, um genau zu sehen, wie und warum diese Roboter diesen Fehler machen und wie stark sie von der Wahrheit „abdriften“.
Die Forscher hinter dieser Studie, angeführt von Jin Zhang und einem Team von Universitäten aus China und Tibet, haben ein neues Werkzeug namens TreeProbe entwickelt. Stellen Sie sich die tibetische Medizin wie einen riesigen, uralten Baum mit tiefen Wurzeln vor. Die Arbeit nutzt den „Baum der Medizin“, ein klassisches Framework aus tibetischen Texten, um einen Test mit 4.711 Fragen zu erstellen, die 467 verschiedene Krankheiten abdecken. Sie haben den Robotern nicht nur einfache Wissensfragen gestellt; sie haben sie gebeten zu erklären, warum eine Krankheit entsteht, wie man sie unter Verwendung der tibetischen „drei Humore“ (ein Konzept, das dem Ausgleich von Energien ähnelt) diagnostiziert und wie man sie mit spezifischen Diäten oder Kräutern behandelt.
Das Team fand heraus, dass selbst die klügsten Roboter von heute immer noch zu kämpfen haben. Bei den Tests erreichten die besten Modelle nur etwa 60 % der Multiple-Choice-Fragen korrekt. Aber die eigentliche Geschichte ist nicht nur, dass sie Fragen falsch beantworteten; es ist das Wie ihrer Fehler. Die Roboter ratierten nicht einfach zufällig; sie drifteten konsistent in andere Medizinsysteme ab. Einige Modelle, wie das von Anthropic (Claude), neigten dazu, in das westliche biomedizinische Denken zu wechseln, während andere, wie einige chinesische Modelle, zur Traditionellen Chinesischen Medizin (TCM) abdrifteten. Es ist, als hätten die Roboter eine „Standardeinstellung“, die die spezifischen tibetischen Kenntnisse, die sie eigentlich anwenden sollten, überschreibt.
Die Forscher entdeckten auch, dass die Roboter gut darin sind, den richtigen Ton zu treffen. Sie können flüssige tibetische Sätze schreiben, die grammatikalisch perfekt aussehen, aber der medizinische Rat darin ist oft falsch oder mit anderen Systemen vermischt. Es ist wie ein Roboter, der perfektes Französisch spricht, Ihnen aber ein Rezept für ein deutsches Gericht gibt, wenn Sie nach einem französischen gefragt haben. Die Studie legt nahe, dass dies geschieht, weil die Roboter mit Daten trainiert wurden, in denen westliche und chinesische medizinische Ideen viel häufiger vorkommen als tibetische. Wenn der Roboter feststeckt, greift er auf das zurück, was er am besten kennt, und löscht dabei versehentlich die einzigartige Logik der tibetischen Medizin aus.
Kurz gesagt: TreeProbe fungiert wie ein Diagnosewerkzeug für die Roboter selbst. Es zeigt uns, dass wir, um KI wirklich fair und nützlich für alle zu machen, ihr nicht einfach nur mehr Daten füttern können; wir müssen sie lehren, unterschiedliche Arten des Wissens in der Welt zu respektieren und zu verstehen. Die Arbeit behauptet nicht, das Problem bereits gelöst zu haben, aber sie liefert die erste klare Karte darüber, wo sich die Roboter verlaufen, und hilft Entwicklern dabei, in Zukunft eine bessere, kulturell bewusstere KI zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.