PersianMedQA: Evaluating Large Language Models on a Persian-English Bilingual Medical Question Answering Benchmark
Dieser Beitrag stellt PersianMedQA vor, einen groß angelegten zweisprachigen Datensatz mit 20.785 von Experten validierten persischen medizinischen Prüfungsfragen, um 41 state-of-the-art LLMs zu evaluieren und zu zeigen, dass zwar geschlossene allgemeine Modelle spezialisierte persische Modelle übertreffen, kulturelle und klinische Nuancen in der Originalsprache jedoch für eine präzise medizinische Schlussfolgerung entscheidend bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einer Gruppe von Studierenden beizubringen, wie man Arzt wird, müssen sie aber in zwei verschiedenen Sprachen testen: Persisch (ihre Muttersprache) und Englisch (die Sprache der meisten medizinischen Lehrbücher).
Dieser Artikel, genannt PersianMedQA, ist wie ein riesiges, 14 Jahre altes Prüfungsarchiv aus dem Iran. Er enthält über 20.000 Multiple-Choice-Fragen, die 23 verschiedene medizinische Fachgebiete abdecken, von Herzchirurgie bis hin zur Pädiatrie. Die Autoren nutzten diesen „Prüfungskatalog", um zu sehen, wie gut verschiedene KI-„Schüler" (Large Language Models) medizinische Fragen in beiden Sprachen beantworten können.
Hier ist die Aufschlüsselung dessen, was sie herausfanden, unter Verwendung einiger einfacher Analogien:
1. Die „Sternschüler" vs. die „Kämpfenden Einheimischen"
Die Forscher testeten 41 verschiedene KI-Modelle.
- Die „Superstars" (Geschlossene Modelle): Die besten Leistungen erbrachten wie elitäre Privatschulschüler, die Zugang zu den besten Ressourcen haben. Konkret erhielt GPT-4.1 (ein geschlossenes, kostenpflichtiges Modell) etwa 83 % der persischen Fragen und 80 % der englischen Fragen richtig. Es war der klare Gewinner.
- Die „Lokalen Helden" (Persische Modelle): Die Autoren waren überrascht festzustellen, dass Modelle, die speziell für die persische Sprache entwickelt wurden (wie Dorna), schrecklich abschnitten. Sie erzielten etwa 35 %, was kaum besser ist als Raten. Es ist, als hätte ein Schüler, der in der Sprache aufgewachsen ist, vergessen, wie man die medizinischen Lehrbücher in derselben Sprache liest. Sie hatten Schwierigkeiten, Anweisungen zu befolgen, und konnten die Probleme nicht logisch durchdringen.
- Die „Spezialisierten Schüler" (Medizinische Modelle): Modelle, die speziell auf medizinischen Daten trainiert wurden, schnitten ebenfalls nicht besser ab als die allgemeinen „Superstars". Ein „medizinisches KI"-Modell zu sein, machte sie nicht automatisch besser bei persischen medizinischen Fragen.
2. Die „Übersetzungs-Falle"
Man könnte denken: „Wenn eine KI in Englisch schlau ist, übersetze einfach die persischen Fragen ins Englische, und es wird funktionieren."
- Die Realität: Der Artikel ergab, dass KI zwar generell im Englischen besser abschneidet, aber 3 % bis 10 % der Fragen NUR korrekt auf Persisch beantwortet werden können.
- Die Analogie: Stellen Sie sich ein Rezept vor, das sagt: „Fügen Sie eine Prise Safran hinzu." Wenn Sie dies ins Englische übersetzen, steht dort einfach „Safran". Aber im ursprünglichen persischen Kontext könnte das Rezept eine bestimmte Art von Safran implizieren, die in einem spezifischen iranischen Dorf angebaut wird, dort billiger und häufiger ist. Wenn Sie die Frage übersetzen, verlieren Sie diesen lokalen Kontext.
- Das Ergebnis: In einigen Fällen bekam die KI die Antwort auf Persisch richtig, weil sie die lokalen Regeln verstand (wie zum Beispiel, welche Impfstoffe in welchem Alter in Iran verabreicht werden), bekam sie aber im Englischen falsch, weil die Übersetzung sie wie eine westliche Regel klingen ließ.
3. Größer ist nicht immer besser
Die Forscher prüften, ob ein „größerer" KI-„Gehirn" (mehr Parameter) half.
- Das Ergebnis: Bei den allgemeinen „Superstar"-Modellen war größer besser. Aber bei den spezialisierten medizinischen oder persischen Modellen half es nicht, sie einfach größer zu machen. Es ist, als würde man einem Schüler einen größeren Rucksack geben; wenn er nicht die richtigen Bücher darin hat, macht ihn ein größerer Rucksack nicht schlauer. Sie brauchen die richtigen Daten, nicht einfach nur mehr davon.
4. Der „Betrugs"-Test
Um zu sehen, ob die KIs tatsächlich nachdachten oder nur aufgrund von Mustern rieten, versuchten die Forscher einen Trick: Sie zeigten der KI nur die Antwortmöglichkeiten ohne die Frage.
- Das Ergebnis: Im Abschnitt „Medizinische Ethik" erzielte die KI überraschend hohe Punktzahlen, nur indem sie die Antworten ansah. Sie lernte, dass Antworten mit Wörtern wie „Patientenautonomie" oder „Einwilligung" normalerweise die richtigen waren. Es war wie ein Schüler, der die Lektion nicht gelernt hatte, aber wusste, dass, wenn eine Antwort sehr höflich und formell klingt, sie wahrscheinlich die richtige ist. Dies deutet darauf hin, dass die Tests überschätzen, wie gut die KI Ethik tatsächlich versteht.
5. Das „Teamwork"-Experiment
Da kein einzelnes Modell perfekt war, versuchten die Forscher, die Top-3 oder Top-5-Modelle gemeinsam abstimmen zu lassen (wie eine Jury).
- Das Ergebnis: Dieser „Team"-Ansatz half den Open-Source-Modellen, ihre Punktzahlen leicht zu verbessern, aber sie konnten immer noch nicht mit dem einzelnen „Superstar"-Modell (GPT-4.1) mithalten.
Das Fazit
Der Artikel kommt zu dem Schluss, dass man medizinische Prüfungen nicht einfach von Englisch in andere Sprachen übersetzen und erwarten kann, dass die KI gut funktioniert.
- Medizinisches Wissen ist tief mit lokaler Kultur, Gesetzen und Gewohnheiten verbunden (wie Impfschemata).
- Aktuelle KI-Modelle, selbst diejenigen, die auf Persisch trainiert wurden, sind noch nicht zuverlässig genug, um ihnen hochriskante medizinische Fragen in dieser Sprache zu vertrauen.
- Wir müssen bessere, kulturell bewusste KI speziell für ressourcenarme Sprachen entwickeln, anstatt einfach nur englische Modelle zu übersetzen.
Wichtiger Hinweis der Autoren: Der Artikel stellt ausdrücklich fest, dass diese Modelle nicht bereit sind, als echte Ärzte eingesetzt zu werden. Sie werden derzeit nur an Prüfungsfragen getestet, und sie sollten ohne strenge menschliche Aufsicht nicht in echten Krankenhäusern eingesetzt werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.