Polish-English medical knowledge transfer: A new benchmark and results
Dieses Paper führt einen neuen polnisch-englischen medizinischen Benchmark ein, der aus über 24.000 Fragen aus Approbations- und Facharztprüfungen abgeleitet wurde, um hochmoderne LLMs im Vergleich zur menschlichen Leistung zu evaluieren, wobei sich zeigt, dass die führenden Modelle zwar das menschliche Niveau erreichen, jedoch weiterhin erhebliche Herausforderungen bei der sprachübergreifenden Übersetzung und dem domänenspezifischen Verständnis bestehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Künstliche Intelligenz hat gelernt zu lesen und zu schreiben mit einer Fluenz, die oft mit menschlicher Konversation konkurriert. Diese Systeme, bekannt als große Sprachmodelle, werden mit riesigen Mengen an Texten aus dem Internet, Büchern und Artikeln trainiert, was es ihnen ermöglicht, Fragen zu beantworten, Geschichten zusammenzufassen und Probleme zu lösen. Ihr Wissen ist jedoch nicht gleichmäßig verteilt. Da der Großteil der Daten, die sie lehren, aus englischsprachigen Quellen stammt, verstehen diese Modelle Englisch tendenziell viel besser als andere Sprachen. Dies schafft eine erhebliche Lücke, wenn die Technologie auf spezialisierte Felder wie die Medizin angewendet wird, in denen Leitlinien, Krankheiten und Behandlungen von Land zu Land variieren können. Wenn sich ein Arzt in Polen auf eine KI verlässt, die primär mit amerikanischen oder britischen medizinischen Daten trainiert wurde, könnte der Rat möglicherweise nicht zur lokalen Realität passen, was potenziell zu Fehlern bei Diagnose oder Behandlung führen kann.
Forscher in Polen setzten sich zum Ziel zu messen, wie gut diese künstlichen Geister abschneiden, wenn man sie bittet, wie ein polnischer Arzt zu denken. Sie schufen ein neues Testfeld, das auf den tatsächlichen Prüfungen basiert, die Medizinstudenten und Spezialisten absolvieren müssen, um in ihrem Land praktizieren zu dürfen. Diese Prüfungen sind anspruchsvoll, sie decken alles von der Grundlagen der Anatomie bis hin zu komplexen chirurgischen Eingriffen ab, und sie sind auf Polnisch verfasst. Das Team sammelte über 22.000 Fragen aus diesen realen Tests, einschließlich einiger, die professionell ins Englische übersetzt worden waren. Indem sie diese Fragen verschiedenen KI-Modellen zuführten, konnten sie sehen, ob die Maschinen dieselben Hürden nehmen könnten wie menschliche Studenten, und ob die Sprache der Frage das Ergebnis veränderte.
Die Ergebnisse zeichneten ein klares Bild davon, wo diese Modelle stehen. Die fortschrittlichsten Systeme der künstlichen Intelligenz, insbesondere eines namens GPT-4o, schnitten bemerkenswert gut ab und beantworteten fast 90 Prozent der Fragen der allgemeinen medizinischen Zulassungsprüfung korrekt. Dieser Wert ist hoch genug, dass das Modell die Prüfung zusammen mit einem typischen Medizinstudenten bestehen würde. Doch die Geschichte ändert sich, wenn die Fragen schwieriger oder spezialisierter werden. Als die Forscher die Modelle bei Prüfungen für Zahnmedizinstudenten und auf fortgeschrittenen Tests für medizinische Spezialisten testeten, sanken die Werte signifikant. Selbst die am besten abschneidenden KIs hatten mit der zahnmedizinischen Prüfung zu kämpfen, und bei den Facharztprüfungen konnte die KI in mehr als 30 Prozent der getesteten medizinischen Fachgebiete den durchschnittlichen menschlichen Arzt nicht übertreffen. In einigen spezifischen Bereichen, wie der Audiologie sowie der Hals-Nasen-Ohren-Heilkunde, schnitt die KI schlechter ab als jeder einzelne Mensch, der in jenem Jahr die Prüfung abgelegt hatte.
Ein entscheidender Teil der Studie war der Vergleich, wie die Modelle dieselben Fragen in Polnisch versus Englisch behandelten. Die Forscher fanden heraus, dass die Sprache für die meisten Modelle einen riesigen Unterschied machte. Wenn eine Frage auf Englisch gestellt wurde, war die KI viel wahrscheinlicher in der Lage, sie richtig zu beantworten, als wenn dieselbe Frage auf Polnisch gestellt wurde. Dies deutet darauf hin, dass die Modelle die medizinischen Konzepte nicht auf eine universelle Weise wirklich verstehen, sondern stattdessen auf Mustern basieren, die sie aus englischen Texten gelernt haben. Mit zunehmender Größe und Leistungsfähigkeit der Modelle begann sich diese sprachliche Lücke zu verringern, aber sie verschwand nicht vollständig. Ein Modell, das speziell für die polnische Sprache entwickelt wurde, schnitt bei polnischen Fragen besser ab als bei englischen, konnte aber dennoch nicht die rohe Gewalt der größten, allgemeineren Modelle erreichen, wenn diese auf Englisch gefragt wurden.
Die Studie hob auch hervor, dass das Bestehen eines Multiple-Choice-Tests nicht dasselbe ist wie die Kompetenz eines Arztes zu sein. Die in der Studie verwendeten Prüfungen sind schriftliche Tests, bei denen ein Student die richtige Antwort aus einer Liste von Optionen auswählt. Die reale medizinische Praxis beinhaltet jedoch das Gespräch mit Patienten, das Zuhören bei ihren Erzählungen, das Untersuchen ihrer Körper und das Treffen von Entscheidungen, wenn es keine einzige richtige Antwort gibt. Die Forscher betonten, dass diese KI-Werkzeuge zwar beeindruckend sind, sie aber noch nicht den menschlichen Austausch und das komplexe Urteilsvermögen ersetzen können, die in einem Krankenhaus erforderlich sind. Die Modelle können nützliche Assistenten sein, die helfen, Informationen zu organisieren oder Berichte zu entwerfen, aber sie sind nicht bereit, den Platz eines approbierten Arztes einzunehmen.
Letztendlich dient die Arbeit als Warnung und als Wegweiser für die Zukunft der Medizintechnik. Sie zeigt, dass die künstliche Intelligenz zwar immer besser darin wird, medizinische Fragen zu beantworten, aber noch nicht zuverlässig genug ist, um ihr blind zu vertrauen, insbesondere wenn sich die Sprache oder das spezifische medizinische Fachgebiet ändert. Die Ergebnisse legen nahe, dass diese Werkzeuge, bevor sie in Kliniken eingesetzt werden, streng in den spezifischen Sprachen und Kontexten getestet werden müssen, in denen sie verwendet werden sollen. Die Lücke zwischen der Leistung in Englisch und Polnisch beweist, dass von einem Modell, das auf einem bestimmten Datensatz trainiert wurde, nicht einfach angenommen werden kann, dass es in einem anderen perfekt funktioniert. Während die Technologie sich weiterentwickelt, ist das Ziel, Systeme zu schaffen, die nicht nur intelligent, sondern auch fair und genau für Patienten überall sind, unabhängig von der Sprache, die sie sprechen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.