A Benchmark for End-to-End Zero-Shot Biomedical Relation Extraction with LLMs: Experiments with OpenAI Models
Dieses Paper führt einen Benchmark zur Evaluierung der End-to-End Zero-Shot-Extraktion biomedizinischer Relationen unter Verwendung von OpenAI-Modellen ein und zeigt auf, dass diese großen Sprachmodelle zwar bei bestimmten Datensätzen eine überwachte Leistung erreichen, aber dennoch Schwierigkeiten mit komplexen Eingaben haben, die mehrere Relationen beinhalten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der medizinischen Forschung als eine riesige, stetig wachsende Bibliothek vor. Jeden Tag werden tausende neue Bücher (wissenschaftliche Arbeiten) in die Regale eingeordnet. In diesen Büchern befinden sich entscheidende Fakten: welche Medikamente zusammenwirken, welche Gene Krankheiten verursachen und wie Chemikalien mit Proteinen interagieren.
Das Problem ist, dass diese Bibliothek zu groß ist, um sie von Menschen manuell lesen und organisieren zu lassen. Wir benötigen eine Möglichkeit, diese Fakten automatisch zu extrahieren und in ordentliche, strukturierte Listen (wie eine Tabellenkalkulation) zu übertragen, damit Computer sie nutzen können. Dieser Prozess wird als Relation Extraction (RE) bezeichnet.
Traditionell mussten wir Experten einstellen, die tausende Arbeiten lesen, die Fakten hervorheben und sie beschriften, um einem Computer beizubringen, dies zu tun. Das ist so, als würde man ein Team von Tutoren einstellen, um einen Studenten für jedes einzelne neue Fach zu unterrichten. Es ist langsam, teuer und erschöpfend.
Die große Frage: Können wir den Tutor überspringen?
Mit dem Aufkommen von „Large Language Models“ (LLMs) – hochintelligenten KI-Chatbots wie denen, die Sie vielleicht schon genutzt haben – stellten Forscher die Frage: Können wir die KI einfach die Arbeit erledigen lassen, ohne sie vorher zu trainieren? Dies wird als Zero-Shot-Lernen bezeichnet. Anstatt die KI mit Beispielen zu trainieren, geben wir ihr einfach einen Prompt (eine Anweisung) und sehen, ob sie es im laufenden Betrieb selbst herausfinden kann.
Dieses Paper ist ein Benchmark-Test. Die Autoren haben einen „Gym“ mit sieben verschiedenen Arten von medizinischen Rätseln aufgebaut, um zu sehen, ob diese KI-Modelle diese lösen können, ohne jegliches vorheriges Training.
Das Experiment: Die KI gegen die Bibliothek
Die Forscher testeten drei verschiedene KI-Modelle (GPT-4, OpenAI's „o1“ und ein Open-Source-Modell namens GPT-OSS) auf sieben verschiedenen Datensätzen. Stellen Sie sich diese Datensätze als verschiedene Schwierigkeitsgrade in einem Videospiel vor:
- Die leichten Level: Einige Rätsel waren einfach. Sie bestanden aus kurzen Sätzen mit nur ein oder zwei Arten von Fakten, die zu finden waren (wie „Medikament A verursacht Nebenwirkung B“).
- Die schweren Level: Andere Rätsel waren chaotisch. Sie bestanden aus langen Absätzen mit Dutzenden von Fakten, komplexen wissenschaftlichen Namen und vielen verschiedenen Arten von Beziehungen, die miteinander vermischt waren.
Die Aufgabe der KI war es, den Text zu lesen und eine strukturierte Liste von Fakten auszugeben, wie zum Beispiel: {Drug: Aspirin, Effect: Reduces Pain}.
Was sie herausgefunden haben
Die Ergebnisse waren eine Mischung aus „nicht schlecht“ und „verbesserungswürdig“.
- Die einfachen Dinge: Wenn der Text kurz und die Fakten offensichtlich waren, schnitten die KI-Modelle überraschend gut ab. Sie waren fast so gut wie die herkömmlichen, intensiv trainierten Systeme. Es ist, als könnte die KI problemlos einen roten Apfel in einer Schale voller Obst erkennen.
- Die komplexen Dinge: Wenn der Text lang und unübersichtlich wurde, geriet die KI ins Straucheln.
- Fehlende Teile: Wenn ein Absatz 10 Fakten enthielt, fand die KI oft nur 3 oder 4. Es ist, als würde man eine lange Geschichte lesen und sich nur an den Anfang und das Ende erinnern, während man die Mitte vergisst.
- Falsche Grenzen: Manchmal hatte die KI die richtige Idee, aber die falschen Wörter. Wenn im Text „starker Kopfschmerz“ stand, extrahierte die KI vielleicht nur „Kopfschmerz“. In der Medizin macht dieser winzige Unterschied einen Unterschied.
- Verwirrung: Bei den schwierigsten Datensätzen (mit 8 verschiedenen Arten von Beziehungen) war die KI sehr verwirrt und brachte oft durcheinander, welches Medikament was bei welcher Krankheit bewirkte.
Das „Goldstandard“-Problem
Einer der interessantesten Punkte des Papers betrifft die Art und Weise, wie wir die KI bewerten.
- Der strenge Notengeber: Wenn die KI „Hypertonie“ schreibt, aber das Lehrbuch „Bluthochdruck“ sagt, sagt ein strenger Computer „Falsch!“, obwohl ein Mensch sagen würde: „Das ist dasselbe“.
- Die menschliche Realität: Die Autoren fanden heraus, dass die KI manchmal Fakten fand, die den menschlichen Experten im Original-Lehrbuch entgangen waren. Dies deutet darauf hin, dass auch die „korrekten“ Antworten in diesen Tests nicht perfekt sein könnten.
Das Urteil
Das Paper kommt zu dem Schluss, dass Zero-Shot-KI zwar näher daran rückt, nützlich zu sein, aber noch nicht bereit ist, menschliche Experten zu ersetzen.
- Für einfache Aufgaben: Sie ist ein großartiges Werkzeug. Man kann sie bitten, Fakten aus kurzen Sätzen zu extrahieren, und sie wird es wahrscheinlich richtig machen.
- Für komplexe Aufgaben: Sie hat noch immer zu kämpfen. Sie neigt dazu, Fakten in langen Dokumenten zu übersehen und lässt sich von komplexem wissenschaftlichem Jargon verwirren.
Die Autoren warnen auch, dass wir nicht genau wissen, mit welchen Daten diese KI-Modelle trainiert wurden. Es ist möglich, dass sie einige der Antworten „auswendig gelernt“ haben, da diese Arbeiten online verfügbar sind. Da die KI jedoch bei den schwierigsten Datensätzen so schlecht abschnitt, ist es unwahrscheinlich, dass sie die Antworten einfach nur auswendig gelernt hat; sie versucht tatsächlich, den Text zu verstehen.
Zusammenfassend
Betrachten Sie diese KI-Modelle als ** brillante, aber unerfahrene Praktikanten**.
- Wenn Sie ihnen ein kurzes, klares Memo geben, können sie es perfekt zusammenfassen.
- Wenn Sie ihnen einen 50-seitigen, komplexen Bericht mit widersprüchlichen Details geben, übersehen sie vielleicht die wichtigsten Punkte oder geben die Details leicht falsch wieder.
Das Paper sagt nicht, dass wir aufhören sollten, diese Werkzeuge zu benutzen, aber es besagt, dass wir vorsichtig sein müssen. Wir können sie noch nicht einfach die gesamte medizinische Datenbank allein verwalten lassen; wir müssen ihre Arbeit immer noch überprüfen, besonders wenn die Informationen komplex sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.