Capabilities of Claude Fable 5 on Biomedical Challenge Problems
Diese Arbeit zeigt auf, dass Anthropic's Claude Fable 5 zwar Spitzenleistungen bei der Genauigkeit in biomedizinischen Benchmarks erzielt, wenn es interagiert, sein praktischer Nutzen jedoch durch eine einzigartige und allgegenwärtige Tendenz, einen signifikanten Teil der Fragen abzulehnen – ein Muster, das sowohl bei seinen Vorgängern als auch bei GPT-5 nicht vorhanden ist – massiv eingeschränkt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen superintelligenten Roboter-Bibliothekar namens Fable 5. Dieser Roboter ist Anthropic's neueste, leistungsstärkste Schöpfung, entwickelt, um medizinische Lehrbücher zu lesen, auf Röntgenbilder zu schauen und knifflige Biologie-Rätsel zu lösen. Aber hier ist der Clou: Wenn man ihn eine Frage stellt, hält er sich manchmal die Ohren zu und sagt: „Das kann ich nicht beantworten“, anstatt eine falsche Antwort zu geben.
Dieses Paper ist wie eine Detektivgeschichte, in der Forscher versucht haben herauszufinden: Wird dieser Roboter tatsächlich dümmer oder ist er nur super wählerisch bei dem, worüber er sprechen will?
Das große „Ich kann nicht“-Rätsel
Die Forscher testeten Fable 5 gegen drei andere Roboter (zwei ältere Versionen von sich selbst und einen Rivalen namens GPT-5) bei acht verschiedenen medizinischen Herausforderungen. Diese Herausforderungen reichten von Multiple-Choice-Fragen aus USMLE-Prüfungen bis hin zum Betrachten von Bildern von Tumoren und der Diagnose seltener Krankheiten.
Die große Überraschung:
Auf den ersten Blick sah Fable 5 wie der Verlierer aus. In vielen Tests war seine Rohpunktzahl niedriger als die der anderen. Aber die Forscher stellten fest, dass etwas Seltsames passierte. Sie fanden heraus, dass Fable 5 einen riesigen Teil der Fragen verweigerte.
- In einem Test namens RareBench (über seltene Krankheiten) verweigerte Fable 5 99,4 % der Fragen. Er sagte quasi zu fast allem „Nö“.
- In anderen Tests verweigerte er zwischen 8,0 % und 42 % der Antworten.
Die anderen Roboter? Sie verweigerten kaum etwas (weniger als 0,4 %). Sie versuchten einfach, alles zu beantworten, selbst wenn sie dabei falsch lagen.
Die „gewertete“ Bestenliste
Hier ist der magische Trick, den die Forscher anwandten. Sie beschlossen, die „Ich kann nicht“-Antworten nicht als „falsche“ Antworten zu zählen. Stattdessen betrachteten sie nur die Fragen, die Fable 5 tatsächlich versuchte zu beantworten.
Als sie dies taten, drehte sich die Geschichte komplett um:
- MedQA (Medizinische Prüfung): Fables „reale“ Genauigkeit sprang auf 96,6 % und schlug damit alle anderen.
- PubMedQA: Er erreichte 81,3 % und schlug auch hier die anderen.
- RareBench: Das ist der verrückteste Teil. Weil er 99,4 % der Fragen verweigerte, beantwortete er nur 6 davon. Aber bei diesen 6 lag er bei 0,36 % richtig. Das klingt schlecht, oder? Aber die Forscher weisen darauf hin, dass diese winzige Zahl kein Maß für seine Geisteskraft ist; sie ist nur ein Maß dafür, wie oft er nicht den Mund aufgemacht hat. Als sie die Fragen auf eine andere, weniger „arztähnliche“ Weise formulierten, antwortete Fable 5 mehr, und bei diesen neuen Antworten erreichte er 39,4 % – besser als die anderen Roboter bei den ursprünglichen Fragen!
Das Hauptergebnis: Das Paper kommt zu dem Schluss, dass Fable 5 nicht tatsächlich weniger fähig ist. Tatsächlich ist er – wann immer er sich entscheidet zu sprechen – oft der klügste Roboter im Raum. Das Problem ist nicht sein Gehirn; es ist seine Bereitschaft zur Interaktion. Es ist wie ein genialer Schüler, der eine Prüfung nur dann ablegt, wenn die Frage auf eine ganz bestimmte Art und Weise formuliert ist.
Die zwei „Keine Antwort“-Muster
Die Forscher gruben tief, um herauszufinden, warum Fable 5 „Nein“ sagte. Sie fanden zwei unterschiedliche Muster, wie zwei verschiedene Arten von Filtern:
- Der „Basiswissenschaften“-Filter: Bei Standard-Medizinexamen (MedQA und MedXpertQA MM) verweigerte Fable 5 hauptsächlich Fragen zu Basiswissenschaften und Mechanismen (wie z. B. wie ein Medikament wirkt oder wie ein Herz schlägt). Er war bereit, Fragen zur Diagnose eines Patienten zu beantworten, aber wenn die Frage nach der zugrunde liegenden Biologie fragte, schaltete er oft ab.
- Der „Seltene Krankheiten“-Filter: Beim RareBench-Test bezog sich die Verweigerung nicht auf die Art der Wissenschaft. Es ging um die Krankheit.
- Er verweigerte fast alle Fragen zu angeborenen Stoffwechselerkrankungen (seltene Zustände, mit denen Babys geboren werden, wie PKU).
- Er war viel eher bereit, Fragen zu Autoimmunerkrankungen bei Erwachsenen (wie Lupus) zu beantworten.
- Die Forscher versuchten, den Prompt so zu ändern, dass er weniger wie ein „klinisches Entscheidungsunterstützungssystem“ und mehr wie eine neutrale Liste klang, aber das half nicht viel. Selbst mit einem neutralen Prompt wurden immer noch 90,7 % der Fragen zu seltenen Krankheiten verweigert.
Was sie ausgeschlossen haben (Die „Nicht es“-Liste)
Das Paper ist sehr sorgfältig darin zu sagen, was NICHT die Ursache für diese Verweigerungen war:
- Es liegt nicht daran, dass die Fragen zu schwer sind. Die Forscher überprüften dies, und Fable 5 verweigerte Fragen, die die anderen Roboter korrekt beantwortet hatten.
- Es liegt nicht daran, dass die Fragen offen formuliert sind. Er verweigerte Multiple-Choice-Fragen genauso oft wie offene Fragen.
- Es liegt nicht daran, dass der Prompt zu „autoritär“ klang. Die Änderung des Prompts von „Du bist ein Arzt“ zu „Hier ist ein Patient“ korrigierte die Verweigerungsrate nur minimal (von 99,4 % auf 90,7 %).
- Es ist kein „Fallback“ auf ein älteres Modell. Manchmal verstecken Unternehmen eine Verweigerung, indem sie heimlich zu einem älteren, sichereren Modell wechseln. Die Forscher prüften die Protokolle, und der Roboter war definitiv immer noch Fable 5, wenn er „Nein“ sagte.
Das Urteil
Das Paper behauptet nicht zu wissen, warum Fable 5 diese spezifischen Filter hat. Die Autoren geben zu, dass sie nicht in das Gehirn des Roboters schauen können, um zu wissen, ob es sich um eine Sicherheitsfunktion handelt, die zu weit geht, oder um einen Fehler.
Sie sind sich jedoch einer Sache sehr sicher: Wenn man es schafft, Fable 5 zum Antworten zu bringen, ist er unglaublich genau. Die Lücke zwischen seinen Rohpunktzahlen und seiner wahren Fähigkeit liegt allein in seiner Weigerung, das Spiel mitzuspielen, und nicht an einem Mangel an Können.
Wenn Sie also ein Arzt oder Forscher sind, der dieses Werkzeug nutzt, legt das Paper nahe: Gehen Sie nicht davon aus, dass er dumm ist, nur weil er sagt „Das kann ich nicht“. Er ist vielleicht nur besonders vorsichtig. Die Herausforderung besteht nicht darin, ihm mehr Medizin beizubringen; es geht darum, herauszufinden, wie man die Frage stellt, damit er den Mund aufmacht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.