Artificial Intelligence Can Match Domain Experts in Evidence Extraction and Critical Appraisal of Microbial Oncogenesis Research Publications

Stellen Sie sich die Welt der medizinischen Forschung als eine riesige, chaotische Bibliothek vor, die niemals aufhört zu wachsen. Jeden einzelnen Tag werden tausende neue Bücher – wissenschaftliche Arbeiten – über winzige Keime (Mikroben) und wie sie Krankheiten wie Krebs verursachen könnten, geschrieben. Lange Zeit war der einzige Weg herauszufinden, ob ein bestimmter Keim ein Bösewicht war, ein Team aus superintelligenten menschlichen Detektiven (Fachexperten), die jede einzelne Seite lasen, Fakten abglichen und entschieden, ob die Beweise stark genug waren. Aber mit über einer Million neu veröffentlichten Artikeln pro Jahr wurde diese rein menschliche Detektivarbeit unmöglich. Es ist, als würde man versuchen, aus einem Feuerwehrschlauch zu trinken; die Experten können einfach nicht mithalten. Hier kommt Künstliche Intelligenz (KI) ins Spiel, speziell ein Typ namens Large Language Models (LLMs). Betrachten Sie diese KIs als superschnelle Super-Leser, die die gesamte Bibliothek in Sekunden scannen können. Aber hier stellt sich die große Frage: Kann ein Roboter wirklich wie ein menschlicher Experte denken? Kann er die subtilen Hinweise erkennen, die beweisen, dass ein Keim Krebs verursacht, oder wird er einfach Geschichten erfinden (ein Problem, das als „Halluzinieren“ bezeichnet wird) und die Fakten falsch wiedergeben? Wissenschaftler mussten wissen, ob sie diesen digitalen Detektiven vertrauen konnten, bevor sie ihnen die Aufgabe überließen, die Welt der medizinischen Evidenz zu sortieren.

Dieses Paper stellt ein hochkarätiges Duell zwischen menschlichen Experten und KI auf die Probe, um zu sehen, wer besser darin ist, ein spezifisches Rätsel zu untersuchen: ob ein Virus namens Mouse Mammary Tumor Virus-Like Virus (MMTV-LV) Brustkrebs beim Menschen verursacht. Die Forscher sammelten 24 echte wissenschaftliche Arbeiten über dieses Virus und erstellten ein riesiges, 77-Fragen umfassendes Quiz, um die Detektive zu testen. Sie baten vier verschiedene KI-Modelle (zwei von Google namens Gemini und zwei von OpenAI namens GPT-5), die Arbeiten zu lesen und das Quiz zu beantworten, während ein Team menschlicher Experten dasselbe tat. Das Ziel war nicht nur zu sehen, wer die meisten Antworten richtig hatte, sondern auch zu sehen, ob die KI in der Lage war, Beweise zu lesen und zu beurteilen, genau wie die Menschen.

Die Ergebnisse waren eine Mischung aus „Wow“ und „Whoa“. Die Studie ergab, dass zwei der KI-Modelle, GPT-5 und GPT-5 Nano, fast exakt wie die menschlichen Experten agierten. Als die Forscher die Antworten der KI mit den Antworten der Menschen mischten, änderte sich die allgemeine Übereinstimmung der Gruppe überhaupt nicht. Es war, als wäre die KI dem Expertenteam beigetreten und wäre einfach ein weiterer brillanter Kollege. Diese KIs waren großartig darin, Texte zu lesen, komplexe medizinische Sprache zu verstehen und zusammenzufassen, was die Arbeiten aussagten. Sie erfanden selten Fakten (Halluzinationen), und wenn sie es taten, geschah dies meist bei den kleineren, weniger leistungsfähigen Modellen.

Die KI war jedoch nicht perfekt. Die Studie zeigte, dass die KI-Modelle, insbesondere die Google Gemini Modelle, dazu neigten, „zu nett“ zu sein. Sie waren „nachsichtig“, was bedeutete, dass sie eher bereit waren zu sagen, dass eine Arbeit einen starken Beweis für die Ursache eines Virus bei Krebs lieferte, als es die Menschen taten. Manchmal sahen sie eine Verbindung, wo die Menschen keine sahen, wie zum Beispiel die Annahme eines Zusammenhangs zwischen Mausstudien und menschlicher Krankheit ohne ausreichenden Beweis. Die KI hatte auch Schwierigkeiten mit den kniffligsten Teilen des Jobs: Widersprüche innerhalb einer Arbeit zu finden (wie etwa wenn die Zahlen in einer Grafik nicht mit dem Text übereinstimmten) und die Methoden der Studie zu kritisieren. Es ist wie ein Schüler, der eine Geschichte perfekt zusammenfassen kann, aber übersieht, dass der Zeitablauf des Hauptcharakters keinen Sinn ergibt.

Am Ende legt das Paper nahe, dass wir fortgeschrittener KI vertrauen können, um uns beim Durchsieben des Berges an medizinischer Forschung zu helfen. Sie sind schnell, weitgehend genau und können mit menschlichen Experten beim Extrahieren von Schlüsselfakten mithalten. Aber sie sind noch nicht bereit, Menschen vollständig zu ersetzen. Der beste Ansatz, so schlagen die Autoren vor, besteht darin, die KI als leistungsstarken Assistenten einzusetzen, der die schwere Arbeit des Lesens und Zusammenfassens übernimmt, während menschliche Experten im Prozess bleiben, um die schwierige Logik zu überprüfen und subtile Fehler zu finden. Es ist eine Partnerschaft, bei der der Roboter das Lesen übernimmt und der Mensch das kritische Denken.