RAGulate: Retrieval-Augmented Generation for Post-hoc Literature-Grounded Regulatory Assessment

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Welcher spezifische „Schalter“ (ein Transkriptionsfaktor) schaltet welche spezifische „Glühbirne“ (ein Gen) innerhalb einer Zelle an?

Computer haben bereits eine Liste von Vermutungen erstellt, welche Schalter welche Lampen steuern. Doch bevor ein Biologe diesen Vermutungen vertrauen und teure Experimente durchführen kann, um sie zu beweisen, muss er die harte Arbeit leisten, die Beweise zu prüfen. Diese Beweise sind überall verstreut, in Millionen von wissenschaftlichen Artikeln geschrieben, in komplexer Sprache und verwenden oft unterschiedliche Namen für dieselben Dinge. Es ist, als versuche man, einen spezifischen Fakt in einer Bibliothek zu finden, in der die Bücher in verschiedenen Sprachen verfasst sind, die Autoren Spitznamen verwenden und die Fakten in den Fußnoten versteckt sind.

Das Problem mit Standard-KI
Wissenschaftler haben versucht, „intelligente“ Computerprogramme (Large Language Models) einzusetzen, um diese Bücher zu lesen und die Beweise für sie zusammenzufassen. Aber diese Programme haben eine schlechte Angewohnheit: Sie neigen manchmal zu Halluzinationen. Sie erfinden manchmal selbstbewusst einen Fakt oder zitieren ein Buch, das gar nicht existiert, nur weil es plausibel klingt. Es ist wie ein Schüler, der die Antworten bei einer Prüfung rät, weil er denkt, dass sie so sein müsste, anstatt tatsächlich das Lehrbuch zu lesen.

Die Lösung: RAGulate
Die Autoren haben ein neues Werkzeug namens RAGulate entwickelt. Stellen Sie sich RAGulate nicht als einen Schüler vor, der Antworten rät, sondern als einen super-effizienten Forschungsbibliothekar, dem es strengstens untersagt ist, Dinge zu erfinden.

So arbeitet dieser Bibliothekar, Schritt für Schritt:

1. Die Masterliste (CollecTRI): Der Bibliothekar beginnt mit einer vertrauenswürdigen, vorab verifizierten Liste bekannter Schalter-Glühbirnen-Verbindungen. Dies ist die „Ground Truth“ (die absolute Wahrheit), um sicherzustellen, dass er am richtigen Ort sucht.
2. Dieselbe Sprache sprechen (Alias-Expansion): Wissenschaftliche Namen sind knifflig. Ein Protein kann in einem Paper als „Gen A“ bezeichnet werden und in einem anderen als „Protein X“. RAGulate ist klug genug zu wissen, dass dies dasselbe ist, damit es keine Hinweise übersieht, nur weil ein Spitzname verwendet wurde.
3. Die duale Suche (Hybride Abfrage): Wenn er nach Beweisen sucht, nutzt der Bibliothekar gleichzeitig zwei Suchstrategien:
   • Die Stichwortsuche: Die Suche nach exakten Wortübereinstimmungen (wie ein traditionelles Register).
   • Die „Vibe“-Suche: Die Suche nach Konzepten, die sich ähnlich anfühlen, selbst wenn die Wörter anders sind (wie das Finden eines Buches über „Herzgesundheit“, wenn man nach „kardiovaskulärem Wohlbefinden“ sucht).
   • Durch die Kombination dieser Methoden findet der Bibliothekar die relevantesten Seiten aus der riesigen Bibliothek der wissenschaftlichen Literatur.
4. Der Faktenchecker: Sobald die besten Seiten gefunden wurden, liest die KI nur diese Seiten, um zu entscheiden, ob die Beweise die Verbindung stützen. Sie verlässt sich nicht auf ihr eigenes Gedächtnis; sie stützt sich ausschließlich auf die Dokumente, die sie gerade gefunden hat.

Die Ergebnisse
Als das Team dieses System testete:

• Bessere Suche: Die „Spitznamen“-Korrektur half dem Bibliothekar, viel mehr relevante Artikel zu finden.
• Intelligentere Antworten: Die Verwendung sowohl der Stichwort- als auch der „Vibe“-Suche zusammen fand im Vergleich zur Nutzung nur einer Methode die meisten Beweise.
• Weniger Lügen: Da die KI gezwungen war, ihre Antworten auf die spezifischen Dokumente zu basieren, die sie gefunden hatte, machte sie weit weniger Fehler und zitierte viel häufiger die korrekten wissenschaftlichen Arbeiten (PMIDs).
• Vertrauenswürdige Erklärungen: Die Erklärungen, die sie lieferte, waren dem tatsächlichen Text treu und keine erfundenen Geschichten.

Das Wesentliche
RAGulate ist ein Werkzeug, das darauf ausgelegt ist, mit Biologen zusammenzuarbeiten. Es fungt als zuverlässiger Assistent, der das Rauschen in der wissenschaftlichen Literatur herausfiltert, um Forschern zu sagen: „Hier ist der spezifische Beweis aus diesen Papieren, der diese Genverbindung stützt, und hier ist der Beleg.“ Dies hilft Wissenschaftlern dabei, zu priorisieren, welche Experimente sie zuerst durchführen sollten, was Zeit spart und das Risiko verringert, falschen Fährten zu folgen.

Hinweis: Die Arbeit konzentriert sich strikt auf die Verbesserung der Art und Weise, wie Wissenschaftler Gen-Schalter-Experimente anhand von Literatur priorisieren. Sie erhebt nicht den Anspruch, Krankheiten direkt zu diagnostizieren oder Patienten direkt zu behandeln.