🤖 AI

AI Scientists Are Only as Good as Their Evidence: A Stratified Ablation of Proprietary Data and Reasoning Skills in Drug-Asset Valuation

Diese Arbeit zeigt auf, dass bei der Bewertung von Arzneimittelwerten zwar Reasoning-Scaffolds die Kalibrierung und Disziplin eines KI-Agenten verbessern, die Verfügbarkeit proprietärer Belege jedoch der entscheidende limitierende Faktor ist, der die Obergrenze für die faktische Genauigkeit und den Entscheidungsnutzen festlegt.

Ursprüngliche Autoren: Yinan Wang

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yinan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von Detektiven ein, um einen komplexen Fall zu lösen: Ist eine neue Medikamentenidee Millionen von Dollar wert?

Um dies zu beantworten, muss der Detektiv drei Dinge wissen:

Die Wissenschaft: Ergibt die Biologie Sinn?
Der Wettbewerb: Wer versucht sonst noch, dies zu tun?
Die Geschichte: Gab es früher ähnliche Medikamente, die erfolgreich waren oder gescheitert sind?

Das von Ihnen bereitgestellte Dokument ist ein „Stresstest“ für drei verschiedene Arten von KI-Detektiven, um zu sehen, welcher tatsächlich der beste bei der Lösung dieses Falls ist. Die Forscher wollten herausfinden: Ist die Intelligenz des Detektivs (das KI-Modell) das Wichtigste, oder ist die Qualität der Beweise, die er lesen darf, der eigentliche Engpass?

Hier ist die Aufschlüsselung des Experiments und dessen Ergebnisse, unter Verwendung einfacher Analogien.

Die drei Detektive (Das Experiment)

Die Forscher setzten drei Versionen eines KI-Agenten auf, die alle denselben „Geist“ (dasselbe zugrunde liegende KI-Modell) verwendeten. Der einzige Unterschied war, welche Werkzeuge und Informationen ihnen zur Verfügung standen.

Detektiv A (Der „Websurfer“):
- Werkzeuge: Kann nur eine Standard-Websuche (wie Google) verwenden und hat keine spezielle Ausbildung.
- Analogie: Dies ist ein kluger Praktikant, der in eine öffentliche Bibliothek geht und liest, was in den offenen Regalen steht. Er ist klug, kann aber nur finden, was auch jeder andere finden kann.
Detektiv B (Der „geschulte Analyst“):
- Werkzeuge: Hat denselben Webzugriff, erhält aber ein striktes Playbook (eine Checkliste mit Regeln), ein „Red Team“ (einen Kritiker, der seine Arbeit überprüft) und Zugriff auf öffentliche Datenbanken (wie klinische Studienregister).
- Analogie: Dies ist derselbe Praktikant, aber jetzt hat er einen erfahrenen Mentor, der ihm eine Checkliste gibt, ein Regelwerk für die Erstellung von Berichten und Zugriff auf öffentliche Regierungsakten. Er ist disziplinierter und organisierter, aber er kann immer noch nicht die „Geheimakten“ sehen.
Detektiv C (Der „Insider“):
- Werkzeuge: Hat alles, was Detektiv B hat, PLUS Zugriff auf eine riesige, private, kostenpflichtige Datenbank (Noah AI), die kuratierte Datensätze von Arzneimittelstudien, Deals und Wettbewerbern enthält, die im öffentlichen Web verborgen sind.
- Analogie: Dies ist der erfahrene Ermittler, der einen Schlüssel zum vertraulichen Tresor besitzt. Er kann die privaten E-Mails, die unveröffentlichten Studienergebnisse und die „Long-Tail“-Deals sehen, die es nie in die Nachrichten geschafft haben.

Die Ergebnisse: Was haben sie herausgefunden?

Die Forscher testeten diese Detektive anhand von 13 verschiedenen Medikamentenfällen. Hier ist das Urteil:

1. Das „Playbook“ hilft, aber nur bedingt (Detektiv B vs. A)

Als Detektiv B (der geschulte Analyst) mit Detektiv A (dem Websurfer) verglichen wurde, waren die Ergebnisse interessant:

Bessere Disziplin: Detektiv B schrieb bessere Berichte. Er neigte weniger dazu, wilde Vermutungen anzustellen, und hielt sich besser an die Regeln.
Das Problem: Detektiv B übersah dennoch 60 % bis 75 % der wichtigen Wettbewerber und Deals.
Die Analogie: Stellen Sie sich vor, Detektiv B ist ein sehr höflicher, gut organisierter Bibliothekar, der jeder Regel folgt. Aber wenn das Buch, das er finden muss, in einem privaten Tresor verschlossen ist, wird auch keine noch so gute Organisation ihm helfen, es zu finden. Er ist „kalibriert“ (denkt klar), aber „blind“ (übersieht Fakten).

2. Der „Private Tresor“ verändert alles (Detektiv C)

Als Detektiv C (der Insider) hinzukam, änderten sich die Ergebnisse drastisch:

Vollständigkeit: Detektiv C fand 96 % der kritischen Informationen. Detektiv A und B fanden nur etwa 25 % bis 38 %.
Der „Long-Tail“-Effekt: Die größte Lücke lag beim Auffinden von „Long-Tail“-Daten – kleinen, obskuren oder regionalen Arzneimittelstudien, die niemals im offenen Web erscheinen. Detektiv C fand fast alle davon; die anderen fanden fast gar nichts.
Die Analogie: Detektiv C schrieb nicht nur einen besseren Bericht; er sah das gesamte Spielfeld. Während die anderen Schach mit nur der Hälfte der Figuren spielten, sah Detektiv C das gesamte Spiel.

3. Die „Informierte Entscheidungsqualität“

Dies ist der wichtigste Befund.

Rohe Qualität: Wenn man nur den fertigen Bericht liest, ohne zu wissen, welche Fakten fehlten, klangen Detektiv A und B fast so gut wie Detektiv C. Sie klangen selbstbewusst und logisch.
Reale Qualität: Aber weil A und B so viele Fakten übersehen hatten, basierten ihre Entscheidungen auf unvollständigen Informationen.
Die Mathematik: Die Forscher erstellten eine Kennzahl namens „Informed Decision Quality“ (Qualität der informierten Entscheidung).
- Score Detektiv A/B: ~2,0 (Sie klangen gut, aber fehlten 75 % der Fakten).
- Score Detektiv C: ~7,4 (Sie klangen gut UND hatten alle Fakten).
Die Deckelung: Das Paper argumentiert, dass selbst wenn man Detektiv B einen „perfekten“ Verstand und einen perfekten Bericht gegeben hätte, er dennoch bei einem niedrigen Wert gedeckelt wäre, weil er physisch nicht in der Lage war, auf die fehlenden Beweise zuzugreifen. Man kann nicht den Weg zur Wahrheit denken, wenn man die Wahrheit nicht sehen kann.

Die wichtigste Erkenntnis

Das Paper zieht eine einfache Schlussfolgerung für den Aufbau von KI-Wissenschaftlern:

„Fähigkeiten und Daten sind beide nützlich, aber Daten sind der limitierende Faktor.“

Denkfähigkeiten (Das Playbook): Diese sind notwendig. Sie verhindern, dass die KI leichtsinnig wird, helfen ihr, ihre Gedanken zu ordnen und stellen sicher, dass sie Regeln befolgt. Sie machen die KI zu einem besseren Schreiber und zu einem disziplinierteren Denker.
Evidenz-Substrat (Die Daten): Dies ist der limitierende Faktor. Wenn die KI keinen Zugriff auf die privaten, kuratierten Long-Tail-Daten hat, kann sie die volle Wahrheit schlichtweg nicht kennen. Kein noch so cleveres Prompting oder Reasoning-Trick kann die Lücken fehlender Informationen füllen.

Kurz gesagt: Man kann den klügsten Detektiv der Welt mit dem besten Regelwerk haben, aber wenn man ihn nicht in den Beweisraum lässt, wird er den Fall niemals korrekt lösen. Damit KI in hochsensiblen Bereichen wie der Arzneimittelentdeckung wirklich nützlich sein kann, benötigt sie Zugang zu den privaten, kuratierten Beweisen, nicht nur zum öffentlichen Internet.

Technische Zusammenfassung: KI-Wissenschaftler sind nur so gut wie ihre Evidenz

Problemstellung
Die Evaluierung von KI-Wissenschaftler-Agenten in spezialisierten Domänen, wie etwa der Bewertung von Arzneimittelwerten (Drug-Asset Valuation), vermischt häufig die Denkfähigkeit mit der Qualität der zugrunde liegenden Evidenz. Während Agenten oft basierend auf Modellqualität, Prompting oder Reasoning-Scaffolds bewertet werden, postuliert dieses Paper, dass der limitierende Faktor bei wissensintensiven Aufgaben das „Evidenz-Substrat“ ist – die private, kuratierte Long-Tail-Datenmenge, die dem Agenten zur Verfügung steht. Bei der Bewertung von Arzneimitteln erfordern korrekte Go/Watch/No-Go-Entscheidungen die Synthese von Zielbiologie, Wettbewerbspipelines, klinischen Präzedenzfällen und Business-Development (BD)-Intelligenz. Das Paper untersucht, ob der Engpass für einen KI-Agenten sein Denkprozess (Reasoning Procedure) oder die faktische Vollständigkeit der Daten ist, auf die er Zugriff hat.

Methodik
Die Autoren führten eine kontrollierte Drei-Arm-Ablationsstudie an einem produktionsreifen Bewertungsagenten in der Claude Code-Umgebung mit dem Opus 4.8 MAX Modell durch. Die Modellkapazität sowie das Zeit- und Umfangbudget wurden über alle Arme hinweg konstant gehalten; die manipulierten Variablen waren der Zugriff auf nicht-proprietäre Werkzeuge/Skills sowie proprietäre Daten.

Arm A (Plain): Ein kompetenter Generalist-Analyst mit lediglich Web-Suche. Ihm war die Nutzung von Projekt-Skills, Tools oder proprietären Daten explizit untersagt, und es wurde kein Scoring-Rubrik vorgegeben.
Arm B (+Skills + Public Tools): Das volle System inklusive eines 14-dimensionalen Bewertungs-Playbooks, öffentlicher APIs (ClinicalTrials.gov, PubMed, OpenTargets, OpenFDA), eines Zitaten-Verifizierers, einer Objektivitäts-Charta und eines adversen Red-Teams. Entscheidend war, dass die proprietäre Datenquelle ausgehungert wurde (auf ein leeres Verzeichnis verwiesen).
Arm C (+Skills + Public Tools + Data): Identisch mit Arm B, jedoch mit Zugriff auf die proprietäre Noah AI Datenbank, die kuratierte Pipeline-, Trial- und Deal-Intelligenz aus über 50.000 Quellen enthält.

Benchmark und Metriken
Die Studie nutzte einen Benchmark aus 13 Single-Target-Arzneimittel-Assets, stratifiziert in fünf Entscheidungs-Archetypen (S1–S5), die darauf ausgelegt sind, spezifische Fehlermodi (z. B. validierte, aber überfüllte „Me-too“-Produkte, White-Space-Opportunitäten und biologische Voids) aufzuzeigen.

Die Metriken wurden in drei Achsen kategorisiert:

Faktische Abdeckung (Factual Coverage): Gemessen durch den Recall gegenüber einem kuratierten „Gold“-Wettbewerbsdatensatz ( $R_{gold}$ ) und einem Long-Tail-Subset. Es wurde eine Methode der „Capability-Superset“-Berechnung verwendet, bei der höheren Armen die kumulative Vereinigung der Funde niedrigerer Arme angerechnet wurde, um die faktische Kapazität zu schätzen.
Methodische/Objektivitäts-Disziplin: Bewertet durch ein blindes 3-Richter-Panel hinsichtlich der Einhaltung von acht Objektivitätsgesetzen (z. B. Verdict-First, Evidenz-Tiering, diskonfirmierende Evidenz).
Entscheidungsqualität (Decision Quality): Umfasste die rohe Blind-Panel-Entscheidungsqualität (DQ) sowie die „Informierte Entscheidungsqualität“, definiert als $DQ \times R_{gold}$ . Diese Metrik berücksichtigt, dass ein fundiertes Urteil basierend auf unvollständiger Evidenz einen geringeren Nutzen hat.

Kernergebnisse

Faktisches Plateau (Factual Ceiling): Der nicht-proprietäre Stack (Arm B) rekonstruierte nur 0,38 des kuratierten Gold-Wettbewerbsdatensatzes und 0,30 des Long-Tail-Subsets. Im Gegensatz dazu rekonstruierte der datengestützte Stack (Arm C) 0,96 des Gold-Datensatzes und 0,93 des Long-Tail-Subsets. Arm A rekonstruierte jeweils nur 0,25 und 0,26.
Reasoning vs. Daten:
- Kalibrierung: Arm B verbesserte die „Tier-in-Range“-Genauigkeit von 0,80 (Arm A) auf 0,89 und korrigierte ein systematisches Versagen, bei dem der Plain-Agent (A) validierte Mechanismen in White-Space-Opportunitäten (S2) wahllos ablehnte.
- Objektivität: Arm B verbesserte die Objektivitätswerte moderat (von 3,16 auf 3,30), aber Arm C erreichte den höchsten Wert (3,60), was darauf hindeutet, dass reichere Evidenz eine fundiertere Argumentation ermöglicht.
- Entscheidungsqualität: Die rohe Blind-Panel-Entscheidungsqualität war zwischen A (7,01) und B (6,96) ähnlich, was darauf hindeutet, dass Skills/Tools zwar die Kalibrierung verbessern, aber nicht zwangsläufig die Prosa-Ebene der Urteilsbildung bei begrenzten Daten beeinflussen. Arm C erreichte eine höhere rohe DQ (7,65).
Informierte Entscheidungsqualität: Unter Berücksichtigung der Vollständigkeit der Evidenz dominierte Arm C mit einem Score von 7,43, verglichen mit 1,76 für Arm A und 2,57 für Arm B.
Ceiling-Analyse: Selbst unter der großzügigen Annahme, Arm B hätte einen perfekten Bericht erstellt (DQ=10), wäre seine „Informierte Entscheidungsqualität“ aufgrund seiner 0,383 Abdeckung der utilitäts-evaluierbaren Zellen auf 3,83 begrenzt. Dies liegt signifikant unter dem beobachteten Score von Arm C (7,43).

Signifikanz und Behauptungen
Das Paper kommt zu dem Schluss, dass für wissensintensive KI-Wissenschaftler-Agenten Reasoning-Skills und öffentliche strukturierte Tools notwendige Kontrollschichten sind, aber das proprietäre Evidenz-Substrat die limitierende Ressource darstellt.

Der Engpass: Der primäre Engpass ist nicht der Denkprozess (Reasoning Procedure), sondern das Evidenz-Substrat. Proprietäre Daten bestimmen die Obergrenze dessen, was ein KI-Wissenschaftler wissen und folglich entscheiden kann.
Komplementäre Rollen: Nicht-proprietäre Tools und Reasoning-Scaffolds verbessern die Kalibrierung (verhindern die systematische Unterbewertung von White-Space-Opportunitäten) und die Audit-Disziplin. Sie können jedoch keine fehlenden Long-Tail-Datensätze künstlich erzeugen.
Implikation für die Evaluierung: Die Evaluierung von KI-Agenten allein basierend auf der Stringenz ihres Reasonings oder der Qualität ihrer Prosa ist unzureichend, wenn die zugrunde liegende Evidenzbasis unvollständig ist. Ein Bericht kann methodisch fundiert, aber wissenschaftlich unterinformiert sein.
Praktische Lektion: Die optimale Architektur ist geschichtet: „Skills auf den richtigen Daten“. Für Domänen mit proprietärer oder Long-Tail-Evidenz stammt die entscheidende Fähigkeit oft aus dem Zugriff auf den Korpus, der den Problemraum definiert, und weniger aus zusätzlichen Reasoning-Prompts.

Die Autoren merken an, dass die zur Evaluierung verwendeten „Gold“-Schlüssel aus derselben proprietären Intelligenzfamilie abgeleitet wurden, die auch Arm C zur Verfügung stand. Damit messen die Ergebnisse spezifisch die Fähigkeit, einen kuratierten proprietären Due-Diligence-Datensatz zu rekonstruieren, und nicht einen unabhängigen klinischen Outcome-Ground-Truth. Dennoch bleibt die Lücke in der Abdeckung (0,38 vs. 0,96) selbst unter einer großzügigen Capability-Superset-Betrachtung robust.