🤖 AI

AI Scientists Are Only as Good as Their Evidence: A Stratified Ablation of Proprietary Data and Reasoning Skills in Drug-Asset Valuation

Dit artikel toont aan dat bij de waardering van geneesmiddelen-activa, hoewel redeneerstructuren de kalibratie en discipline van een AI-agent verbeteren, de beschikbaarheid van propriëtaire bewijsvoering de definitieve beperkende factor is die de bovengrens bepaalt voor feitelijke nauwkeurigheid en beslissingsnut.

Oorspronkelijke auteurs: Yinan Wang

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yinan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van detectives inhuurt om een complexe zaak op te lossen: Is een nieuw idee voor een medicijn miljoenen dollars waard om in te investeren?

Om dit te beantwoorden, moet de detective drie dingen weten:

De Wetenschap: Is de biologie logisch?
De Concurrentie: Wie probeert dit nog meer?
De Geschiedenis: Zijn vergelijkbare medicijnen eerder geslaagd of gefaald?

Het papier dat je hebt verstrekt is een "stress-test" van drie verschillende soorten AI-detectives om te zien welke er werkelijk het beste is in het oplossen van deze zaak. De onderzoekers wilden weten: Is de intelligentie van de detective (het AI-model) het belangrijkste, of is de kwaliteit van het bewijsmateriaal dat ze mogen lezen de echte flessenhals?

Hier is de uitsplitsing van het experiment en wat zij vonden, met behulp van eenvoudige analogieën.

De Drie Detectives (Het Experiment)

De onderzoekers stelden drie versies van een AI-agent op, die allemaal exact hetzelfde "brein" gebruikten (hetzelfde onderliggende AI-model). Het enige verschil was welke tools en informatie ze mochten gebruiken.

Detective A (De "Websurfer"):
- Tools: Kan alleen een standaard webzoekopdracht gebruiken (zoals Google) en heeft geen speciale training.
- Analogie: Dit is een slimme stagiair die naar de openbare bibliotheek gaat en de boeken leest die op de open planken staan. Ze zijn slim, maar ze kunnen alleen vinden wat iedereen ook kan vinden.
Detective B (De "Getrainde Analist"):
- Tools: Heeft dezelfde toegang tot het web, maar heeft een strikt playbook (een checklist met regels) gekregen, een "red team" (een criticus om het werk te controleren) en toegang tot publieke databases (zoals klinische trial-registers).
- Analogie: Dit is dezelfde stagiair, maar nu met een senior mentor die een checklist geeft, een regelboek over hoe rapporten geschreven moeten worden, en toegang tot openbare overheidsarchieven. Ze zijn meer gedisciplineerd en georganiseerd, maar ze kunnen de "geheime dossiers" nog steeds niet zien.
Detective C (De "Insider"):
- Tools: Heeft alles wat Detective B heeft, PLUS toegang tot een enorme, private, betaalde database (Noah AI) die gecureerde records bevat van medicijnproeven, deals en concurrenten die verborgen zijn voor het publieke web.
- Analogie: Dit is de senior onderzoeker die een sleutel heeft tot de geheime kluis. Ze kunnen de privé-e-mails zien, de ongepubliceerde resultaten van proeven en de "long-tail" deals die nooit het nieuws hebben gehaald.

De Resultaten: Wat Hebben Ze Gevonden?

De onderzoekers testten deze detectives op 13 verschillende medicijngevallen. Dit is het eindoordeel:

1. Het "Playbook" Helpt, Maar Slechts Beperkt (Detective B vs. A)

Toen Detective B (de getrainde analist) werd vergeleken met Detective A (de websurfer), waren de resultaten interessant:

Betere Discipline: Detective B schreef betere rapporten. Ze waren minder geneigd tot wilde gokken en volgden de regels beter op.
Het Probleen: Detective B mistte nog steeds 60% tot 75% van de belangrijke concurrenten en deals.
De Analogie: Stel je voor dat Detective B een zeer beleefde, goed georganiseerde bibliothecaris is die elke regel volgt. Maar als het boek dat ze moeten vinden in een private kluis zit, zal geen enkele mate van goede organisatie hen helpen dat boek te vinden. Ze zijn "gekalibreerd" (denken helder) maar "blind" (missen feiten).

2. De "Private Kluis" Verandert Alles (Detective C)

Toen Detective C (de insider) werd ingezet, veranderden de resultaten drastisch:

Volledigheid: Detective C vond 96% van de cruciale informatie. Detective A en B vonden slechts ongeveer 25% tot 38%.
Het "Long-Tail" Effect: De grootste kloof zat in het vinden van "long-tail" data—kleine, obscure of regionale medicijnproeven die nooit op het openbare web verschijnen. Detective C vond bijna al deze gegevens; de anderen vonden er bijna geen.
De Analogie: Detective C schreef niet alleen een beter rapport; ze zagen het hele speelveld. Terwijl de anderen schaak speelden met slechts de helft van de stukken, zag Detective C het hele spel.

3. De "Informed Decision" Score

Dit is de belangrijkste bevinding.

Ruwe Kwaliteit: Als je alleen het definitieve rapport zou lezen zonder te weten welke feiten ontbraken, klonken de rapporten van Detective A en B bijna net zo goed als die van Detective C. Ze klonken zelfverzekerd en logisch.
Echte Kwaliteit: Maar omdat A en B veel feiten misten, waren hun beslissingen gebaseerd op onvolledige informatie.
De Rekensom: De onderzoekers creëerden een score genaamd "Informed Decision Quality".
- Score Detective A/B: ~2.0 (Ze klonken goed, maar misten 75% van de feiten).
- Score Detective C: ~7.4 (Ze klonken goed EN hadden alle feiten).
Het Plafond: Het papier betoogt dat zelfs als je Detective B een "perfect" brein en een perfect rapport zou geven, ze nog steeds beperkt zouden blijven tot een lage score omdat ze fysiek niet in staat waren de ontbrekende informatie te bereiken. Je kunt niet redeneren naar een waarheid die je niet kunt zien.

De Belangrijkste Conclusie

Het papier concludeert met een eenvoudige les voor het bouwen van AI-wetenschappers:

"Vaardigheden en data zijn beide nuttig, maar data is de limiet."

Redeneervaardigheden (Het Playbook): Deze zijn noodzakelijk. Ze voorkomen dat de AI roekeloos wordt, helpen de AI om gedachten te ordenen en zorgen ervoor dat regels worden gevolgd. Ze maken de AI een betere schrijver en een gedisciplineerdere denker.
Evidence Substrate (De Data): Dit is de beperkende factor. Als de AI geen toegang heeft tot de private, gecureerde long-tail data, kan de AI simpelweg de volledige waarheid niet kennen. Geen enkele slimme prompting of redeneertruc kan de gaten van ontbrekende informatie opvullen.

Kortom: Je kunt de slimste detective ter wereld hebben met het beste regelboek, maar als ze niet in de bewijskamer worden toegelaten, zullen ze de zaak nooit correct oplossen. Voor AI om echt nuttig te zijn in hoogwaardige velden zoals medicijnontdekking, heeft het toegang nodig tot de private, gecureerde bewijslast, en niet alleen tot het openbare internet.

Technische Samenvatting: AI-wetenschappers zijn slechts zo goed als hun bewijslast

Probleemstelling
De evaluatie van AI-wetenschappelijke agenten in gespecialiseerde domeinen, zoals de waardering van geneesmiddelenactiva (drug-asset valuation), verwart vaak redeneervermogen met de kwaliteit van de onderliggende bewijslast. Terwijl agenten vaak worden beoordeeld op basis van modelkwaliteit, prompting of redeneerstructuren (reasoning scaffolds), stelt dit artikel dat de beperkende factor in kennisintensieve taken de "bewijs-substraat" is — de private, gecureerde, long-tail data die beschikbaar is voor de agent. Bij de waardering van geneesmiddelen vereisen correcte go/watch/no-go beslissingen een synthese van target-biologie, concurrerende pipelines, klinische precedenten en business-development (BD) intelligentie. Dit artikel onderzoekt of de bottleneck voor een AI-agent de redeneermethode is of de feitelijke volledigheid van de data die het kan ontsluiten.

Methodologie
De auteurs voerden een gecontroleerde drie-arm afbouwestudie (ablation study) uit op een productie-waardige waarderingsagent met behulp van de Claude Code-omgeving met het Opus 4.8 MAX-model. De modelcapaciteit en de tijd-/scope-budgetten werden constant gehouden over alle armen; de gemanipuleerde variabelen waren de toegang tot niet-propriëtaire tools/vaardigheden en propriëtaire data.

Arm A (Plain): Een competente algemene analist met enkel webzoekfuncties. Het was expliciet verboden om projectspecifieke vaardigheden, tools of propriëtaire data te gebruiken en kreeg geen beoordelingsrubriek.
Arm B (+Skills + Public Tools): Het volledige systeem inclusief een 14-dimensionale waarderingsplaybook, publieke API's (ClinicalTrials.gov, PubMed, OpenTargets, OpenFDA), een citatieverificator, een objectiviteitscharter en een adversariële red-team. Cruciaal was dat de bron van propriëtaire data werd uitgehongerd (verwezen naar een lege directory).
Arm C (+Skills + Public Tools + Data): Identiek aan Arm B, maar met toegang tot de propriëtaire Noah AI-database, die gecureerde pipeline-, trial- en deal-intelligentie bevat afgeleid van meer dan 50.000 bronnen.

Benchmark en Metrieken
De studie maakte gebruik van een benchmark van 13 single-target geneesmiddelenactiva, gestratificeerd in vijf beslissingsarchetypen (S1–S5) ontworpen om specifieke foutmodi bloot te leggen (bijv. gevalideerde maar overvolle "me-toos", witruimte-opportuniteiten en biologische leemtes).

Metrieken werden gecategoriseerd in drie assen:

Feitelijke Dekking: Gemeten door de recall tegenover een gecureerd "gouden" concurrentie-record ( $R_{gold}$ ) en een long-tail subset. Er werd een "capability-superset" rekeningmethode gebruikt, waarbij hogere armen krediet kregen voor de cumulatieve unie van bevindingen van lagere armen om de feitelijke capaciteit te schatten.
Methodologische/Objectiviteitsdiscipline: Gescoord door een blind panel van 3 rechters op het naleven van acht objectiviteitswetten (bijv. verdict-eerst, bewijstiering, ontkrachtend bewijs).
Beslissingskwaliteit: Omvatte ruwe blinde-panel beslissingskwaliteit (DQ) en "Informed Decision Quality", gedefinieerd als $DQ \times R_{gold}$ . Deze metriek houdt rekening met het feit dat een deugdelijk oordeel gebaseerd op onvolledige bewijslast van lagere bruikbaarheid is.

Belangrijkste Resultaten

Feitelijke Ceiling: De niet-propriëtaire stack (Arm B) herstelde slechts 0,38 van het gecureerde gouden concurrentie-record en 0,30 van de long-tail subset. In contrast hiermee herstelde de data-ondersteunde stack (Arm C) 0,96 van het gouden record en 0,93 van de long-tail subset. Arm A herstelde respectievelijk slechts 0,25 en 0,26.
Redeneren vs. Data:
- Kalibratie: Arm B verbeterde de "tier-in-range" nauwkeurigheid van 0,80 (Arm A) naar 0,89, waardoor een systematische fout werd gecorrigeerd waarbij de plain agent (A) onvoorwaardelijk gevalideerde mechanismen in witruimte-opportuniteiten (S2) afwees.
- Objectiviteit: Arm B verbeterde de objectiviteitsscores licht (van 3,16 naar 3,30), maar Arm C behaalde de hoogste score (3,60), wat suggereert dat rijkere bewijslast leidt tot meer gegronde argumentatie.
- Beslissingskwaliteit: De ruwe blinde-panel beslissingskwaliteit was vergelijkbaar tussen A (7,01) en B (6,96), wat aangeeft dat vaardigheden/tools de kalibratie verbeteren maar niet noodzakelijkerwijs de tekstuele degelijkheid van een oordeel op beperkte data. Arm C behaalde een hogere ruwe DQ (7,65).
Informed Decision Quality: Wanneer men rekening houdt met de volledigheid van het bewijs, domineerde Arm C met een score van 7,43, vergeleken met 1,76 voor Arm A en 2,57 voor Arm B.
Ceiling Analyse: Zelfs onder een genereuze aanname waarbij Arm B een perfect rapport zou produceren (DQ=10), zou de "Informed Decision Quality" worden begrensd op 3,83 vanwege de 0,383 dekking van de bruikbaar-evalueerbare cellen. Dit ligt aanzienlijk lager dan de geobserveerde score van 7,43 van Arm C.

Betekenis en Claims
Het artikel concludeert dat voor kennisintensieve AI-wetenschappelijke agenten, redeneervaardigheden en publieke gestructureerde tools noodzakelijke controlelagen zijn, maar het propriëtaire bewijs-substraat de beperkende factor is.

De Bottleneck: De primaire bottleneck is niet de redeneermethode, maar het bewijs-substraat. Propriëtaire data bepaalt de bovengrens van wat een AI-wetenschapper kan weten en, bij consequentie, kan beslissen.
Complementaire Rollen: Niet-propriëtaire tools en redeneerstructuren verbeteren de kalibratie (het voorkomen van systematische onderwaardering van witruimte-opportuniteiten met gevalideerde mechanismen) en het audit-discipline. Ze kunnen echter geen ontbrekende long-tail records fabriceren.
Evaluatie-implicatie: Het evalueren van AI-agenten uitsluitend op de degelijkheid van hun redenering of de kwaliteit van hun proza is onvoldoende als de onderliggende bewijslast incompleet is. Een rapport kan methodologisch deugdelijk zijn, maar wetenschappelijk onderinformatief.
Praktische Les: De optimale architectuur is gelaagd: "vaardigheden boven de juiste data". Voor domeinen met propriëtaire of long-tail bewijslast komt de beslissende capaciteit vaak voort uit de toegang tot het corpus dat het probleemgebied definieert, in plaats van uit aanvullende redeneer-prompts.

De auteurs merken op dat de "gouden" sleutels die voor de evaluatie werden gebruikt, afkomstig zijn uit dezelfde propriëtaire intelligentie-familie als die beschikbaar was voor Arm C, wat betekent dat de resultaten specif