HARVEST: Unlocking the Dark Bioactivity Data of Pharmaceutical Patents via Agentic AI

Het paper introduceert HARVEST, een multi-agent AI-systeem dat structurele bioactiviteitsdata uit duizenden farmaceutische patenten haalt om een enorme, tot nu toe onbenutte bron van moleculaire informatie te ontsluiten, waarmee een nieuw benchmark (H-Bench) wordt gecreëerd dat fundamentele beperkingen van bestaande AI-modellen blootlegt.

De kern

Stel je voor dat er een enorme, ondoordringbare bibliotheek bestaat, vol met de geheimen van nieuwe medicijnen. Deze bibliotheek is de wereld van farmaceutische patenten. Elke dag worden er duizenden nieuwe uitvindingen geregistreerd, met gedetailleerde tabellen die vertellen welke stoffen werken tegen welke ziekteverwekkers.

Het probleem? Deze informatie is technisch "openbaar", maar in de praktijk onzichtbaar en onbruikbaar. Het is alsof de boeken in deze bibliotheek in een vreemde taal geschreven zijn, met krabbels in de marge en tabellen die niemand kan lezen. Wetenschappers noemen dit "donkere data": het is er, maar je kunt er niets mee doen omdat het niet digitaal toegankelijk is.

Dit artikel introduceert HARVEST, een slimme, robotachtige oplossing die deze donkere data eindelijk verlicht.

1. De Robot-Verkenner (Agentic AI)

Stel je voor dat je een berg papierwerk moet sorteren die zo groot is dat het 55 jaar zou duren voor één mens om het te doen. Normaal gesproken zou je een legioen secretarissen nodig hebben.

HARVEST is geen enkele robot, maar een team van gespecialiseerde digitale agenten (een "agentic AI"). Ze werken als een goed georganiseerd bouwteam:

• Agent 1 kijkt eerst naar het document en zegt: "Hier staat een doelwit, bijvoorbeeld een eiwit dat we moeten aanvallen."
• Agent 2 zoekt naar de cijfers: "Ah, hier staat dat stofje X werkt met een kracht van Y."
• Agent 3 zorgt dat de namen kloppen: "Die 'Stofje X' uit de tekst is eigenlijk 'Stofje Y' in onze database."
• Agent 4 en 5 zijn de vertalers en archivarissen die de rommelige notities omzetten in strakke, digitale lijsten die computers direct kunnen begrijpen.

Dit team werkt niet alleen, maar in een kettingreactie. Door de taak op te splitsen maken ze veel minder fouten dan als één grote robot alles in één keer zou proberen te doen. Ze kunnen een patent van 500 pagina's in een paar seconden "lezen" en de waardevolle informatie eruit halen.

2. De Goudmijn (De Resultaten)

De auteurs hebben dit systeem laten werken op 164.877 patenten. Het resultaat is verbazingwekkend:

• Ze hebben 3,36 miljoen nieuwe gegevenspunten opgehaald.
• Ze vonden 365.000 nieuwe chemische structuren (nieuwe bouwstenen voor medicijnen) die nog nooit in openbare databases stonden.
• Ze ontdekten 1.108 nieuwe eiwitten (doelen voor medicijnen) die volledig ontbraken in de grootste bestaande database ter wereld (BindingDB).

Het kostte hen minder dan een week en slechts $0,11 per document. Voor hetzelfde geld dat je nu betaalt voor een paar maanden een dure databank-abonnement, kun je nu je eigen gigantische dataset bouwen. Het is alsof je een goudmijn hebt gevonden waarvoor je eerst een fortuin moest betalen om binnen te komen, maar waar je nu gratis een schop mag nemen.

3. De Nieuwe Test (H-Bench)

Omdat ze zo veel nieuwe data hebben gevonden, hebben ze ook een nieuwe test bedacht, genaamd H-Bench.

Stel je voor dat je een student wilt testen op wiskunde. Als je alleen de oefeningen gebruikt die de student al uit zijn boek kent, weet je niet of hij echt slim is of dat hij het boek uit zijn hoofd heeft geleerd.

• De huidige AI-modellen voor medicijnontwikkeling zijn vaak getraind op de oude, bekende data. Ze zijn goed in het raden van dingen die ze al kennen.
• H-Bench is een test met alleen maar de nieuwe, onbekende data uit de patenten. Het is een eerlijke test om te zien of de AI echt begrijpt hoe medicijnen werken, of dat ze alleen maar herhalingen doen.

Toen ze een toonaangevend AI-model (Boltz-2) op deze test lieten, bleek het een probleem te hebben: het model faalde als de chemie te nieuw was of als het doelwit (het eiwit) nog nooit eerder bestudeerd was. Dit betekent dat de AI nog niet echt "slim" genoeg is om nieuwe wereldwijd te ontdekken; ze zijn nog te afhankelijk van wat ze al weten.

Waarom is dit belangrijk?

Voor decennia was de kennis van de farmaceutische industrie opgesloten in dure, gesloten databases of in onleesbare papieren patenten. Alleen rijke bedrijven konden daar bij.

HARVEST breekt deze muur. Het maakt de kennis van miljarden dollars aan onderzoek gratis en toegankelijk voor iedereen: van grote farmaceutische bedrijven tot kleine universiteiten en zelfs individuele onderzoekers.

Kortom:
HARVEST is de sleutel die de deuren opent naar een schatkist van medicijnkennis die we al jaren hadden, maar niet konden gebruiken. Het maakt de "donkere data" helder, zodat we sneller nieuwe medicijnen kunnen vinden voor ziektes die ons nu nog dwarszitten. De era van verborgen kennis is voorbij; de era van open, gedeelde wetenschap is begonnen.

Technische samenvatting

Probleemstelling: De "Donkere" Bioactiviteitsdata

Farmaceutische octrooien bevatten een enorme hoeveelheid experimentele data over eiwit-ligand-interacties (PLI), vaak in de vorm van Structure-Activity Relationship (SAR) tabellen. Hoewel deze data technisch publiek is, blijft ze computergewijs ontoegankelijk ("donkere data") omdat ze opgesloten zit in ongestructureerde archieven.

• Huidige beperkingen: Bestaande databases zoals BindingDB zijn afhankelijk van handmatige curatie van peer-reviewed literatuur en dekken slechts een fractie van de beschikbare octrooien.
• Technische uitdagingen: Octrooien bevatten gefragmenteerde informatie verspreid over ongestructureerde tekst, complexe tabellen en chemische diagrammen. Bestaande systemen (zoals SureChEMBL) indexeren chemische structuren, maar missen vaak de kwantitatieve bindingswaarden of de mapping naar biologische doelen.
• Gevolgen: Dit creëert een bottleneck voor AI-gedreven drug discovery. Modellen worden getraind op dezelfde beperkte datasets en kunnen niet worden gevalideerd op echt nieuwe chemische of biologische ruimtes, wat leidt tot een generalisatiecrisis.

Methodologie: Het HARVEST-pipeline

De auteurs presenteren HARVEST (High-throughput Agent Retrieval of Values for Evaluated Small-molecules and Targets), een multi-agent Large Language Model (LLM) pipeline die autonoom gestructureerde bioactiviteitsrecords extrahert uit USPTO-octrooien.

Architectuur en Werkflow:

1. Data Bron: De pipeline verwerkt USPTO bulk-data (XML-formaat met ingebedde ChemDraw-bestanden), wat nauwkeuriger is dan OCR van PDF's.
2. Multi-Agent Systeem: In plaats van één monolithische prompt, wordt de taak opgesplitst in vijf gespecialiseerde agenten om hallucinaties te minimaliseren en context te behouden:
   • Agent 1 (Target Extraction): Identificeert biologische doelen (eiwitten, enzymen) en assay-voorwaarden.
   • Agent 2 (Activity Extraction): Haalt kwantitatieve metingen (IC50, Ki, Kd, EC50) en eenheden uit de tekst, gekoppeld aan de context van Agent 1.
   • Agent 3 (Compound Mapping): Lost interne aliassen op naar IUPAC-namen of embedded identifiers.
   • Agent 4 (Chemical Structure Resolution): Converteert chemische structuren (voornamelijk via directe parsing van CDX-bestanden om fouten bij MOL-conversie te vermijden) naar canonieke SMILES.
   • Agent 5 (Protein Target Resolution): Mappt eiwitnamen naar UniProt-identifiers, waarbij onduidelijkheid over soorten (meestal Homo sapiens) wordt opgelost.
3. Verwerking: Het systeem werkt asynchroon met 50 documenten parallel. Het verwerkt 164.877 octrooien in minder dan een week, tegen een kostprijs van slechts $0,11 per document.

Belangrijkste Bijdragen

1. HARVEST Dataset: Een dataset van 3,36 miljoen geëxtraheerde activiteitsrecords, afkomstig uit 40.902 octrooien.
2. H-Bench (Benchmark): Een nieuw, open benchmark dat uitsluitend bestaat uit data die niet in BindingDB voorkomt. Dit biedt een "held-out" set voor strikte evaluatie van modellen, verdeeld in:
   • Valid subset: Nieuwe chemische scaffolds op bekende doelen.
   • Novel targets: Geheel nieuwe eiwitdoelen zonder eerdere publieke bioactiviteitsdata.
3. Open Science: De volledige dataset en de benchmark zijn beschikbaar onder een CC BY 4.0 licentie, wat de toegang tot data democratiseert voor academische onderzoekers.

Resultaten

• Schaal en Dekking:
  • HARVEST heeft 365.713 unieke chemische scaffolds en 1.108 eiwitdoelen teruggevonden die volledig afwezig zijn in BindingDB.
  • Hoewel BindingDB meer records per octrooi rapporteert (door selectie van de rijkste documenten), levert HARVEST op gedeelde octrooien een vergelijkbare diepte op en pakt het duizenden documenten op die voor handmatige curatie te kostbaar zouden zijn.
• Kwaliteit en Nauwkeurigheid:
  • Er is een 91% overeenkomst met handmatig gecurateerde BindingDB-data.
  • De automatische pipeline vertoont een lagere foutkans bij eenheidsconversie (bijv. verwarring tussen nM en µM) dan menselijke curators.
  • De dataset bevat 2,26 miljoen unieke PLI's, vergelijkbaar met het totaal van alle bronnen in BindingDB, maar puur afkomstig uit octrooien.
• Evaluatie van AI-modellen (Boltz-2):
  • Toepassing van het state-of-the-art model Boltz-2 op H-Bench onthulde een tweedimensionale generalisatiekloof:
    1. Prestaties dalen bij nieuwe chemische scaffolds.
    2. Prestaties dalen bij ongekarakteriseerde eiwitdoelen.
  • Dit bewijst dat huidige modellen vaak "leren op memorisatie" van trainingsdata in plaats van fundamentele bindingsfysica te begrijpen.

Betekenis en Impact

• Economische Transformatie: De kosten voor het extraheren van bioactiviteitsdata zijn drastisch gedaald. Waar het handmatig cureren van dit corpus meer dan 55 jaar zou vergen, doet HARVEST dit in een week. Dit maakt grote datasets toegankelijk voor elke onderzoeksorganisatie, niet alleen voor dure commerciële aanbieders.
• Wetenschappelijke Vooruitgang: Door de "donkere data" van octrooien om te zetten in bruikbare, gestructureerde kennis, wordt de basis gelegd voor robuustere AI-modellen die beter generaliseren naar nieuwe moleculen en ziekte-doelen.
• Toekomstperspectief: De succesvolle toepassing van multi-agent systemen op complexe documenten suggereert dat dit paradigma ook toepasbaar is op andere domeinen met "donkere data", zoals klinische trials en regelgevende documenten.

Samenvattend transformeert HARVEST de farmaceutische octrooien van een onbereikbare bron van kennis naar een open, computeerbare infrastructuur, wat een fundamentele stap is in de evolutie van AI-gedreven geneesmiddelenontwikkeling.