🧬 biology

HERO: Hypothesis-Driven Evidence Retrieval from Omics for Multi-Task Breast Cancer Analysis

HERO introduceert een hypothesegestuurd framework dat gebruikmaakt van gematchte multi-omics data om toetsbare morfologische priors te genereren voor het ophalen en verifiëren van relevante regio's in whole-slide images, waarbij state-of-the-art prestaties wordt bereikt bij multi-task borstkankeranalyse terwijl lexicale controleerbaarheid wordt gewaarborgd en de afhankelijkheid van louter semantische matching wordt verminderd.

Oorspronkelijke auteurs: Xiangyu Li, Ran Su

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiangyu Li, Ran Su

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een complexe medische puzzel probeert op te lossen: borstkanker. Je hebt twee belangrijke stukken bewijsmateriaal:

De foto's van de plaats delict: Hoogwaardige afbeeldingen van het tumorweefsel (dit worden Whole Slide Images of WSI's genoemd). Dit zijn enorme, gigapixel-grote foto's waarbij je kunt inzoomen om individuele cellen te zien.
De getuigenverklaringen: Moleculaire gegevens van het DNA en RNA van de patiënt (zogenaamde "omics"). Dit vertelt je wat de kankercellen doen op genetisch niveau.

Het probleem met de huidige detectiemethoden is dat ze de foto's en de getuigenverklaringen vaak apart bekijken, of dat ze simpelweg gokken welk deel van de foto belangrijk is. Ze kunnen inzoomen op een heldere, kleurrijke plek in de foto die er interessant uitziet, maar die eigenlijk niet relevant is voor de specifieke genetische aanwijzingen.

HERO is een nieuw detectiesysteem dat de regels verandert. In plaats van te gokken, gebruikt HERO de "Getuigenverklaringen" (de genetische gegevens) om een specifieke hypothese te schrijven over hoe de "Plaats Delict" (de weefselafbeelding) er zou moeten uitzien. Vervolgens gaat het op jacht naar precies die kenmerken.

Zo werkt HERO, stapsgewijs uitgelegd:

1. De "Intent Vector" (De verlanglijst van de detective)

Eerst leest HERO de genetische gegevens van de patiënt (DNA-methylatie en miRNA). Het leest niet alleen de cijfers; het vertaalt deze naar een checklist van 16 punten van hoe het weefsel er zou moeten uitzien.

Analogie: Stel je voor dat de genetische gegevens de detective vertellen: "De verdachte is waarschijnlijk agressief en heeft veel celdeling." Het systeem vertaalt dit naar een specifieke verlanglijst: "Zoek naar een hoge celdichtheid, tekenen van snelle deling en specifieke structurele chaos."
Deze verlanglijst wordt een Intent Vector genoemd. Het is een strikt, vooraf gedefinieerd plan gebaseerd op biologie, geen willekeurige gok.

2. De "Keyword Search" (De juiste foto's vinden)

De weefselafbeelding is te groot om elke enkele pixel te bekijken. Daarom kiest HERO eerst 300 kleine "steekproef"-patches uit de afbeelding.

Het vraagt een AI (een Visual Language Model) om een korte beschrijving te schrijven voor elke patch, waarin staat wat het ziet (bijv. "veel dode cellen", "dichte clusters", "ontsteking").
Vervolgens gebruikt het een klassieke zoekmachine-techniek (TF-IDF) om de checklist van de Intent Vector te matchen met deze beschrijvingen.
Analogie: Het is als het doorzoeken van een bibliotheek. In plaats van elk boek te lezen, zoek je naar de specifieke trefwoorden uit je verlanglijst. Het systeem selecteert de top 64 patches die het beste overeenkomen met de genetische aanwijzingen.

3. De "Consistency Gate" (De realiteitscheck)

Dit is het meest slimme onderdeel. Nadat de top 64 patches zijn gekozen, controleert HERO: "Komt wat we daadwerkelijk zien in deze foto's overeen met onze genetische hypothese?"

Het berekent een "consistentiescore". Als de score hoog is, geweldig! De foto's bevestigen de genetica.
De "Deficit-Driven Repair": Als de score laag is (wat betekent dat de foto's niet overeenkomen met de genetische aanwijzingen), geeft het systeem niet op. Het bepaalt wat er ontbreekt (bijv. "We hebben veel ontsteking, maar we missen de tekenen van celdeling").
Het gaat vervolgens terug, vindt 32 nieuwe patches die specifiek die ontbrekende gaten opvullen, en vervangt de oude door deze nieuwe.
Analogie: Stel je voor dat je een puzzel legt op basis van een afbeelding op de doos. Je legt de stukjes, maar de lucht ontbreekt. In plaats van naar de onvolledige puzzel te blijven staren, ga je terug naar de doos, zoekt de specifieke "lucht"-stukjes die je gemist hebt, en vervangt je de ontbrekende delen. Je doet dit slechts één keer om het efficiënt te houden.

4. De Einddiagnose

Zodra het systeem een perfecte, geverifieerde set van 64 beeldpatches heeft die overeenkomen met de genetische aanwijzingen, voert het deze "bewijsmosaïek" in bij een definitieve AI-arts.

Deze AI bekijkt het geverifieerde bewijs en het genetische verhaal samen om de einddiagnose te stellen (het voorspellen van zaken zoals tumortype, risiconiveau of behandelingsrespons).

Waarom is dit beter?

Geen Gokwerk: Oude methoden laten zich vaak afleiden door mooie kleuren in de afbeelding. HERO kijelt alleen naar wat de genetica zegt dat belangrijk is.
Controleerbaar: Omdat het systeem een checklist en specifieke trefwoorden gebruikt, kun je precies zien waarom het bepaalde patches heeft gekozen. Het is geen "black box"; het is een transparant proces.
Zelfcorrigerend: Als de eerste zoekopdracht iets mist, herstelt de "repair"-stap dit automatisch.

De Resultaten

De onderzoekers hebben dit getest op 930 gevallen van borstkanker. HERO versloeg alle andere methoden, inclusief methoden die simpelweg alle data bij elkaar gooien of krachtige AI gebruiken zonder deze specifieke "hypothese-gestuurde" zoekopdracht.

Het was vooral goed in het vinden van de juiste antwoorden voor lastige gevallen waarbij de visuele tekenen zeldzaam of verspreid zijn (zoals HER2-status of risicovoorspelling).
Het bewees dat het gebruik van genetica om de zoektocht naar visueel bewijs te sturen veel slimmer is dan alleen naar de foto's of de genetica kijken.

Kortom: HERO is een detective die het genetische profiel van een verdachte gebruikt om een specifieke "Gezocht"-poster te maken, de plaats delict doorzoekt op exact wat er op die poster staat, dubbelcheckt of de foto's overeenkomen met de beschrijving, en de zoekopdracht corrigeert als er iets ontbreekt, voordat hij de uiteindelijke arrestatie (diagnose) verricht.

Technische Samenvatting: HERO – Hypothese-gestuurde bewijsretrieval uit Omics voor Multi-task Borstkankeranalyse

Probleemstelling

De diagnose van borstkanker vereist de synthese van bewijslast uit H&E whole-slide afbeeldingen (WSI's) en moleculaire biomarkers (ER/PR/HER2, subtype, prognose). Hoewel gekoppelde multi-omics data de voorspelling kunnen verbeteren, kampen bestaande pipelines met drie primaire beperkingen:

Zwak gesuperviseerde MIL: Vertrouwt op slide-niveau labels waarbij aandachtmechanismen post-hoc zijn en falen in het verifiëren van de toereikendheid van het bewijs, wat vaak leidt tot het highlighten van niet-diagnostische regio's door intratumorale heterogeniteit.
VLM-gebaseerde lezers: Hoewel zij het leesproces expliciet maken, vertrouwen ze vaak op prompt-niveau sturing in plaats van op vaste, moleculair geconditioneerde retrieval-prioriteiten, wat leidt tot een bias naar visueel opvallende maar eindpunt-irrelevante regio's.
Multimodale Fusie: Behandelt omics als parallelle feature-stromen of aangevulde tekst, en faalt in het gebruik van omics om expliciet te controleren welke regio's worden opgehaald of om de volledigheid van die retrieval te verifiëren.

De kernuitdaging is eindpunt-bewuste bewijsretrieval op gigapixel WSI's die ervoor zorgt dat de geobserveerde morfologie de moleculaire conclusie expliciet ondersteunt, waardoor een controleerbaar spoor van bewijsvoering ontstaat.

Methodologie: De HERO-pipeline

HERO (Hypothesis-Driven Evidence Retrieval from Omics) is een vierfasige, gesloten-lus pipeline die de geobserveerde omics behandelt als een testbare morfologische hypothese. Het opereert in een gedeelde 16-dimensionale bewijsruimte ( $K=16$ ).

Fase 1: Van Omics naar Intentie en Keywords

Pathway Scoring: DNA-methylatie ( $x_{dna}$ ) en miRNA ( $x_{mirna}$ ) vectoren worden z-genormaliseerd. Pathway scores worden berekend met behulp van vooraf gedefinieerde binaire maskers afgeleid van MSigDB Hallmark gene sets en gevalideerde miRNA-targetinteracties. De scoring brengt hypermethylatie en miRNA-gemedieerde repressie in kaart naar pathway down-regulatie.
Morfologische Prior ( $W$ ): Een vaste, gesigneerde, gewogen ijle (sparse) prior-matrix ( $W \in \mathbb{R}^{K \times P}$ ) brengt de 50 pathway scores in kaart naar 16 morfologische assen (bijv. mitotische activiteit, nucleaire pleomorfie, stromale desmoplasie). Deze prior wordt gestuurd door WHO-terminologie en biologische associaties (bijv. E2F/MYC $\to$ proliferatie) en wordt nooit geoptimaliseerd met eindpunt-labels, wat garandeert dat de mapping controleerbaar en vouw-invariant blijft.
Intentie Generatie: De intentievector $m$ wordt gegenereerd via $m = \ell_2\text{-normalize}(\text{ReLU}(Ws))$ . Een commissie van LLM-aanroepen genereert een moleculair narratief en een gestructureerde keyword-set $Q$ (15–40 termen) gebaseerd op de pathways en assen.

Fase 2: 10× Retrieval (300 $\to$ Top-64)

Representatieve Mining: De WSI wordt gecodeerd met UNI-embeddings. MiniBatchKMeans ( $k=300$ ) clustert deze om 300 representatieve patches te selecteren die de globale morfologische diversiteit dekken.
Captioning & Ranking: Deze 300 patches worden opnieuw bekeken bij 10× vergroting en beschreven (gecaptioned) door een VLM (Qwen2.5-VL-7B) met behulp van een gestructureerde prompt. Een TF-IDF vectorizer (per slide gefit) rangschikt deze captions tegen de keyword-set $Q$ . De top 64 patches vormen de initiële bewijsmassa.

Fase 3: 20× Consistentiepoort en Deficiëntie-gestuurde Reparatie

Visuele Bewijsvector ( $v$ ): De top 64 patches worden uitgesneden op 20×, gerangschikt in een 8×8 mozaïek, en opnieuw beschreven met een focus op cytologische kenmerken. Een visuele bewijsvector $v \in \mathbb{R}^K$ wordt geconstrueerd door te controleren op de aanwezigheid van checklist-termen voor elke van de 16 assen in de captions.
Consistentiepoort: Een cosine similarity score $c = \cos(m, v)$ meet de uitlijning tussen de moleculaire intentie en het visuele bewijs.
Deficiëntie-gestuurde Reparatie: Als $c < \tau_c$ (drempelwaarde $\tau_c=0.5$ ), identificeert het systeem onder-ondersteunde assen ( $m - v$ ). Het herrangschikt de resterende niet-geselecteerde representatieve patches op basis van hun vermogen om deze tekorten te dekken, voegt de top 32 reparatie-kandidaten samen met de oorspronkelijke 64, en voert één extra 20× captioning ronde uit. Er vinden geen verdere reparatierondes plaats.

Fase 4: Diagnose Module

Het definitieve mozaïek, het moleculaire narratief en de consistentie-samenvatting worden ingevoerd in een LoRA-getunede Qwen2.5-VL-7B. Alleen deze fase wordt getuned; fasen 1–3 blijven vaste retrieval en verificatie modules.

Belangrijkste Bijdragen

Omics-gestuurde Retrieval: Zet DNA-methylatie en miRNA om in een ijle pathway-naar-morfologie intentievector, wat eindpunt-bewuste patchselectie mogelijk maakt via TF-IDF over gestructureerde captions in plaats van embedding-gebaseerde semantische matching.
Consistentiepoort met Deterministische Reparatie: Introduceert een cosine gate om moleculaire-visuele mismatches te detecteren. Wanneer een mismatch wordt gedetecteerd, zorgt een deterministisch, deficiëntie-gestuurd herrangschikkingsmechanisme voor de retrieval van patches om onder-ondersteunde morfologische assen te dekken, waarbij de rekenkracht beperkt blijft tot één reparatieronde.
Robuustheid en Controleerbaarheid: Het ontwerp beperkt het aantal VLM-aanroepen, vermindert de afhankelijkheid van black-box semantische matching en zorgt ervoor dat elke retrieval-stap lexicaal controleerbaar is. De vaste prior $W$ voorkomt shortcut learning en zorgt ervoor dat de mapping interpreteerbaar is.

Experimentele Resultaten

Geëvalueerd op TCGA-BRCA (930 WSI's, 878 patiënten) met patiëntniveau 5-voudige cross-validatie:

State-of-the-Art Prestaties: HERO presteerde beter dan alle baselines (inclusief SNN, TransMIL, MCAT, SurvPath en VLM-gebaseerde agenten) over alle eindpunten: ER, PR, HER2, Subtype en Risico.
- Opmerkelijke winsten werden waargenomen bij HER2 (+0.050 AUC over SurvPath) en Risico (+0.030 C-index), waar morfologie schaars en heterogeen is.
Ablatie-studies:
- Retrieval Mechanisme: Het vervangen van de HERO-retrieval door TransMIL aandacht of willekeurige sampling degradeerde de prestaties aanzienlijk (bijv. HERO verbeterde HER2 met +0.090 over VLM + TransMIL Top-64), wat bevestigt dat de winst voortkomt uit moleculair-gestuurde retrieval.
- Componenten: Het verwijderen van de consistentiepoort verminderde de HER2 AUC met 0.043. Willekeurige patch-reparatie herstelde slechts een fractie van de prestaties, wat bewijst dat deficiëntie-gestuurde herrangschikking cruciaal is.
- Sensitiviteit: Het systeem is robuust tegen perturbaties in de prior $W$ (ruis/dropout veroorzaakte $\le 0.0009$ degradatie), terwijl het husselen van de pathway-naar-as toewijzingen leidde tot significante dalingen, wat valideert dat $W$ informatieve biologische structuur codeert.

Betekenis en Claims

Het artikel claimt dat HERO een nieuw paradigma vestigt waarbij omics data niet louter als een parallelle feature-stroom fungeert, maar als een expliciete retrieval-constraint en verificatiemechanisme. Door de lus tussen moleculaire hypothesen en visueel bewijs te sluiten, bereikt HERO een state-of-the-art nauwkeurigheid terwijl het een lexicaal controleerbaar bewijstraject biedt.

De auteurs vermelden expliciet beperkingen:

Evaluatie is beperkt tot interne TCGA-BRCA cross-validatie; robuustheid over instellingen, scanners en populaties is niet vastgesteld.
De 16-assige checklist is specifiek voor borstkanker en vereist auditing voor andere tumortypes.
VLM-captions blijven feilbaar; hoewel gestructureerde prompts de bewijsvoering inspecteerbaar maken, garanderen ze geen pathologische correctheid.
De inferentiekosten zijn hoog (57s/WSI op 2×A100), wat snellere multi-stage VLM-inferentie noodzakelijk maakt voor klinische implementatie.

Het werk concludeert dat het mappen van omics naar intentie, het ophalen via TF-IDF captions, en het verifiëren van uitlijning via een cosine gate, een robuust, interpreteerbaar en hoogwaardig multi-task borstkankeranalyse systeem mogelijk maakt.