🧬 biology

HERO: Hypothesis-Driven Evidence Retrieval from Omics for Multi-Task Breast Cancer Analysis

HERO führt ein hypothesengesteuertes Framework ein, das gematchte Multi-Omics-Daten nutzt, um testbare morphologische Priors für das Abrufen und Verifizieren relevanter Regionen in Whole-Slide-Images zu generieren, wodurch eine State-of-the-Art-Leistung bei der Multi-Task-Brustkrebsanalyse erzielt wird, während gleichzeitig die lexikalische Auditierbarkeit gewährleistet und die Abhängigkeit von rein semantischem Matching reduziert wird.

Ursprüngliche Autoren: Xiangyu Li, Ran Su

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiangyu Li, Ran Su

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein komplexes medizinisches Rätsel zu lösen: Brustkrebs. Sie verfügen über zwei Hauptbeweisstücke:

Die Tatortfotos: Hochauflösende Bilder des Tumorgewebes (sogenannte Whole Slide Images oder WSIs). Dies sind massive, gigapixelgroße Fotos, bei denen Sie so weit heranzoomen können, dass Sie einzelne Zellen sehen.
Die Zeugenaussagen: Molekulare Daten der DNA und RNA des Patienten (sogenannte „Omics“). Diese verraten Ihnen, was die Krebszellen auf genetischer Ebene tun.

Das Problem aktueller Detektivmethoden ist, dass sie die Fotos und die Zeugenaussagen oft getrennt voneinander betrachten oder einfach nur raten, welcher Teil des Fotos wichtig ist. Sie könnten in einen hellen, farbenfrohen Bereich im Foto zoomen, der zwar interessant aussieht, aber eigentlich nicht relevant für die spezifischen genetischen Hinweise ist.

HERO ist ein neues Detektivsystem, das das Spiel verändert. Anstatt zu raten, nutzt HERO die „Zeugenaussagen“ (die genetischen Daten), um eine spezifische Hypothese darüber aufzustellen, wie das „Tatortbild“ (das Gewebebild) aussehen sollte. Dann geht es auf die Jagd nach genau diesen Merkmalen.

So funktioniert HERO, unterteilt in einfache Schritte:

1. Der „Intent Vector“ (Die Wunschliste des Detektivs)

Zuerst liest HERO die genetischen Daten des Patienten (DNA-Methylierung und miRNA). Es liest nicht nur die Zahlen; es übersetzt sie in eine 16-Punkte-Checkliste dessen, wie das Gewebe aussehen sollte.

Analogie: Stellen Sie sich vor, die genetischen Daten sagen dem Detektiv: „Der Verdächtige ist wahrscheinlich aggressiv und weist eine hohe Zellteilung auf.“ Das System übersetzt dies in eine spezifische Wunschliste: „Suche nach hoher Zelldichte, Anzeichen schneller Teilung und spezifischem strukturellem Chaos.“
Diese Wunschliste wird als Intent Vector bezeichnet. Es ist ein strenger, vordefinierter Plan basierend auf der Biologie, kein bloßes Raten.

2. Die „Keyword-Suche“ (Die richtigen Fotos finden)

Das Gewebebild ist zu riesig, um jedes einzelne Pixel zu betrachten. Daher wählt HERO zuerst 300 kleine „Stichproben“-Patches (Bildausschnitte) aus dem Bild aus.

Es lässt eine KI (ein visuelles Sprachmodell) eine kurze Bildunterschrift für jeden Patch erstellen, die beschreibt, was sie sieht (z. B. „viele tote Zellen“, „dichte Cluster“, „Entzündung“).
Dann nutzt es eine klassische Suchmaschinen-Technik (TF-IDF), um die Checkliste des Intent Vectors mit diesen Bildunterschriften abzugleichen.
Analogie: Es ist wie die Suche in einer Bibliothek. Anstatt jedes Buch zu lesen, sucht man nach den spezifischen Schlüsselwörtern aus Ihrer Wunschliste. Das System wählt die 64 Patches aus, die den genetischen Hinweisen am besten entsprechen.

3. Das „Consistency Gate“ (Der Realitätscheck)

Dies ist der cleverste Teil. Nachdem die obersten 64 Patches ausgewählt wurden, prüft HERO: „Entspricht das, was wir tatsächlich in diesen Fotos sehen, unserer genetischen Hypothese?“

Es berechnet einen „Konsistenz-Score“. Wenn der Score hoch ist, großartig! Die Fotos bestätigen die Genetik.
Die „Deficit-Driven Repair“ (Defizitgesteuerte Reparatur): Wenn der Score niedrig ist (das heißt, die Fotos passen nicht zu den genetischen Hinweisen), gibt das System nicht auf. Es findet heraus, was fehlt (z. B. „Wir haben viel Entzündung, aber uns fehlen die Anzeichen der Zellteilung“).
Es geht dann zurück, sucht 32 neue Patches, die gezielt diese Lücken füllen, und tauscht sie aus.
Analogie: Stellen Sie sich vor, Sie setzen ein Puzzle basierend auf einem Bild auf dem Karton zusammen. Sie setzen die Teile ein, aber der Himmel fehlt. Anstatt auf das unvollständige Puzzle zu starren, gehen Sie zurück zum Karton, finden die spezifischen „Himmel“-Teile, die Sie übersehen haben, und tauschen sie aus. Sie machen dies nur einmal, um effizient zu bleiben.

4. Die endgültige Diagnose

Soblich das System über einen perfekten, verifizierten Satz von 64 Bild-Patches verfügt, der den genetischen Hinweisen entspricht, speist es dieses „Evidenz-Mosaik“ in einen finalen KI-Arzt ein.

Diese KI betrachtet die verifizierten Beweise und die genetische Geschichte gemeinsam, um die endgültige Diagnose zu stellen (Vorhersage von Dingen wie Tumortyp, Risikoniveau oder Ansprechen auf eine Behandlung).

Warum ist das besser?

Kein Raten: Alte Methoden lassen sich oft von hübschen Farben im Bild ablenken. HERO sucht nur nach dem, was die Genetik als wichtig definiert.
Auditierbar: Da das System eine Checkliste und spezifische Schlüsselwörter verwendet, können Sie genau nachvollziehen, warum es bestimmte Patches ausgewählt hat. Es ist keine „Black Box“; es ist ein transparenter Prozess.
Selbstkorrigierend: Wenn die erste Suche etwas übersieht, korrigiert der „Repair“-Schritt dies automatisch.

Die Ergebnisse

Die Forscher testeten dies an 930 Brustkrebsfällen. HERO schlug alle anderen Methoden, einschließlich jener, die einfach alle Daten zusammenmischen oder leistungsstarke KI ohne diese spezifische „hypothesengesteuerte“ Suche verwenden.

Es war besonders gut darin, die richtigen Antworten für schwierige Fälle zu finden, in denen die visuellen Anzeichen selten oder verstreut sind (wie z. B. HER2-Status oder Risikovorhersage).
Es bewies, dass die Nutzung der Genetik zur Steuerung der Suche nach visuellen Beweisen viel klüger ist, als nur die Bilder oder die Genetik separat zu betrachten.

Kurz gesagt: HERO ist ein Detektiv, der das genetische Profil eines Verdächtigen nutzt, um ein spezifisches „Steckbrief“-Poster zu erstellen, das Tatortfoto nach genau dem sucht, was auf diesem Steckbrief steht, überprüft, ob die Fotos mit der Beschreibung übereinstimmen, und die Suche korrigiert, falls etwas fehlt – und das alles, bevor es die endgültige Festnahme (Diagnose) vornimmt.

Technisches Resümee: HERO – Hypothesengesteuerte Evidenz-Retrieval aus Omics für die Multi-Task-Analyse von Brustkrebs

Problemstellung

Die Diagnose von Brustkrebs erfordert die Synthese von Evidenzen aus H&E-Ganzschnittbildern (Whole-Slide Images, WSIs) und molekularen Biomarkern (ER/PR/HER2, Subtyp, Prognose). Obwohl gematchte Multi-Omics-Daten die Vorhersage verbessern können, stehen bestehende Pipelines vor drei primären Limitationen:

Schwach überwachtes MIL: Verlässt sich auf Slide-Ebene-Labels, wobei Aufmerksamkeitsmechanismen (Attention Mechanisms) oft post-hoc agieren und die Hinlänglichkeit der Evidenz nicht verifizieren können, was häufig zu einer Hervorhebung nicht-diagnostischer Regionen aufgrund intratumoraler Heterogenität führt.
VLM-basierte Reader: Obwohl sie das Lesen explizit machen, verlassen sie sich oft auf Prompt-Ebene-Anleitungen statt auf feste, molekular konditionierte Retrieval-Priors, was zu einem Bias hin zu visuell auffälligen, aber endpunkt-irrelevanten Regionen führt.
Multimodale Fusion: Behandelt Omics als parallele Feature-Ströme oder angehängten Text, wodurch versäumt wird, Omics dazu zu nutzen, explizit zu steuern, welche Regionen abgerufen werden, oder die Vollständigkeit dieses Abrufs zu verifizieren.

Die zentrale Herausforderung ist das endpunkt-bewusste Evidenz-Retrieval auf Gigapixel-WSIs, das sicherstellt, dass die beobachtete Morphologie die molekulare Schlussfolgerung explizit stützt und so einen auditierbaren Evidenzpfad schafft.

Methodik: Die HERO-Pipeline

HERO (Hypothesis-Driven Evidence Retrieval from Omics) ist eine vierstufige, geschlossene Regelkreis-Pipeline, die beobachtete Omics als testbare morphologische Hypothese behandelt. Sie operiert in einem gemeinsamen 16-dimensionalen Evidenzraum ( $K=16$ ).

Stufe 1: Von Omics zu Intention und Keywords

Pathway-Scoring: DNA-Methylierung ( $x_{dna}$ ) und miRNA ( $x_{mirna}$ ) Vektoren werden z-normalisiert. Die Pathway-Scores werden mittels vordefinierter binärer Masken berechnet, die aus MSigDB Hallmark-Gensätzen und validierten miRNA-Target-Interaktionen abgeleitet sind. Das Scoring bildet Hypermethylierung und miRNA-vermittelte Repression auf eine Down-Regulation der Pathways ab.
Morphologischer Prior ( $W$ ): Eine feste, vorzeichenbehaftete, gewichtete und spärliche Prior-Matrix ( $W \in \mathbb{R}^{K \times P}$ ) bildet die 50 Pathway-Scores auf 16 Morphologie-Achsen ab (z. B. Mitoseaktivität, Kernpleomorphie, stromale Desmoplasie). Dieser Prior wird durch die WHO-Terminologie und biologische Assoziationen (z. B. E2F/MYC $\to$ Proliferation) geleitet und wird niemals mit Endpunkt-Labels optimiert, um sicherzustellen, dass die Abbildung auditierbar und skaleninvariant bleibt.
Intention-Generierung: Der Intent-Vektor $m$ wird generiert über $m = \ell_2\text{-normalize}(\text{ReLU}(Ws))$ . Ein Komitee von LLM-Aufrufen generiert ein molekulares Narrativ und einen strukturierten Keyword-Satz $Q$ (15–40 Begriffe) basierend auf den Pathways und Achsen.

Stufe 2: 10× Retrieval (300 $\to$ Top-64)

Repräsentatives Mining: Die WSI wird mit UNI-Embeddings kodiert. MiniBatchKMeans ( $k=300$ ) clustert diese, um 300 repräsentative Patches auszuwählen, die die globale morphologische Diversität abdecken.
Captioning & Ranking: Diese 300 Patches werden bei 10× Vergrößerung erneut betrachtet und durch ein VLM (Qwen2.5-VL-7B) unter Verwendung eines strukturierten Prompts beschriftet. Ein TF-IDF-Vektorisierer (pro Slide angepasst) rankt diese Captions gegen den Keyword-Satz $Q$ . Die Top 64 Patches bilden den initialen Evidenz-Satz.

Stufe 3: 20× Konsistenz-Gate und Defizit-gesteuertes Repair

Visueller Evidenz-Vektor ( $v$ ): Die Top 64 Patches werden bei 20× ausgeschnitten, in einem 8×8-Mosaik angeordnet und erneut mit Fokus auf zytologische Merkmale beschriftet. Ein visueller Evidenz-Vektor $v \in \mathbb{R}^K$ wird konstruiert, indem geprüft wird, ob Checklist-Begriffe für jede der 16 Achsen in den Captions vorhanden sind.
Konsistenz-Gate: Ein Kosinus-Ähnlichkeitswert $c = \cos(m, v)$ misst die Übereinstimmung zwischen der molekularen Intention und der visuellen Evidenz.
Defizit-gesteuertes Repair: Wenn $c < \tau_c$ (Schwellenwert $\tau_c=0.5$ ), identifiziert das System unterstützte Achsen ( $m - v$ ). Es rankt die verbleibenden, noch nicht ausgewählten Repräsentanten basierend auf ihrer Fähigkeit, diese Defizite abzudecken neu, führt die Top 32 Repair-Kandidaten mit den ursprünglichen 64 zusammen und führt einen zusätzlichen 20×-Captioning-Durchgang durch. Es erfolgen keine weiteren Repair-Runden.

Stufe 4: Diagnose-Modul

Das finale Mosaik, das molekulare Narrativ und die Konsistenz-Zusammenfassung werden in einen LoRA-getunten Qwen2.5-VL-7B eingespeist. Das Modell gibt strukturierte JSON-Vorhersagen für ER, PR, HER2, Subtyp und Risiko aus. Nur dieser Schritt wird getunt; die Stufen 1–3 bleiben fixe Retrieval- und Verifizierungsmodule.

Zentrale Beiträge

Omics-gesteuertes Retrieval: Konvertiert DNA-Methylierung und miRNA in einen spärlichen Pathway-zu-Morphologie-Intent-Vektor, was ein endpunkt-bewusstes Patch-Selection via TF-IDF über strukturierte Captions ermöglicht, anstatt auf Embedding-basiertem semantischem Matching zu beruhen.
Konsistenz-Gate mit deterministischem Repair: Führt ein Kosinus-Gate ein, um molekulare-visuelle Mismatch zu detektieren. Wenn ein Mismatch erkannt wird, ermöglicht ein deterministischer, defizit-gesteuerter Re-Ranking-Mechanismus das Retrieval von Patches, um unterstützte Morphologie-Achsen abzudecken, wobei die Rechenlast auf einen einzigen Repair-Durchgang begrenzt wird.
Robustheit und Auditierbarkeit: Das Design begrenzt die VLM-Aufrufe, reduziert die Abhängigkeit von Black-Box-Semantik und stellt sicher, dass jeder Retrieval-Schritt lexikalisch auditierbar ist. Der feste Prior $W$ verhindert Shortcut-Learning und stellt sicher, dass die Abbildung interpretierbar ist.

Experimentelle Ergebnisse

Evaluierung auf TCGA-BRCA (930 WSIs, 878 Patienten) mittels Patient-Level 5-fold Cross-Validation:

State-of-the-Art Performance: HERO übertraf alle Baselines (einschließlich SNN, TransMIL, MCAT, SurvPath und VLM-basierte Agenten) über alle Endpunkte hinweg: ER, PR, HER2, Subtyp und Risiko.
- Bemerkenswerte Gewinne wurden bei HER2 (+0,050 AUC gegenüber SurvPath) und Risiko (+0,030 C-index) beobachtet, wo die Morphologie spärlich und heterogen ist.
Ablationsstudien:
- Retrieval-Mechanismus: Das Ersetzen des HERO-Retrievals durch TransMIL-Attention oder Random Sampling verschlechterte die Performance signifikant (z. B. verbesserte HERO HER2 um +0,090 gegenüber VLM + TransMIL Top-64), was bestätigt, dass die Gewinne aus dem molekular-gesteuerten Retrieval stammen.
- Komponenten: Das Entfernen des Konsistenz-Gates reduzierte die HER2 AUC um 0,043. Random Patch Repair stellte nur einen Bruchteil der Performance wieder her, was beweist, dass das defizit-gesteuerte Re-Ranking entscheidend ist.
- Sensitivität: Das System ist robust gegenüber Perturbationen im Prior $W$ (Noise/Dropout verursachte $\le 0,009$ Degradation), während das Vertauschen der Pathway-zu-Achsen-Zuweisungen signifikante Einbrüche verursachte, was validiert, dass $W$ eine informative biologische Struktur kodiert.

Bedeutung und Ansprüche

Das Paper behauptet, dass HERO ein neues Paradigma etabliert, in dem Omics-Daten nicht bloß als paralleler Feature-Strom fungieren, sondern als expliziter Retrieval-Constraint und Verifizierungsmechanismus. Durch das Schließen des Kreises zwischen molekularen Hypothesen und visueller Evidenz erreicht HERO eine robuste, interpretierbare und hochperformante Multi-Task-Analyse von Brustkrebs.

Die Autoren merken explizit Limitationen an:

Die Evaluierung beschränkt sich auf die interne TCGA-BRCA Cross-Validation; die Robustheit über Institutionen, Scanner und Populationen hinweg ist nicht etabliert.
Der 16-Achsen-Checklist ist spezifisch für Brustkrebs und erfordert eine Prüfung für andere Tumortypen.
VLM-Captions bleiben fehlbar; obwohl strukturierte Prompts die Evidenz inspizierbar machen, garantieren sie keine pathologische Korrektheit.
Die Inferenzkosten sind hoch (57s/WSI auf 2×A100), was eine schnellere Multi-Stage-VLM-Inferenz für den klinischen Einsatz erforderlich macht.

Die Arbeit schließt mit der Feststellung, dass die Abbildung von Omics auf Intention, das Retrieval via TF-IDF-Captions und die Verifizierung der Ausrichtung mittels eines Kosinus-Gates ein robustes, interpretierbares und leistungsfähiges System zur Multi-Task-Analyse von Brustkrebs ermöglicht.