🤖 machine learning

Cohort-Based Active Modality Acquisition

Dieser Artikel stellt die kohortenbasierte aktive Modalitätserfassung (CAMA) vor, ein neuartiges Framework zur Laufzeit, das auf Imputationsstrategien basiert, um effizient zu priorisieren, welche Proben in einer Kohorte kostspielige zusätzliche Modalitäten erhalten sollten, und zeigt dabei eine überlegene Leistung gegenüber bestehenden Methoden sowie eine praktische Anwendbarkeit in der Krankheitsvorhersage unter Verwendung von Proteomikdaten der UK Biobank.

Ursprüngliche Autoren: Tillmann Rheude, Roland Eils, Benjamin Wild

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tillmann Rheude, Roland Eils, Benjamin Wild

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Budget"-Problem

Stellen Sie sich vor, Sie sind ein Arzt mit einer riesigen Warteliste von 100.000 Patienten. Jeder hat bereits eine grundlegende, günstige Untersuchung hinter sich (wie einen Standard-Bluttest und ein Gespräch über seine Symptome). Dies gibt Ihnen eine „Basis"-Vorstellung davon, wer krank ist.

Sie wissen jedoch, dass ein spezifischer, teurer Test (wie ein High-Tech-MRT oder ein komplexer Genscan) für einige Patienten ein viel klareres Bild liefern könnte. Das Problem? Sie haben nur genug Geld im Budget, um diesen teuren Test für 1.000 Personen zu bezahlen.

Die große Frage lautet: Welche 1.000 Personen sollten den teuren Test erhalten?

Wenn Sie sie zufällig auswählen, verschwenden Sie möglicherweise Geld an Menschen, die ohnehin leicht zu diagnostizieren waren. Wenn Sie diejenigen auswählen, die vom Basis-Test am „verwirrtesten" erscheinen, könnten Sie die Menschen verpassen, die am meisten von den zusätzlichen Daten profitieren würden. Dieses Papier stellt eine neue Methode vor, um dieses Rätsel zu lösen.

Die Lösung: „Cohort-Based Active Modality Acquisition" (CAMA)

Die Autoren nennen ihre Methode CAMA. Denken Sie daran wie an eine intelligente „Verkehrsleitsystem" für medizinische Ressourcen.

Anstatt die Patienten einzeln zu betrachten und zu fragen: „Brauchen Sie diesen Test?", betrachtet CAMA die gesamte Gruppe (Kohorte) auf einmal. Es fragt: „Wenn wir den teuren Test dieser spezifischen Gruppe von 1.000 Personen geben, verbessert sich dann die allgemeine Gesundheit der gesamten 100.000-Personen-Population am meisten?"

Wie es funktioniert: Die „Glaskugel"-Analogie

Der schwierigste Teil dieses Problems ist, dass Sie die Ergebnisse des teuren Tests noch nicht wirklich haben. Sie müssen raten, wer sie benötigt.

Die Autoren verwenden einen cleveren Trick mit Imputation (ein ausgefallenes Wort für „Lücken füllen").

Die Glaskugel: Sie bauen eine spezielle KI-„Glaskugel" (ein generatives Modell). Diese KI betrachtet die günstigen, grundlegenden Daten, die ein Patient hat, und versucht zu simulieren, wie das Ergebnis des teuren Tests aussehen würde.
Die Simulation: Die KI generiert ein „gefälschtes" Ergebnis des teuren Tests für jeden einzelnen Patienten in der Gruppe von 100.000 Personen.
Der Vergleich: Nun vergleicht das System den „echten" Basis-Score mit dem „simulierten" teuren Score für alle.
- Wenn der simulierte teure Test die Diagnose erheblich verändert (z. B. von „wahrscheinlich gesund" zu „definitiv krank"), ist dieser Patient ein Kandidat mit hoher Priorität.
- Wenn der simulierte Test nichts verändert, benötigt dieser Patient den teuren Test wahrscheinlich gerade nicht.

Die Strategie: Wer bekommt das Ticket?

Das Papier testet verschiedene Methoden, um zu entscheiden, wer den teuren Test erhält. Sie fanden heraus, dass die beste Strategie darin besteht, nach Überraschung zu suchen.

Die „Überraschungs"-Strategie (KL-Divergenz): Diese Methode wählt die Patienten aus, deren „gefälschtes" Ergebnis des teuren Tests am meisten von ihrem „echten" Basis-Testergebnis abweicht.
- Analogie: Stellen Sie sich vor, Sie erraten das Ende eines Films basierend auf den ersten 10 Minuten. Wenn Sie die nächsten 10 Minuten ansehen (den teuren Test) und die Handlung völlig umdreht, haben Sie etwas Großes gelernt. Wenn die Handlung genau gleich bleibt, haben Sie nicht viel gelernt. CAMA priorisiert die Personen, bei denen die „Handlungswende" am größten ist.

Die Ergebnisse: Funktioniert es?

Die Autoren testeten diese Idee mit realen Daten, darunter:

UK Biobank: Ein riesiger Datensatz von 100.000 Personen, bei dem sie simulierten, teure „Proteomik"-Daten (Proteine) zu erwerben, um eine bestimmte Krankheit vorherzusagen.
Andere Datensätze: Medizinische Bilder, Herzdaten und sogar die Emotionserkennung aus Videos.

Die Erkenntnisse:

Besser als Zufall: Patienten zufällig auszuwählen ist wie ein Los zu kaufen; es funktioniert selten gut.
Besser als „Verwirrung": Patienten auszuwählen, die nur aufgrund des Basis-Tests „unsicher" sind, ist ebenfalls nicht der beste Weg.
Der Gewinner: Die „Überraschungs"-Strategie (unter Verwendung der KI-Glaskugel zur Vorhersage der Veränderung) fand konsistent die besten 1.000 Personen zum Testen. Sie half dem Gesamtsystem, bessere Vorhersagen für die gesamte Gruppe zu treffen, obwohl es nur für einen kleinen Bruchteil der Personen die teuren Daten hatte.

Der „Orakel"-Vergleichswert

Das Papier erwähnt auch ein „Orakel" (ein perfekter Vorhersager). Dies ist eine theoretische Super-KI, die die wahre Antwort kennt, bevor sie eintritt. Selbst diese perfekte KI stellt manchmal fest, dass eine Mischung aus „getesteten" und „ungetesteten" Personen besser funktioniert als das Testen aller. Dies beweist, dass strategische Auswahl mächtiger ist als einfach nur mehr Daten zu haben.

Zusammenfassung

Kurz gesagt sagt dieses Papier: Raten Sie nicht einfach, wer teure Daten benötigt. Nutzen Sie eine intelligente KI, um zu simulieren, wie diese Daten für alle aussehen würden, und wählen Sie dann die Personen aus, bei denen diese Simulation die größte Veränderung in Ihrem Verständnis bewirken würde. Dies ermöglicht es Ihnen, Ihr begrenztes Budget so zu strecken, dass der gesamte Gruppe den maximalen Nutzen daraus zieht.

Technische Zusammenfassung: Kohortenbasierte aktive Modalitätserfassung (CAMA)

Problemdefinition

Der multimodale maschinelle Lernen in der realen Welt operiert häufig unter Einschränkungen, bei denen bestimmte Datenmodalitäten fehlen, teuer zu beschaffen sind oder invasiv zu erheben sind. Während bestehende Paradigmen wie Active Learning (AL), Active Feature Acquisition (AFA) und Active Modality Acquisition (AMA) darauf abzielen, die Erfassung für einzelne Stichproben zu optimieren (oft während des Trainings oder auf der Ebene der Testzeit-Stichprobe), adressieren sie häufig nicht die spezifische Herausforderung der Ressourcenallokation auf Kohortenebene.

In vielen praktischen Szenarien, wie beispielsweise im Gesundheitswesen, sind Budgets ressourcenspezifisch (z. B. eine festgelegte Anzahl von MRT-Scans oder ein Zuschuss für Proteomik-Tests) und nicht als flexible Mittel pro Patient verfügbar. Das zentrale Problem lautet: Gegeben eine Kohorte von $N$ Stichproben, bei der nur eine Teilmenge der Modalitäten initial verfügbar ist, und ein festes Budget $\beta$ für die Erfassung einer spezifischen, teuren fehlenden Modalität, welche Teilmenge von Stichproben sollte ausgewählt werden, um eine globale Leistungsmetrik (z. B. AUROC, AUPRC) für die gesamte Kohorte zu maximieren?

Dieses Setting, bezeichnet als Cohort-based Active Modality Acquisition (CAMA), unterscheidet sich von früheren Arbeiten durch die Verschiebung der Entscheidungsebene von der einzelnen Stichprobe zur Kohorte, mit dem Ziel, die globale diskriminative Leistung der Kohorte zu optimieren und nicht nur die Vorhersagegenauigkeit einzelner Fälle.

Methodik

1. Problemformulierung

Die Autoren formalisieren CAMA als Optimierungsproblem. Sei $D = \{(x_i, y_i)\}_{i=1}^N$ ein Datensatz, wobei jede Stichprobe $i$ über $P$ Modalitäten verfügt, aber nur eine Teilmenge $P^{avail}_i$ beobachtet wird. Das Ziel ist es, eine Teilmenge $S \subseteq \{1, \dots, N\}$ mit $|S| = \beta$ auszuwählen, um die fehlende Modalität zu erfassen.

Scores: Das Framework unterscheidet zwischen:
- $s^{avail}_i$ : Score unter Verwendung verfügbarer Modalitäten.
- $s^{acquired}_i$ : Score unter Verwendung verfügbarer + erworbener Modalitäten (der „Oracle"-Score).
- $\{s^{imp}_{i,k}\}_{k=1}^K$ : Eine Menge von $K$ imputierten Scores, die $s^{acquired}_i$ unter Verwendung eines generativen Modells schätzen.
Ziel: Maximierung einer globalen Metrik $Metric(y, s(S))$, wobei $s(S)$ der Vektor der Scores ist, der für die in $S$ enthaltenen Stichproben aktualisiert wurde.

2. Strategien für Erfassungsfunktionen (Acquisition Functions, AF)

Da die exakte Lösung des Optimierungsproblems rechnerisch nicht handhabbar ist, schlagen die Autoren heuristische Erfassungsfunktionen (AFs) vor, um Stichproben zu rangieren. Diese werden kategorisiert in:

Oracle-Strategien: Theoretische Obergrenzen unter der Annahme perfekter Kenntnis der wahren Labels und von $s^{acquired}_i$ . Sie wählen gierig Stichproben aus, die den größten marginalen Gewinn in der globalen Metrik erzielen.
Upper-Bound-Heuristiken: Label-agnostische Strategien, die Kenntnis von $s^{acquired}_i$ , aber nicht von $y_i$ voraussetzen. Sie verlassen sich auf Metriken wie die wahre Unsicherheitsreduktion, Rangänderung oder KL-Divergenz zwischen Wahrscheinlichkeitsverteilungen.
Imputationsbasierte Strategien (vorgeschlagen): Diese nutzen ein generatives Modell $f_{imp}$ $f_{im p}$ , um die kontrafaktischen Scores $\{s^{imp}_{i,k}\}$ ${s_{i, k}^{im p}}$ abzuschätzen, ohne tatsächlich Daten zu erfassen. Zu den Strategien gehören:
- Erwartete KL-Divergenz: Priorisierung von Stichproben, bei denen die imputierte Verteilung am stärksten von der Baseline abweicht.
- Erwartete Rangänderung: Priorisierung von Stichproben, bei denen erwartet wird, dass sie sich im Ranking der Kohorte signifikant verschieben.
- Erwartete Unsicherheitsreduktion: Priorisierung von Stichproben, bei denen erwartet wird, dass die Unsicherheit am stärksten abnimmt.
- Erwartete Wahrscheinlichkeit: Priorisierung von Stichproben mit hoher durchschnittlicher imputierter Wahrscheinlichkeit.
Basislinien: Strategien, die nur Informationen vor der Erfassung nutzen (z. B. Baseline-Unsicherheit) oder eine zufällige Auswahl treffen.

3. Modellarchitektur

Die vorgeschlagene Architektur kombiniert ein diskriminatives Late-Fusion-Modell mit einem generativen Imputationsmodul (Abbildung 2):

Diskriminative Komponente: Ein Late-Fusion-Modell $f$ mit modalitätsspezifischen Encodern (z. B. ViT für Bilder, BERT für Text) und einem Fusionsklassifikator. Es erzeugt $s^{avail}_i$ .
Generative Komponente: Ein generatives Modell $f_{imp}$ (implementiert als Diffusion Transformer oder Beta-Conditional VAE), das trainiert wird, um die bedingte Verteilung $p(z^{(k)} | \{z^{(m)}\}_{m \in P^{avail}_i})$ für fehlende Modalitäten zu approximieren.
Training: Das Modell wird End-to-End mit einer kombinierten Verlustfunktion aus binärer Kreuzentropie (diskriminativ) und einem generativen Verlust (variationsbedingte Schranke oder Denoising-Ziel) trainiert. Entscheidend ist, dass während des Trainings die generativen Ausgaben vom Klassifikator entkoppelt werden; der Klassifikator wird nur auf verfügbaren Modalitäten mittels Attention-Masken trainiert, um Datenlecks zu verhindern, während das generative Modul lernt, latente Embeddings zu rekonstruieren.

Hauptbeiträge

Das CAMA-Setting: Die Formalisierung eines neuartigen Testzeit-Settings auf Kohortenebene für die Erfassung, das die Priorisierung von Stichproben für eine einzelne, feste Modalität unter einer globalen Budgetbeschränkung adressiert.
Theoretischer Rahmen für AFs: Die Herleitung von Erfassungsfunktionen basierend auf Standard-Evaluierungsmetriken (AUROC, AUPRC), einschließlich der Definition von Upper-Bound-Heuristiken und imputationsbasierten Strategien.
Neuartige Architektur: Eine hybride Architektur, die diskriminative Late Fusion mit generativer Imputation integriert (insbesondere unter Anpassung von IMDer [64]-Konzepten), um kontrafaktisches Schließen zur Testzeit zu ermöglichen.
Umfassende Evaluation: Ausführliche empirische Validierung über diverse Datensätze hinweg (UK Biobank, MIMIC-Symile, MIMIC-HAIM, MOSEI) mit bis zu 15 Modalitäten und 100.000 Stichproben.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methoden auf vier Datensätzen mit Fokus auf binäre Klassifikationsaufgaben.

Leistung: Die imputationsbasierte KL-Divergenz-Strategie übertraf konsistent alle nicht-Oracle-Basislinien (einschließlich unsicherheitsbasierter und zufälliger Auswahl) über die meisten Datensätze und Metriken hinweg.
Vergleich mit Heuristiken: Während die „True"-Heuristiken (Oracle-Wissen) Obergrenzen lieferten, näherte sich die imputationsbasierte KL-Divergenz-Strategie oft an oder übertraf in bestimmten Fällen (z. B. MOSEI) die Leistung der entsprechenden label-agnostischen Upper-Bound-Heuristiken.
Skalierbarkeit: Die Methode zeigte Skalierbarkeit auf dem UK-Biobank-Datensatz (ca. 100k Stichproben, 15 Modalitäten) und leitete erfolgreich die Erfassung von Proteomik-Daten für die Vorhersage von Systemischem Lupus Erythematodes (SLE).
Ablationsstudien: Wichtige architektonische Entscheidungen, wie Layer Normalization, Label Smoothing und die Entkoppelung des generativen Moduls vom Klassifikator während des Trainings, erwiesen sich als essenziell für Stabilität und Leistung.
Effizienz: Während DDPMs starke Leistung boten, boten Beta-Conditional VAEs eine schnellere Inferenzalternative mit einem Kompromiss bei der Leistung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CAMA einen effektiven Ansatz zur Optimierung der Modalitätserfassung in ressourcenbeschränkten Umgebungen bietet, insbesondere dort, wo eine einzelne, teure Modalität über eine große Kohorte hinweg allokiert werden muss.

Relevanz für die reale Welt: Die Autoren heben das Proteomik-Projekt der UK Biobank als Paradebeispiel hervor, bei dem ein festes Budget eine strategische Auswahl von Patienten für teure Tests erforderte. Ihre Methode bietet einen datengesteuerten Rahmen für solche Entscheidungen.
Ressourceneffizienz: Durch die Priorisierung von Stichproben, bei denen die Erfassung einer fehlenden Modalität den höchsten globalen Gewinn bringt (anstatt nur eine lokale Unsicherheitsreduktion), maximiert die Methode den Nutzen begrenzter Ressourcen.
Einschränkungen: Die Autoren räumen ein, dass ihre aktuelle Arbeit sich auf eine einzelne spezifizierte Modalität und feste Kosten konzentriert und das komplexere Problem der gemeinsamen Auswahl von Modalität und Stichprobe oder den Umgang mit heterogenen Kosten ausschließt. Sie weisen zudem darauf hin, dass ihre Evaluation synthetische Muster des Fehlens verwendet (außer bei UKB) und noch keine dedizierte Fairness-Analyse beinhaltet.

Zusammenfassend stellt die Arbeit fest, dass imputationsbasierte Erfassungsfunktionen, insbesondere solche, die die erwartete KL-Divergenz nutzen, die Ressourcenallokation auf Kohortenebene effektiv steuern können und so die Lücke zwischen theoretischen Erfassungsstrategien und praktischen, budgetbeschränkten Anwendungen des multimodalen Lernens schließen.