🤖 machine learning

Cohort-Based Active Modality Acquisition

Dit artikel introduceert Cohort-based Active Modality Acquisition (CAMA), een nieuw framework voor het moment van testen dat op imputatie gebaseerde strategieën gebruikt om efficiënt te prioriteren welke samples in een cohort kostbare aanvullende modaliteiten moeten ontvangen, waarbij het superieure prestaties toont ten opzichte van bestaande methoden en praktische toepasbaarheid bewijst in ziektevoorspelling met proteomische gegevens uit de UK Biobank.

Oorspronkelijke auteurs: Tillmann Rheude, Roland Eils, Benjamin Wild

Gepubliceerd 2026-05-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tillmann Rheude, Roland Eils, Benjamin Wild

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Budget"-Probleem

Stel je voor dat je een arts bent met een enorme wachtlijst van 100.000 patiënten. Iedereen heeft al een basis, goedkope check-up gehad (zoals een standaard bloedtest en een gesprek over hun symptomen). Dit geeft je een "basisidee" van wie ziek is.

Echter, je weet dat een specifieke, dure test (zoals een high-tech MRI of een complexe genetische scan) je voor sommige patiënten een veel duidelijker beeld kan geven. Het probleem? Je hebt maar genoeg geld in je budget om deze dure test te betalen voor 1.000 mensen.

De grote vraag is: Welke 1.000 mensen krijgen de dure test?

Als je ze willekeurig kiest, kun je geld verspillen aan mensen die al makkelijk te diagnosticeren waren. Als je degenen kiest die door de basis-test het "meest verward" lijken, kun je de mensen missen die het meeste baat hebben bij de extra data. Dit artikel introduceert een nieuwe manier om dit raadsel op te lossen.

De Oplossing: "Cohort-Based Active Modality Acquisition" (CAMA)

De auteurs noemen hun methode CAMA. Denk hierbij aan een slimme "verkeersleider" voor medische middelen.

In plaats van patiënten één voor één te bekijken en te vragen: "Heb jij deze test nodig?", kijkt CAMA naar de hele groep (cohort) tegelijk. Het vraagt: "Als we de dure test geven aan deze specifieke groep van 1.000 mensen, zal de algehele gezondheid van de hele populatie van 100.000 mensen het meest verbeteren?"

Hoe Het Werkt: De "Kristallen Bol"-Analogie

Het moeilijkste deel van dit probleem is dat je de resultaten van de dure test nog niet echt hebt. Je moet raden wie ze nodig heeft.

De auteurs gebruiken een slimme truc met Imputatie (wat een chique woord is voor "invullen van de gaten").

De Kristallen Bol: Ze bouwen een speciale AI-"kristallen bol" (een generatief model). Deze AI kijkt naar de goedkope, basisdata die een patiënt wel heeft en probeert te simuleren hoe het resultaat van de dure test er zou uitzien.
De Simulatie: De AI genereert een "nep"-dure testresultaat voor elke enkele patiënt in de groep van 100.000 mensen.
De Vergelijking: Nu vergelijkt het systeem de "echte" basis-score met de "gesimuleerde" dure score voor iedereen.
- Als de gesimuleerde dure test de diagnose significant verandert (bijvoorbeeld van "waarschijnlijk gezond" naar "zeker ziek"), is die patiënt een kandidaat met hoge prioriteit.
- Als de gesimuleerde test niets verandert, heeft die patiënt waarschijnlijk nu niet de dure test nodig.

De Strategie: Wie Krijgt Het Ticket?

Het artikel test verschillende manieren om te beslissen wie de dure test krijgt. Ze ontdekten dat de beste strategie is om te zoeken naar verrassing.

De "Verrassing"-Strategie (KL-Divergentie): Deze methode kiest de patiënten wier "nep"-dure testresultaat het meest verschilt van hun "echte" basis-testresultaat.
- Analogie: Stel je voor dat je het einde van een film probeert te raden op basis van de eerste 10 minuten. Als je de volgende 10 minuten bekijkt (de dure test) en het plot draait volledig om, heb je iets belangrijks geleerd. Als het plot precies hetzelfde blijft, heb je niet veel geleerd. CAMA geeft prioriteit aan de mensen waar de "plotwending" het grootst is.

De Resultaten: Werkt Het?

De auteurs hebben dit idee getest op real-world data, waaronder:

UK Biobank: Een enorme dataset van 100.000 mensen waarbij ze het verwerven van dure "proteomics" (eiwit) data simuleerden om een specifieke ziekte te voorspellen.
Andere Datasets: Medische beelden, hartdata en zelfs emotieherkenning uit video's.

De Bevindingen:

Beter dan Willekeurig: Patiënten willekeurig kiezen is als een loterijticket kopen; het werkt zelden goed.
Beter dan "Verwarring": Patiënten kiezen die alleen maar "onzeker" zijn op basis van de basis-test, is ook niet de beste manier.
De Winnaar: De "Verrassing"-strategie (het gebruik van de AI-kristallen bol om de verandering te voorspellen) vond consequent de beste 1.000 mensen om te testen. Het hielp het totale systeem om betere voorspellingen te doen voor de hele groep, zelfs al had het alleen de dure data voor een klein deel van de mensen.

De "Orakel"-Benchmark

Het artikel noemt ook een "Orakel" (een perfecte voorspeller). Dit is een theoretische super-AI die het ware antwoord kent voordat het gebeurt. Zelfs deze perfecte AI vindt soms dat een mix van "geteste" en "ongeteste" mensen beter werkt dan het testen van iedereen. Dit bewijst dat strategische selectie krachtiger is dan gewoon meer data hebben.

Samenvatting

Kortom, dit artikel zegt: Raak niet zomaar wie dure data nodig heeft. Gebruik een slimme AI om te simuleren hoe die data er voor iedereen zou uitzien, en kies dan de mensen waar die simulatie de grootste verandering in je begrip zou veroorzaken. Hiermee kun je je beperkte budget strekken om het maximale voordeel voor de hele groep te halen.

Technische Samenvatting: Cohort-Based Active Modality Acquisition (CAMA)

Probleemdefinitie

Multimodaal machine learning in de echte wereld werkt vaak onder beperkingen waarbij bepaalde datamodaliteiten ontbreken, duur zijn om te verwerven of invasief zijn om te verkrijgen. Waar bestaande paradigma's zoals Active Learning (AL), Active Feature Acquisition (AFA) en Active Modality Acquisition (AMA) zich richten op het optimaliseren van verwerving voor individuele samples (vaak tijdens training of op het niveau van test-time samples), slagen ze er vaak niet in om de specifieke uitdaging van cohort-level resource allocation aan te pakken.

In veel praktische scenario's, zoals in de gezondheidszorg, zijn budgetten specifiek voor een bron (bijvoorbeeld een vast aantal MRI-scans of een subsidie voor proteomica-testen) in plaats van flexibele fondsen per patiënt. Het centrale probleem dat wordt aangepakt is: Gegeven een cohort van $N$ samples waarbij slechts een subset van modaliteiten aanvankelijk beschikbaar is, en een vast budget $\beta$ voor het verwerven van één specifieke, kostbare ontbrekende modality, welke subset van samples moet worden geselecteerd om een globale prestatie-maatstaf (bijvoorbeeld AUROC, AUPRC) voor het hele cohort te maximaliseren?

Deze instelling, genaamd Cohort-based Active Modality Acquisition (CAMA), verschilt van eerder werk door het beslissingsniveau te verschuiven van het individuele sample naar het cohort, met als doel het optimaliseren van de globale discriminatieve prestatie van het cohort in plaats van alleen de individuele voorspellingsnauwkeurigheid.

Methodologie

1. Probleemformulering

De auteurs formaliseren CAMA als een optimalisatieprobleem. Laat $D = \{(x_i, y_i)\}_{i=1}^N$ een dataset zijn waarbij elk sample $i$ $P$ modaliteiten heeft, maar slechts een subset $P^{avail}_i$ wordt waargenomen. Het doel is om een subset $S \subseteq \{1, \dots, N\}$ te selecteren met $|S| = \beta$ om de ontbrekende modality te verwerven.

Scores: Het kader onderscheidt tussen:
- $s^{avail}_i$ : Score met behulp van beschikbare modaliteiten.
- $s^{acquired}_i$ : Score met behulp van beschikbare + verworven modaliteiten (de "oracle" score).
- $\{s^{imp}_{i,k}\}_{k=1}^K$ : Een set van $K$ geïmputeerde scores die $s^{acquired}_i$ schatten met behulp van een generatief model.
Doel: Maximaliseren van een globale maatstaf $Metric(y, s(S))$, waarbij $s(S)$ de vector van scores is die is bijgewerkt voor samples in $S$ .

2. Acquisition Function (AF) Strategieën

Omdat het exact oplossen van het optimalisatieprobleem computationeel onhaalbaar is, stellen de auteurs heuristische Acquisition Functions (AF's) voor om samples te rangschikken. Deze worden gecategoriseerd als:

Oracle Strategieën: Theoretische bovengrenzen die uitgaan van perfecte kennis van ware labels en $s^{acquired}_i$ . Ze selecteren gretig samples die de grootste marginale winst in de globale maatstaf opleveren.
Upper-Bound Heuristieken: Label-agnostische strategieën die uitgaan van kennis van $s^{acquired}_i$ maar niet van $y_i$ . Ze vertrouwen op maatstaven zoals ware onzekerheidsreductie, rangverandering of KL-Divergentie tussen kansverdelingen.
Imputatie-gebaseerde Strategieën (Voorgesteld): Deze maken gebruik van een generatief model $f_{imp}$ $f_{im p}$ om de counterfactuele scores $\{s^{imp}_{i,k}\}$ ${s_{i, k}^{im p}}$ te schatten zonder daadwerkelijk de data te verwerven. Strategieën omvatten:
- Verwachte KL-Divergentie: Prioriteren van samples waarbij de geïmputeerde verdeling het sterkst afwijkt van de baseline.
- Verwachte Rangverandering: Prioriteren van samples waarvan wordt verwacht dat ze significant verschuiven in de rangschikking van het cohort.
- Verwachte Onzekerheidsreductie: Prioriteren van samples waarbij onzekerheid naar verwachting het sterkst afneemt.
- Verwachte Kans: Prioriteren van samples met een hoge gemiddelde geïmputeerde kans.
Baselines: Strategieën die alleen pre-acquisitie-informatie gebruiken (bijvoorbeeld baseline onzekerheid) of willekeurige selectie.

3. Modelarchitectuur

De voorgestelde architectuur combineert een discriminatief late-fusion model met een generatief imputatiemodule (Figuur 2):

Discriminatief Component: Een late-fusion model $f$ met modality-specifieke encoders (bijvoorbeeld ViT voor afbeeldingen, BERT voor tekst) en een fusion-classifier. Het produceert $s^{avail}_i$ .
Generatief Component: Een generatief model $f_{imp}$ (geïmplementeerd als Diffusion Transformers of Beta-Conditional VAE's) dat is getraind om de conditionele verdeling $p(z^{(k)} | \{z^{(m)}\}_{m \in P^{avail}_i})$ voor ontbrekende modaliteiten te benaderen.
Training: Het model wordt end-to-end getraind met een gecombineerde loss van binaire cross-entropy (discriminatief) en een generatieve loss (variational bound of denoising doel). Cruciaal is dat tijdens de training de generatieve outputs ontkoppeld zijn van de classifier; de classifier wordt alleen getraind op beschikbare modaliteiten via attentiemaskers om datalekken te voorkomen, terwijl het generatieve module leert om latente embeddings te reconstrueren.

Belangrijkste Bijdragen

De CAMA-instelling: De formalisering van een nieuwe test-time, cohort-level acquisitie-instelling die de prioritering van samples voor een enkele, vaste modality onder een globale budgetbeperking aanpakt.
Theoretisch Kader voor AF's: De afleiding van acquisition functions gebaseerd op standaard evaluatiemaatstaven (AUROC, AUPRC), inclusief de definitie van upper-bound heuristieken en imputatie-gebaseerde strategieën.
Nieuwe Architectuur: Een hybride architectuur die discriminatieve late fusion integreert met generatieve imputatie (specifiek het aanpassen van IMDer [64] concepten) om counterfactueel redeneren op testtijd mogelijk te maken.
Uitgebreide Evaluatie: Uitgebreide empirische validatie over diverse datasets (UK Biobank, MIMIC-Symile, MIMIC-HAIM, MOSEI) met tot 15 modaliteiten en 100.000 samples.

Experimentele Resultaten

De auteurs evalueerden hun methoden op vier datasets, met de focus op binaire classificatietaken.

Prestaties: De Imputatie-gebaseerde KL-Divergentie strategie presteerde consistent beter dan alle non-oracle baselines (inclusief onzekerheidsgebaseerde en willekeurige selectie) over de meeste datasets en maatstaven.
Vergelijking met Heuristieken: Hoewel de "True" (oracle kennis) heuristieken bovengrenzen boden, benaderde de imputatie-gebaseerde KL-Divergentie strategie vaak de prestaties van de corresponderende label-agnostische upper-bound heuristieken, of overtrof ze deze in sommige specifieke gevallen (bijvoorbeeld MOSEI).
Schaalbaarheid: De methode toonde schaalbaarheid op de UK Biobank dataset (ongeveer 100k samples, 15 modaliteiten), waarbij ze succesvol de verwerving van proteomica-data voor Systemic Lupus Erythematosus (SLE) voorspelling leidde.
Ablatie Studies: Belangrijke architecturale beslissingen, zoals Layer Normalization, label smoothing en het ontkoppelen van het generatieve module van de classifier tijdens training, bleken essentieel voor stabiliteit en prestaties.
Efficiëntie: Hoewel DDPM's sterke prestaties boden, boden Beta-Conditional VAE's een snellere inferentie-alternatief met een afweging in prestaties.

Betekenis en Claims

Het artikel claimt dat CAMA een effectieve aanpak biedt voor het optimaliseren van modality-acquisitie in resource-beperkte omgevingen, met name waar een enkele, dure modality over een groot cohort moet worden toegewezen.

Relevantie voor de Echte Wereld: De auteurs benadrukken het UK Biobank proteomica-project als een primeel voorbeeld, waarbij een vast budget een strategische selectie van patiënten voor dure testen vereiste. Hun methode biedt een datagedreven kader voor dergelijke beslissingen.
Resource-efficiëntie: Door samples te prioriteren waarbij de verwerving van een ontbrekende modality de hoogste globale winst oplevert (in plaats van alleen lokale onzekerheidsreductie), maximaliseert de methode het nut van beperkte middelen.
Beperkingen: De auteurs erkennen dat hun huidige werk zich richt op een enkele gespecificeerde modality en vaste kosten, en de complexere problemen uitsluit van het gezamenlijk selecteren van zowel de modality als het sample of het hanteren van heterogene kosten. Ze merken ook op dat hun evaluatie synthetische ontbrekendheidspatronen gebruikt (behalve voor UKB) en nog geen specifieke eerlijkheidsanalyse omvat.

Kortom, het werk stelt vast dat imputatie-gebaseerde acquisition functions, specifiek die die gebruikmaken van verwachte KL-Divergentie, cohort-level resource allocation effectief kunnen leiden, en zo de kloof overbruggen tussen theoretische acquisitiestrategieën en praktische, budget-beperkte multimodale leerapplicaties.