Riepilogo Tecnico: Acquisizione Attiva di Modalità Basata su Cohort (CAMA)

Definizione del Problema

L'apprendimento automatico multimodale nel mondo reale opera spesso in condizioni di vincoli in cui certe modalità di dati sono mancanti, costose da acquisire o invasive da ottenere. Mentre i paradigmi esistenti come l'Apprendimento Attivo (AL), l'Acquisizione Attiva di Caratteristiche (AFA) e l'Acquisizione Attiva di Modalità (AMA) si concentrano sull'ottimizzazione dell'acquisizione per singoli campioni (spesso durante l'addestramento o a livello di campione al momento del test), essi spesso non riescono a risolvere la sfida specifica dell'allocazione delle risorse a livello di cohort.

In molti scenari pratici, come in ambito sanitario, i budget sono specifici per risorsa (ad esempio, un numero fisso di scansioni MRI o un finanziamento per test di proteomica) piuttosto che fondi flessibili per paziente. Il problema centrale affrontato è: Data una cohort di $N$ campioni in cui è inizialmente disponibile solo un sottoinsieme di modalità, e un budget fisso $\beta$ per acquisire una specifica modalità mancante e costosa, quale sottoinsieme di campioni dovrebbe essere selezionato per massimizzare una metrica di prestazione globale (ad esempio, AUROC, AUPRC) per l'intera cohort?

Questa impostazione, denominata Acquisizione Attiva di Modalità Basata su Cohort (CAMA), differisce dai lavori precedenti spostando il livello decisionale dal singolo campione alla cohort, mirando a ottimizzare la prestazione discriminativa globale della cohort anziché semplicemente l'accuratezza della previsione individuale.

Metodologia

1. Formulazione del Problema

Gli autori formalizzano CAMA come un problema di ottimizzazione. Sia $D = \{(x_i, y_i)\}_{i=1}^N$ un dataset in cui ogni campione $i$ ha $P$ modalità, ma è osservata solo una sottoinsieme $P^{avail}_i$. L'obiettivo è selezionare un sottoinsieme $S \subseteq \{1, \dots, N\}$ con $|S| = \beta$ per acquisire la modalità mancante.

• Punteggi: Il framework distingue tra:
  • $s^{avail}_i$: Punteggio ottenuto utilizzando le modalità disponibili.
  • $s^{acquired}_i$: Punteggio ottenuto utilizzando le modalità disponibili + acquisite (il punteggio "oracolo").
  • $\{s^{imp}_{i,k}\}_{k=1}^K$: Un insieme di $K$ punteggi imputati che stimano $s^{acquired}_i$ utilizzando un modello generativo.
• Obiettivo: Massimizzare una metrica globale $Metric(y, s(S))$, dove $s(S)$ è il vettore dei punteggi aggiornato per i campioni in $S$.

2. Strategie della Funzione di Acquisizione (AF)

Poiché risolvere esattamente il problema di ottimizzazione è computazionalmente intrattabile, gli autori propongono Funzioni di Acquisizione (AF) euristica per classificare i campioni. Queste sono categorizzate in:

• Strategie Oracolo: Limiti superiori teorici che assumono una conoscenza perfetta delle etichette vere e di $s^{acquired}_i$. Selezionano avidamente i campioni che producono il maggiore guadagno marginale nella metrica globale.
• Euristica del Limite Superiore: Strategie agnostiche alle etichette che assumono la conoscenza di $s^{acquired}_i$ ma non di $y_i$. Si basano su metriche come la riduzione reale dell'incertezza, il cambiamento di rango o la Divergenza KL tra distribuzioni di probabilità.
• Strategie Basate sull'Imputazione (Proposte): Queste utilizzano un modello generativo $f_{imp}$ per stimare i punteggi controfattuali $\{s^{imp}_{i,k}\}$ senza effettivamente acquisire i dati. Le strategie includono:
  • Divergenza KL Attesa: Prioritizzare i campioni in cui la distribuzione imputata diverge maggiormente dalla baseline.
  • Cambio di Rango Atteso: Prioritizzare i campioni che si prevede si sposteranno significativamente nella classificazione della cohort.
  • Riduzione dell'Incertezza Attesa: Prioritizzare i campioni in cui si prevede una maggiore diminuzione dell'incertezza.
  • Probabilità Attesa: Prioritizzare i campioni con alta probabilità media imputata.
• Baseline: Strategie che utilizzano solo informazioni pre-acquisizione (ad esempio, incertezza di base) o selezione casuale.

3. Architettura del Modello

L'architettura proposta combina un modello discriminativo a fusione tardiva con un modulo di imputazione generativa (Figura 2):

• Componente Discriminativa: Un modello a fusione tardiva $f$ con encoder specifici per modalità (ad esempio, ViT per immagini, BERT per testo) e un classificatore di fusione. Produce $s^{avail}_i$.
• Componente Generativa: Un modello generativo $f_{imp}$ (implementato come Diffusion Transformers o Beta-Conditional VAEs) addestrato per approssimare la distribuzione condizionale $p(z^{(k)} | \{z^{(m)}\}_{m \in P^{avail}_i})$ per le modalità mancanti.
• Addestramento: Il modello è addestrato end-to-end con una perdita combinata di entropia incrociata binaria (discriminativa) e una perdita generativa (limite variazionale o obiettivo di denoising). Crucialmente, durante l'addestramento, gli output generativi sono disaccoppiati dal classificatore; il classificatore è addestrato solo sulle modalità disponibili tramite maschere di attenzione per prevenire la fuoriuscita di dati, mentre il modulo generativo impara a ricostruire gli embedding latenti.

Contributi Chiave

1. L'Impostazione CAMA: La formalizzazione di una nuova impostazione di acquisizione a livello di cohort al momento del test, che affronta la prioritizzazione dei campioni per una singola modalità fissa sotto un vincolo di budget globale.
2. Quadro Teorico per le AF: La derivazione di funzioni di acquisizione basate su metriche di valutazione standard (AUROC, AUPRC), inclusa la definizione di euristiche del limite superiore e strategie basate sull'imputazione.
3. Architettura Innovativa: Un'architettura ibrida che integra la fusione tardiva discriminativa con l'imputazione generativa (adattando specificamente i concetti di IMDer [64]) per abilitare il ragionamento controfattuale al momento del test.
4. Valutazione Completa: Estesa validazione empirica su dataset diversificati (UK Biobank, MIMIC-Symile, MIMIC-HAIM, MOSEI) con fino a 15 modalità e 100.000 campioni.

Risultati Sperimentali

Gli autori hanno valutato i loro metodi su quattro dataset, concentrandosi su compiti di classificazione binaria.

• Prestazioni: La strategia basata sull'Imputazione e Divergenza KL ha costantemente superato tutte le baseline non-oracolo (inclusi metodi basati sull'incertezza e selezione casuale) nella maggior parte dei dataset e delle metriche.
• Confronto con le Euristiche: Sebbene le euristiche "Vere" (conoscenza oracolo) abbiano fornito limiti superiori, la strategia basata sull'imputazione e Divergenza KL ha spesso avvicinato o, in alcuni casi specifici (ad esempio, MOSEI), superato le prestazioni delle corrispondenti euristiche del limite superiore agnostiche alle etichette.
• Scalabilità: Il metodo ha dimostrato scalabilità sul dataset UK Biobank (circa 100k campioni, 15 modalità), guidando con successo l'acquisizione di dati proteomici per la previsione del Lupus Eritematoso Sistemico (SLE).
• Studi di Ablazione: Decisioni architetturali chiave, come la Normalizzazione a Livello, lo smoothing delle etichette e il disaccoppiamento del modulo generativo dal classificatore durante l'addestramento, sono state trovate essenziali per stabilità e prestazioni.
• Efficienza: Sebbene i DDPM offrissero prestazioni solide, i Beta-Conditional VAE fornivano un'alternativa di inferenza più rapida con un compromesso nelle prestazioni.

Significato e Affermazioni

Il paper afferma che CAMA fornisce un approccio efficace per ottimizzare l'acquisizione di modalità in contesti con risorse limitate, in particolare dove una singola modalità costosa deve essere allocata su una grande cohort.

• Rilevanza nel Mondo Reale: Gli autori evidenziano il progetto proteomico UK Biobank come esempio primario, dove un budget fisso ha reso necessaria una selezione strategica di pazienti per test costosi. Il loro metodo offre un framework basato sui dati per tali decisioni.
• Efficienza delle Risorse: Prioritizzando i campioni in cui l'acquisizione di una modalità mancante produce il maggiore guadagno globale (anziché solo una riduzione locale dell'incertezza), il metodo massimizza l'utilità di risorse limitate.
• Limitazioni: Gli autori riconoscono che il loro lavoro attuale si concentra su una singola modalità specificata e costi fissi, escludendo il problema più complesso della selezione congiunta sia della modalità che del campione o della gestione di costi eterogenei. Notano inoltre che la loro valutazione utilizza pattern di missingness sintetici (tranne che per UKB) e non include ancora un'analisi dedicata sull'equità.

In conclusione, il lavoro stabilisce che le funzioni di acquisizione basate sull'imputazione, in particolare quelle che sfruttano la Divergenza KL attesa, possono guidare efficacemente l'allocazione delle risorse a livello di cohort, colmando il divario tra strategie di acquisizione teoriche e applicazioni pratiche di apprendimento multimodale vincolate dal budget.