Résumé Technique : Acquisition Active de Modalités par Cohorte (CAMA)

Définition du Problème

L'apprentissage automatique multimodal dans le monde réel opère souvent sous des contraintes où certaines modalités de données sont manquantes, coûteuses à acquérir ou invasives à obtenir. Alors que les paradigmes existants tels que l'Apprentissage Actif (AL), l'Acquisition Active de Caractéristiques (AFA) et l'Acquisition Active de Modalités (AMA) se concentrent sur l'optimisation de l'acquisition pour des échantillons individuels (souvent pendant l'entraînement ou au niveau de l'échantillon au moment du test), ils échouent fréquemment à relever le défi spécifique de l'allocation de ressources au niveau de la cohorte.

Dans de nombreux scénarios pratiques, tels que le domaine de la santé, les budgets sont spécifiques aux ressources (par exemple, un nombre fixe de scanners IRM ou une subvention pour des tests de protéomique) plutôt que des fonds flexibles par patient. Le problème central abordé est le suivant : Étant donné une cohorte de $N$ échantillons où seule une sous-ensemble de modalités est initialement disponible, et un budget fixe $\beta$ pour acquérir une modalité manquante spécifique et coûteuse, quel sous-ensemble d'échantillons doit être sélectionné pour maximiser une métrique de performance globale (par exemple, AUROC, AUPRC) pour l'ensemble de la cohorte ?

Ce cadre, appelé Acquisition Active de Modalités par Cohorte (CAMA), se distingue des travaux antérieurs en déplaçant le niveau de décision de l'échantillon individuel vers la cohorte, visant à optimiser la performance discriminative globale de la cohorte plutôt que simplement la précision de prédiction individuelle.

Méthodologie

1. Formulation du Problème

Les auteurs formalisent le CAMA comme un problème d'optimisation. Soit $D = \{(x_i, y_i)\}_{i=1}^N$ un jeu de données où chaque échantillon $i$ possède $P$ modalités, mais seule une sous-ensemble $P^{avail}_i$ est observée. L'objectif est de sélectionner un sous-ensemble $S \subseteq \{1, \dots, N\}$ avec $|S| = \beta$ pour acquérir la modalité manquante.

• Scores : Le cadre distingue entre :
  • $s^{avail}_i$ : Score utilisant les modalités disponibles.
  • $s^{acquired}_i$ : Score utilisant les modalités disponibles + acquises (le score "oracle").
  • $\{s^{imp}_{i,k}\}_{k=1}^K$ : Un ensemble de $K$ scores imputés estimant $s^{acquired}_i$ en utilisant un modèle génératif.
• Objectif : Maximiser une métrique globale $Metric(y, s(S))$, où$s(S)$ est le vecteur de scores mis à jour pour les échantillons dans $S$.

2. Stratégies de Fonction d'Acquisition (AF)

Puisque la résolution exacte du problème d'optimisation est computationnellement intraitable, les auteurs proposent des Fonctions d'Acquisition (AF) heuristiques pour classer les échantillons. Ceux-ci sont catégorisés en :

• Stratégies Oracle : Bornes supérieures théoriques supposant une connaissance parfaite des vraies étiquettes et de $s^{acquired}_i$. Elles sélectionnent de manière gourmande les échantillons produisant le plus grand gain marginal dans la métrique globale.
• Heuristiques de Borne Supérieure : Stratégies agnostiques aux étiquettes qui supposent la connaissance de $s^{acquired}_i$ mais pas de $y_i$. Elles reposent sur des métriques telles que la réduction réelle de l'incertitude, le changement de rang, ou la Divergence KL entre les distributions de probabilité.
• Stratégies Basées sur l'Imputation (Proposées) : Elles utilisent un modèle génératif $f_{imp}$ pour estimer les scores contrefactuels $\{s^{imp}_{i,k}\}$ sans acquérir réellement les données. Les stratégies incluent :
  • Divergence KL Attendue : Prioriser les échantillons où la distribution imputée diverge le plus de la ligne de base.
  • Changement de Rang Attendu : Prioriser les échantillons susceptibles de se déplacer significativement dans le classement de la cohorte.
  • Réduction d'Incertitude Attendue : Prioriser les échantillons où l'incertitude est attendue pour diminuer le plus.
  • Probabilité Attendue : Prioriser les échantillons avec une probabilité imputée moyenne élevée.
• Lignes de Base : Stratégies utilisant uniquement les informations pré-acquisition (par exemple, incertitude de base) ou une sélection aléatoire.

3. Architecture du Modèle

L'architecture proposée combine un modèle de fusion tardive discriminative avec un module d'imputation génératif (Figure 2) :

• Composant Discriminatif : Un modèle de fusion tardive $f$ avec des encodeurs spécifiques aux modalités (par exemple, ViT pour les images, BERT pour le texte) et un classificateur de fusion. Il produit $s^{avail}_i$.
• Composant Génératif : Un modèle génératif $f_{imp}$ (implémenté sous forme de Transformers de Diffusion ou de VAE Conditionnels Beta) entraîné pour approximer la distribution conditionnelle $p(z^{(k)} | \{z^{(m)}\}_{m \in P^{avail}_i})$ pour les modalités manquantes.
• Entraînement : Le modèle est entraîné de bout en bout avec une perte combinée de l'entropie croisée binaire (discriminative) et une perte générative (borne variationnelle ou objectif de débruitage). Crucialement, pendant l'entraînement, les sorties génératives sont découplées du classificateur ; le classificateur est entraîné uniquement sur les modalités disponibles via des masques d'attention pour prévenir la fuite de données, tandis que le module génératif apprend à reconstruire les embeddings latents.

Contributions Clés

1. Le Cadre CAMA : La formalisation d'un nouveau cadre d'acquisition au moment du test, au niveau de la cohorte, qui aborde la priorisation des échantillons pour une modalité unique et fixe sous une contrainte de budget globale.
2. Cadre Théorique pour les AF : La dérivation de fonctions d'acquisition basées sur des métriques d'évaluation standard (AUROC, AUPRC), incluant la définition d'heuristiques de borne supérieure et de stratégies basées sur l'imputation.
3. Architecture Nouvelle : Une architecture hybride intégrant la fusion tardive discriminative avec l'imputation générative (adaptant spécifiquement les concepts d'IMDer [64]) pour permettre un raisonnement contrefactuel au moment du test.
4. Évaluation Complète : Validation empirique extensive sur divers jeux de données (UK Biobank, MIMIC-Symile, MIMIC-HAIM, MOSEI) avec jusqu'à 15 modalités et 100 000 échantillons.

Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes sur quatre jeux de données, en se concentrant sur des tâches de classification binaire.

• Performance : La stratégie Divergence KL basée sur l'Imputation a constamment surpassé toutes les lignes de base non-oracles (y compris celles basées sur l'incertitude et la sélection aléatoire) sur la plupart des jeux de données et des métriques.
• Comparaison avec les Heuristiques : Bien que les heuristiques "Vraies" (connaissance oracle) aient fourni des bornes supérieures, la stratégie Divergence KL basée sur l'imputation a souvent approché, ou dans certains cas spécifiques (par exemple, MOSEI), dépassé la performance des heuristiques de borne supérieure agnostiques aux étiquettes correspondantes.
• Évolutivité : La méthode a démontré son évolutivité sur le jeu de données UK Biobank (environ 100k échantillons, 15 modalités), guidant avec succès l'acquisition de données de protéomique pour la prédiction du Lupus Érythémateux Systémique (SLE).
• Études d'Ablation : Des décisions architecturales clés, telles que la Normalisation de Couche, le lissage des étiquettes et le découplage du module génératif du classificateur pendant l'entraînement, se sont révélées essentielles pour la stabilité et la performance.
• Efficacité : Bien que les DDPM aient offert de fortes performances, les VAE Conditionnels Beta ont fourni une alternative d'inférence plus rapide avec un compromis sur la performance.

Importance et Revendications

L'article revendique que le CAMA fournit une approche efficace pour optimiser l'acquisition de modalités dans des contextes contraints par les ressources, en particulier lorsqu'une modalité unique et coûteuse doit être allouée à une grande cohorte.

• Pertinence Réelle : Les auteurs soulignent le projet de protéomique UK Biobank comme exemple principal, où un budget fixe a nécessité une sélection stratégique de patients pour des tests coûteux. Leur méthode offre un cadre basé sur les données pour de telles décisions.
• Efficacité des Ressources : En priorisant les échantillons où l'acquisition d'une modalité manquante produit le plus grand gain global (plutôt que simplement une réduction locale de l'incertitude), la méthode maximise l'utilité des ressources limitées.
• Limites : Les auteurs reconnaissent que leur travail actuel se concentre sur une modalité spécifiée unique et des coûts fixes, excluant le problème plus complexe de la sélection conjointe de la modalité et de l'échantillon ou la gestion de coûts hétérogènes. Ils notent également que leur évaluation utilise des motifs de manquance synthétiques (sauf pour UKB) et n'inclut pas encore d'analyse dédiée de l'équité.

En conclusion, ce travail établit que les fonctions d'acquisition basées sur l'imputation, en particulier celles exploitant la Divergence KL attendue, peuvent guider efficacement l'allocation de ressources au niveau de la cohorte, comblant le fossé entre les stratégies d'acquisition théoriques et les applications pratiques d'apprentissage multimodal contraintes par le budget.