Resumo Técnico: Aquisição de Modalidade Ativa Baseada em Coorte (CAMA)

Definição do Problema

A aprendizagem de máquina multimodal do mundo real frequentemente opera sob restrições onde certas modalidades de dados estão ausentes, são custosas para adquirir ou invasivas para obter. Embora paradigmas existentes como Aprendizagem Ativa (AL), Aquisição Ativa de Características (AFA) e Aquisição Ativa de Modalidade (AMA) foquem na otimização da aquisição para amostras individuais (muitas vezes durante o treinamento ou no nível da amostra no momento do teste), eles frequentemente falham em abordar o desafio específico da alocação de recursos ao nível da coorte.

Em muitos cenários práticos, como na saúde, os orçamentos são específicos de recursos (por exemplo, um número fixo de ressonâncias magnéticas ou uma subvenção para testes de proteômica) em vez de fundos flexíveis por paciente. O problema central abordado é: Dada uma coorte de $N$ amostras onde apenas um subconjunto de modalidades está inicialmente disponível, e um orçamento fixo $\beta$ para adquirir uma única modalidade específica e custosa ausente, qual subconjunto de amostras deve ser selecionado para maximizar uma métrica de desempenho global (por exemplo, AUROC, AUPRC) para toda a coorte?

Esta configuração, denominada Aquisição de Modalidade Ativa Baseada em Coorte (CAMA), difere de trabalhos anteriores ao deslocar o nível de decisão da amostra individual para a coorte, visando otimizar o desempenho discriminativo global da coorte em vez de apenas a precisão da previsão individual.

Metodologia

1. Formulação do Problema

Os autores formalizam a CAMA como um problema de otimização. Seja $D = \{(x_i, y_i)\}_{i=1}^N$ um conjunto de dados onde cada amostra $i$ possui $P$ modalidades, mas apenas um subconjunto $P^{avail}_i$ é observado. O objetivo é selecionar um subconjunto $S \subseteq \{1, \dots, N\}$ com $|S| = \beta$ para adquirir a modalidade ausente.

• Pontuações: O quadro distingue entre:
  • $s^{avail}_i$: Pontuação usando modalidades disponíveis.
  • $s^{acquired}_i$: Pontuação usando modalidades disponíveis + adquiridas (a pontuação "oráculo").
  • $\{s^{imp}_{i,k}\}_{k=1}^K$: Um conjunto de $K$ pontuações imputadas estimando $s^{acquired}_i$ usando um modelo generativo.
• Objetivo: Maximizar uma métrica global $Metric(y, s(S))$, onde $s(S)$ é o vetor de pontuações atualizado para as amostras em $S$.

2. Estratégias da Função de Aquisição (AF)

Como resolver o problema de otimização exatamente é computacionalmente intratável, os autores propõem Funções de Aquisição (AF) heurísticas para classificar as amostras. Estas são categorizadas em:

• Estratégias Oráculo: Limites superiores teóricos assumindo conhecimento perfeito dos rótulos verdadeiros e de $s^{acquired}_i$. Elas selecionam greedy amostras que geram o maior ganho marginal na métrica global.
• Heurísticas de Limite Superior: Estratégias agnósticas a rótulos que assumem conhecimento de $s^{acquired}_i$ mas não de $y_i$. Elas dependem de métricas como redução de incerteza verdadeira, mudança de classificação ou Divergência KL entre distribuições de probabilidade.
• Estratégias Baseadas em Imputação (Propostas): Estas utilizam um modelo generativo $f_{imp}$ para estimar as pontuações contrafactuais $\{s^{imp}_{i,k}\}$ sem realmente adquirir os dados. As estratégias incluem:
  • Divergência KL Esperada: Priorizar amostras onde a distribuição imputada diverge mais da linha de base.
  • Mudança de Classificação Esperada: Priorizar amostras que se espera que mudem significativamente na classificação da coorte.
  • Redução de Incerteza Esperada: Priorizar amostras onde a incerteza se espera que diminua mais.
  • Probabilidade Esperada: Priorizar amostras com alta probabilidade imputada média.
• Baselines: Estratégias usando apenas informações pré-aquisição (por exemplo, incerteza de base) ou seleção aleatória.

3. Arquitetura do Modelo

A arquitetura proposta combina um modelo discriminativo de fusão tardia com um módulo generativo de imputação (Figura 2):

• Componente Discriminativo: Um modelo de fusão tardia $f$ com codificadores específicos de modalidade (por exemplo, ViT para imagens, BERT para texto) e um classificador de fusão. Ele produz $s^{avail}_i$.
• Componente Generativo: Um modelo generativo $f_{imp}$ (implementado como Transformers de Difusão ou VAEs Condicionais Beta) treinado para aproximar a distribuição condicional $p(z^{(k)} | \{z^{(m)}\}_{m \in P^{avail}_i})$ para modalidades ausentes.
• Treinamento: O modelo é treinado de ponta a ponta com uma perda combinada de entropia cruzada binária (discriminativa) e uma perda generativa (limite variacional ou objetivo de remoção de ruído). Crucialmente, durante o treinamento, as saídas generativas são desacopladas do classificador; o classificador é treinado apenas com modalidades disponíveis através de máscaras de atenção para evitar vazamento de dados, enquanto o módulo generativo aprende a reconstruir incorporações latentes.

Contribuições Principais

1. O Cenário CAMA: A formalização de um novo cenário de aquisição no momento do teste, ao nível da coorte, que aborda a priorização de amostras para uma única modalidade fixa sob uma restrição de orçamento global.
2. Quadro Teórico para AFs: A derivação de funções de aquisição baseadas em métricas de avaliação padrão (AUROC, AUPRC), incluindo a definição de heurísticas de limite superior e estratégias baseadas em imputação.
3. Arquitetura Novel: Uma arquitetura híbrida integrando fusão tardia discriminativa com imputação generativa (adaptando especificamente conceitos do IMDer [64]) para permitir raciocínio contrafactual no momento do teste.
4. Avaliação Abrangente: Validação empírica extensa em diversos conjuntos de dados (UK Biobank, MIMIC-Symile, MIMIC-HAIM, MOSEI) com até 15 modalidades e 100.000 amostras.

Resultados Experimentais

Os autores avaliaram seus métodos em quatro conjuntos de dados, focando em tarefas de classificação binária.

• Desempenho: A estratégia de Divergência KL baseada em Imputação superou consistentemente todas as baselines não-oráculo (incluindo baseadas em incerteza e seleção aleatória) na maioria dos conjuntos de dados e métricas.
• Comparação com Heurísticas: Embora as heurísticas "True" (conhecimento oráculo) fornecessem limites superiores, a estratégia de Divergência KL baseada em imputação frequentemente aproximou-se ou, em alguns casos específicos (por exemplo, MOSEI), excedeu o desempenho das heurísticas correspondentes de limite superior agnósticas a rótulos.
• Escalabilidade: O método demonstrou escalabilidade no conjunto de dados UK Biobank (aproximadamente 100k amostras, 15 modalidades), guiando com sucesso a aquisição de dados de proteômica para previsão de Lúpus Eritematoso Sistêmico (SLE).
• Estudos de Ablação: Decisões arquitetônicas chave, como Normalização de Camada, suavização de rótulos e o desacoplamento do módulo generativo do classificador durante o treinamento, foram encontradas como essenciais para estabilidade e desempenho.
• Eficiência: Embora os DDPMs oferecessem forte desempenho, os VAEs Condicionais Beta forneceram uma alternativa de inferência mais rápida com uma compensação no desempenho.

Significado e Alegações

O artigo alega que a CAMA fornece uma abordagem eficaz para otimizar a aquisição de modalidades em cenários com restrições de recursos, particularmente onde uma única modalidade cara deve ser alocada em uma grande coorte.

• Relevância do Mundo Real: Os autores destacam o projeto de proteômica do UK Biobank como um exemplo primordial, onde um orçamento fixo exigiu a seleção estratégica de pacientes para testes caros. Seu método oferece um quadro orientado por dados para tais decisões.
• Eficiência de Recursos: Ao priorizar amostras onde a aquisição de uma modalidade ausente gera o maior ganho global (em vez de apenas redução de incerteza local), o método maximiza a utilidade de recursos limitados.
• Limitações: Os autores reconhecem que seu trabalho atual foca em uma única modalidade especificada e custos fixos, excluindo o problema mais complexo de selecionar conjuntamente tanto a modalidade quanto a amostra ou lidar com custos heterogêneos. Eles também notam que sua avaliação usa padrões de ausência sintéticos (exceto para UKB) e ainda não inclui uma análise dedicada de equidade.

Em conclusão, o trabalho estabelece que funções de aquisição baseadas em imputação, especificamente aquelas que aproveitam a Divergência KL esperada, podem guiar efetivamente a alocação de recursos ao nível da coorte, preenchendo a lacuna entre estratégias de aquisição teóricas e aplicações práticas de aprendizagem multimodal com restrições orçamentárias.