Conformal Calibration for Multi-Modal Regression with Missing Modalities

Resumo Técnico: Calibração Conformal para Regressão Multimodal com Modalidades Ausentes

Definição do Problema
Sistemas de regressão multimodal, que integram diversas fontes de entrada como dados tabulares, texto e imagens, enfrentam desafios significativos na geração de estimativas de incerteza confiáveis. Embora a fusão dessas fontes frequentemente melhore a precisidade da predição pontual, os métodos de predição conformal padrão geralmente dependem de um único quantil global para construir intervalos de predição. Essa abordagem global faz uma média entre diferentes regimes de dados de entrada, falhando em considerar diferenças sistemáticas na confiabilidade dos intervalos quando as modalidades concordam, conflitam ou quando modalidades específicas estão ausentes no momento do teste. Consequentemente, uma garantia de cobertura marginal única pode mascarar a subcobertura em subgrupos difíceis (ex: alto desacordo ou dados ausentes) e a ineficiência em casos fáceis. O artigo aborda a necessidade de uma camada de calibração que adapte a largura do intervalo com base no padrão de modalidade observado e no desacordo entre as fontes, mantendo garantias rigorosas de cobertura em amostras finitas.

Metodologia
O método proposto introduz uma camada de calibração conformal consciente da modalidade que opera em torno de um preditor base fixo e de um conjunto de preditores auxiliares por fonte. O mecanismo central envolve duas estratégias complementares impulsionadas por um escore de desacordo e pela disponibilidade da modalidade:

1. Construção do Escore de Desacordo:
   Para cada exemplo $x$, os preditores por fonte $g_k$ geram predições $\hat{y}_k$ a partir de seus respectivos blocos de origem $x^{(k)}$. O escore de desacordo $d(x)$ é definido como o desvio padrão dessas predições por fonte:
   $$d(x) = \left( \frac{1}{K_x} \sum_{k \in A(x)} (g_k(x^{(k)}) - \bar{g}_{A(x)})^2 \right)^{1/2}$$
   onde $A(x)$ é o conjunto de fontes disponíveis. Se apenas uma fonte estiver disponível, $d(x)=0$.

2. Calibração Escalonada pelo Desacordo (Abordagem Contínua):
   Este método realoca a largura do intervalo continuamente com base no escore de desacordo. Uma função de escala $a_\gamma(x) = \sqrt{1 + \gamma d(x)^2}$ é aplicada aos escores da Regressão de Quantis Conformalizada (CQR). O parâmetro $\gamma$ é selecionado em um corte de ajuste (tuning split) e fixado antes da calibração.

   • Mecanismo: O escore de não conformidade é normalizado: $s_i = \max\{e_i, 0\} / a_\gamma(X_i)$.
   • Efeito: Um alto desacordo leva a um fator de escala maior, alargando o intervalo; um baixo desacordo o estreita.
   • Garantia: Isso preserva a garantia padrão de cobertura de divisão conformal marginal ($1-\alpha$) sob a condição de que a regra de escala seja fixada antes da calibração.

3. Calibração Mondrian (Estratificada) (Abordagem Discreta):
   Este método constrói quantis de calibração separados para estratos pré-especificados definidos ou pelo escore de desacordo (em bins) ou por regimes de disponibilidade de modalidade (ex: "texto ausente", "imagem ausente").

   • Mecanismo: O conjunto de calibração é particionado em estratos $h$. Um quantil distinto $\hat{q}_h$ é computado para cada estrato.
   • Garantia: Isso fornece garantias de cobertura condicional de estrato finito, desde que a definição do estrato seja fixada antes da calibração e que os exemplos de calibração/teste sejam conjuntamente intercambiáveis condicionados aos dados pré-calibração.

4. Lidando com Modalidades Ausentes:
   O framework lida explicitamente com modalidades ausentes ao definir estratos de "regime". Em testes de estresse, uma "recalibração correspondente à máscara" (mask-matched recalibration) é utilizada, onde os exemplos de calibração são transformados usando a mesma máscara de ausência que os exemplos de teste. Isso permite que o sistema recupere a cobertura para regimes específicos de dados ausentes sem inventar predições para fontes ausentes.

Principais Contribuições
O artigo apresenta quatro contribuições primárias:

1. Definição de um Escore de Desacordo: Define um escore de desacordo agnóstico ao modelo derivado de predições de regressão por fonte, servindo como uma covariável de calibração construída antes que os escores conformais sejam computados.
2. CQR Escalonado pelo Desacordo: Incorpora este escore em um método CQR de divisão conformal (split-conformal) normalizado, selecionando uma escala de desacordo de fonte antes da calibração e estabelecendo as condições de divisão exatas para validade.
3. Construção Mondrian: Fornece uma construção formal para cobertura dentro de estratos pré-especificados baseados em disponibilidade de modalidade ou níveis de desacordo.
4. Avaliação Abrangente: O método é avaliado em quatro conjuntos de dados multimodais (Swiss Real Estate, Mercari, Pawpularity, IMDB-WIKI) usando vários preditores base (XGBoost ponto/quantil, ensembles SEMF) e inclui testes de estresse com modalidades ausentes.

Resultos Experimentais

• Eficiência e Cobertura: Em 60 execuções pareadas (4 conjuntos de dados $\times$ 3 preditores $\times$ 5 sementes), o método escalonado pelo desacordo igualou ou melhorou a linha de base conformal marginal em 59 de 60 casos para o Interval CRPS (Interval Continuous Ranked Probability Score) e em 52 de 60 casos para a largura do intervalo. A cobertura empírica permaneceu próxima da meta de 95% (0,949 vs 0,949).
• Regimes de Desacordo: O método conseguiu estreitar os intervalos para exemplos de baixo desacordo e alargá-los para exemplos de alto desacordo, corrigindo a subcobertura observada em bins de alto desacordo sob a calibração marginal padrão.
• Modalidades Ausentes: Nos testes de estresse com modalidades ausentes, a "recalibração correspondente à máscara" (um caso especial da calibração Mondrian) recuperou significativamente a cobertura. No regime de máscara fixa mais desafiador (IMDB-WIKI apenas com dados tabulares), a cobertura foi recuperada em 19,5 pontos percentuais (de 0,758 para 0,953), embora com um aumento correspondente na largura do intervalo (125%).
• Robustez: Os resultados mantiveram-se consistentes através de diferentes preditores base, incluindo árvores de boosting de gradiente e ensembles de Monte Carlo derivados de decoders SEMF.

Significância e Alegações
O artigo alega fornecer uma camada de confiabilidade simples e agnóstica ao modelo para sistemas de regressão multimodal. Sua significância reside em:

• Desacoplamento da Calibração da Fusão: A camada funciona com qualquer preditor base fixo (árvore, neural, ensemble) e não requer o retreinamento do modelo de fusão.
• Incerteza Adaptativa: Vai além de um quantil global de "tamanho único", permitindo que a estimativa de incerteza reflita a confiabilidade específica do regime de entrada (acordo vs. conflito vs. ausência).
• Garantias Rigorosas: Diferente de ajustes heurísticos, o método mantém garantias de cobertura de amostra finita rigorosas (marginal ou condicional) ao aderir a um protocolo de divisão estrito onde todas as escolhas baseadas em dados (incluindo a escala de desacordo e definições de estratos) são fixadas antes da etapa de calibração.
• Utilidade Prática: Oferece uma solução prática para modelos implantados onde a disponibilidade de modalidade é dinâmica, garantindo que as estimativas de incerteza permaneçam válidas mesmo quando a distribuição de entrada muda (ex: sensores ausentes ou texto corrompido).

O autor mantém-se modesto, observando que as garantias dependem da separação estrita entre os dados de ajuste (fitting), ajuste de parâmetros (tuning) e calibração, e que o escore escalar de desacordo trata todas as fontes igualmente, podendo perder dependências entre modalidades ou diferenças de confiabilidade de fontes. O método é apresentado como um wrapper para melhorar sistemas existentes, em vez de uma nova arquitetura de fusão.