Conformal Calibration for Multi-Modal Regression with Missing Modalities

Resumen Técnico: Calibración Conforme para Regresión Multimodal con Modalidades Faltantes

Planteamiento del Problema
Los sistemas de regresión multimodal, que integran diversas fuentes de entrada como datos tabulares, texto e imágenes, enfrentan desafíos significativos para generar estimaciones de incertidumbre fiables. Aunque la fusión de estas fuentes suele mejorar la precisión de la predicción puntual, los métodos de predicción conforme estándar suelen depender de un único cuantil global para construir intervalos de predicción. Este enfoque global promedia a través de diferentes regímenes de datos de entrada, fallando al no contabilizar las diferencias sistemáticas en la fiabilidad de los intervalos cuando las modalidades coinciden, entran en conflicto o cuando una modalidad específica falta en el tiempo de prueba. En consecuencia, una garantía de cobertura marginal única puede enmascarar una subcobertura en subgrupos difíciles (por ejemplo, alto desacuerdo o datos faltantes) e ineficiencia en casos fáciles. El artículo aborda la necesidad de una capa de calibración que adapte el ancho del intervalo basándose en el patrón de modalidad observado y el desacuerdo entre fuentes, manteniendo rigurosas garantías de cobertura de muestra finita.

Metodología
El método propuesto introduce una capa de calibración conforme sensible a la modalidad que opera alrededor de un predictor base fijo y un conjunto de predictores auxiliares por fuente. El mecanismo central involucra dos estrategias complementarias impulsadas por una puntuación de desacuerdo y la disponibilidad de la modalidad:

1. Construcción de la Puntuación de Desacuerdo:
   Para cada ejemplo $x$, los predictores por fuente $g_k$ generan predicciones $\hat{y}_k$ a partir de sus respectivos bloques de origen $x^{(k)}$. La puntuación de desacuerdo $d(x)$ se define como la desviación estándar de estas predicciones por fuente:
   $$d(x) = \left( \frac{1}{K_x} \sum_{k \in A(x)} (g_k(x^{(k)}) - \bar{g}_{A(x)})^2 \right)^{1/2}$$
   donde $A(x)$ es el conjunto de fuentes disponibles. Si solo una fuente está disponible, $d(x)=0$.

2. Calibración Escalada por Desacuerdo (Enfoque Continuo):
   Este método reasigna el ancho del intervalo de forma continua basándose en la puntuación de desacuerdo. Se aplica una función de escala $a_\gamma(x) = \sqrt{1 + \gamma d(x)^2}$ a las puntuaciones de la Regresión de Cuantiles Conforme (CQR). El parámetro $\gamma$ se selecciona en un conjunto de ajuste (tuning split) y se fija antes de la calibración.

   • Mecanismo: La puntuación de no conformidad se normaliza: $s_i = \max\{e_i, 0\} / a_\gamma(X_i)$.
   • Efecto: Un alto desacuerdo conduce a un factor de escala mayor, ensanchando el intervalo; un bajo desacuerdo lo estrecha.
   • Garantía: Esto preserva la garantía de cobertura de división-conforme marginal ($1-\alpha$) bajo la condición de que la regla de escala se fije antes de la calibración.

3. Calibración Mondrian (Estratificada) (Enfoque Discreto):
   Este método construye cuantiles de calibración separados para estratos preespecificados definidos ya sea por la puntuación de desacuerdo (por bins) o por regímenes de disponibilidad de modalidad (por ejemplo, "falta texto", "falta imagen").

   • Mecanismo: El conjunto de calibración se particiona en estratos $h$. Se calcula un cuantil distinto $\hat{q}_h$ para cada estrato.
   • Garantía: Esto proporciona garantías de cobertura condicional de estrato finito, siempre que la definición del estrato se fije antes de la calibración y los ejemplos de calibración y de prueba sean conjuntamente intercambiables condicionados a los datos de pre-calibración.

4. Gestión de Modalidades Faltantes:
   El marco gestiona explícitamente las modalidades faltantes definiendo estratos de "régimen". En las pruebas de estrés, se utiliza una "recalibración de máscara coincidente" donde los ejemplos de calibración se transforman utilizando la misma máscara de ausencia que los ejemplos de prueba. Esto permite que el sistema recupere la cobertura para regímenes específicos de datos faltantes sin inventar predicciones para fuentes ausentes.

Contribuciones Clave
El artículo realiza cuatro contribuciones principales:

1. Definición de una Puntuación de Desacuerdo: Define una puntuación de desacuerdo agnóstica al modelo derivada de las predicciones de regresión por fuente, sirviendo como una covariable de calibración construida antes de calcular las puntuaciones conformes.
2. CQR Escalada por Desacuerdo: Incorpora esta puntuación en un método CQR de división-conforme que escala la regresión de cuantiles, seleccionando una escala de desacuerdo de la fuente antes de la calibración y estableciendo las condiciones de división exactas requeridas para la validez.
3. Construcción Mondriana: Proporciona una construcción formal para la cobertura dentro de estratos preespecificados basados en la disponibilidad de la modalidad o niveles de desacuerdo.
4. Evaluación Exhaustiva: El método se evalúa a través de cuatro conjuntos de datos multimodales (Swiss Real Estate, Mercari, Pawpularity, IMDB-WIKI) utilizando diversos predictores base (XGBoost de punto/cuantil, ensambles SEMF) e incluye pruebas de estrés con modalidades faltantes.

Resultos Experimentales

• Eficiencia y Cobertura: A través de 60 ejecuciones emparejadas (4 conjuntos de datos $\times$ 3 predictores $\times$ 5 semillas), el método escalado por desacuerdo igualó o mejoró la línea base conforme marginal en 59 de 60 casos para el Interval CRPS (Intervalo de Puntuación de Probabilidad de Cuantil) y en 52 de 60 casos para el ancho del intervalo. La cobertura empírica se mantuvo cerca del objetivo del 95% (0.949 frente a 0.949).
• Regímenes de Desacuerdo: El método logra estrechar los intervalos para ejemplos de bajo desacuerdo y ensancharlos para ejemplos de alto desacuerdo, corrigiendo la subcobertura observada en los bins de alto desacuerdo bajo la calibración marginal estándar.
• Modalidades Faltantes: En las pruebas de estrés con modalidades faltantes, la "recalibración de máscara coincidente" (un caso especial de la calibración Mondrian) recuperó significativamente la cobertura. En el régimen de máscara fija más desafiante (IMDB-WIKI con solo datos tabulares), la cobertura se recuperó en 19.5 puntos porcentuales (de 0.758 a 0.953), aunque con un aumento correspondiente en el ancho del intervalo (125%).
• Robustez: Los resultados se mantuvieron a través de diferentes predictores base, incluyendo árboles de gradiente potenciados y ensambles de Monte Carlo derivados de decodificadores SEMF.

Significación y Reivindicaciones
El artículo afirma proporcionar una capa de fiabilidad simple y agnóstica al modelo para sistemas de regresión multimodales. Su significación radica en:

• Desacoplamiento de la Calibración de la Fusión: La capa funciona con cualquier predictor base fijo (árbol, neuronal, ensamble) y no requiere el reentrenamiento del modelo de fusión.
• Incertidumbre Adaptativa: Va más allá de un cuantil global de "talla única", permitiendo que la estimación de la incertidumbre refleje la fiabilidad específica del régimen de entrada (acuerdo vs. conflicto vs. ausencia).
• Garantías Rigurosas: A diferencia de los ajustes heurísticos, el método mantiene estrictas garantías de cobertura de muestra finita (marginal o condicional) al adherirse a un protocolo de división estricto donde todas las elecciones basadas en datos (incluyendo la escala de desacuerdo y las definiciones de los estratos) se fijan antes del paso de calibración.
• Utilidad Práctica: Ofrece una solución práctica para modelos desplegados donde la disponibilidad de la modalidad es dinámica, asegurando que las estimaciones de incertidumbre sigan siendo válidas incluso cuando la distribución de entrada cambia (por ejemplo, sensores faltantes o texto corrupto).

El autor se mantiene modesto, señalando que las garantías dependen de la separación estricta de los datos de ajuste, sintonización y calibración, y que la puntuación de desacresión escalar trata a todas las fuentes por igual, lo que podría pasar por alto las dependencias cruzadas entre modalidades o las diferencias de fiabilidad de las fuentes. El método se presenta como un envoltorio (wrapper) para mejorar los sistemas existentes en lugar de una nueva arquitectura de fusión.