Rethinking Incompleteness: Formalizing Protocol Divergence and Train-Once Learning for Robust IMVC

Resumen Técnico: Replanteando la Incompletitud en IMVC

Definición del Problema
El Agrupamiento Multivista Incompleto (IMVC, por sus siglas en inglés) aborda el desafío de agrupar datos donde las vistas (modalidades) están ausentes para subconjuntos de muestras. El paradigma dominante en la investigación actual de IMVC se basa en la reconstrucción entre vistas, donde las vistas faltantes se recuperan utilizando muestras completas como supervisión. Sin embargo, el artículo identifica dos fallos críticos en la evaluación y la comprensión teórica actual de estos métodos:

1. La Trampa del Reentrenamiento por Configuración: Los métodos existentes se evalúan típicamente reentrenando un modelo separado para cada combinación específica de protocolo de datos faltantes y tasa de pérdida. Este enfoque es computacionalmente prohibitivo para el despliegue en el mundo real, donde las distribuciones de datos faltantes suelen ser no estacionarias o desconocidas.
2. Divergencia de Incompletitud: El artículo argumenta que la "tasa de pérdida nominal" ($r$) es una métrica insuficiente para caracterizar la incompletitud de los datos. Diferentes protocolos de evaluación con la misma $r$ nominal pueden resultar en proporciones drásticamente diferentes de muestras totalmente observadas ($p_c$). Los autores formalizan esto como divergencia de incompletitud, demostrando que los protocolos pueden diferir hasta en 50 veces en $p_c$ con la misma tasa nominal.

Perspectivas Teóricas: El Límite de Entrenabilidad
Los autores demuestran que para la amplia clase de métodos basados en reconstrucción (Clase 1, denotada como $\mathcal{F}_{rec}$), el aprendizaje se vuelve estructuralmente mal planteado cuando la proporción de muestras completas ($p_c$) cae por debajo de un umbral crítico (específicamente, cuando $p_c \to 0$).

• Mecanismo: Las pérdidas de reconstrucción derivan la supervisión principalmente de la co-ocurrencia entre vistas dentro de la misma muestra. Si una muestra tiene menos de dos vistas, no contribuye con ningún signo de gradiente al objetivo de reconstrucción.
• Consecuencia: A medida que $p_c$ disminuye, el signo de gradiente esperado se desvanece. El artículo demuestra que para protocolos donde $p_c \to 0$, el desplazamiento esperado de los parámetros está acotado por términos proporcionales a $p_c$, lo que conduce a una precisión de agrupamiento casi aleatoria independientemente del ajuste de hiperparámetros. Este colapso es una propiedad estructural de la familia de la función de pérdida, no un artefacto de ajuste.
• Distinción: El artículo distingue entre fallo de entrenabilidad (el signo de gradiente se desvanece debido a un bajo $p_c$, afectando a $\mathcal{F}_{rec}$) y fallo de capacidad (límites de información teórica donde las vistas observadas simplemente carecen de información suficiente sobre las etiquetas de los grupos, afectando a todos los métodos).

Metodología: CRAFT
Para evitar el límite de entrenabilidad, los autores proponen CRAFT (Complete-data Robust Attention-masked Fusion Transformer). CRAFT está diseñado para satisfacer dos condiciones estructurales que permiten que un único modelo entrenado con datos completos se generalice a cualquier patrón de ausencia durante la inferencia:

1. Independencia por Muestra (C1): La representación para la muestra $i$ se computa únicamente a partir de sus propias vistas observadas y parámetros compartidos. No depende de los patrones de observación de otras muestras ni de la co-ocurrencia entre muestras.
2. Fusión de Longitud Variable Sensible a la Máscara (C2): Las vistas faltantes se excluyen de la computación interna mediante máscaras de atención en lugar de ser rellenadas con ceros (zero-padding) o alucinadas. Esto asegura que las vistas faltantes contribuyan exactamente con cero a la representación fusionada, evitando la inyección de ruido o señales inválidas.

Detalles de la Arquitectura:

• Codificación por Vista: MLPs específicos por vista mapean cada vista a un espacio de incrustación (embedding) compartido.
• Fusión por Transformer: Un codificador Transformer procesa la secuencia de incrustaciones de las vistas (más un token [CLS] aprendible). Durante la inferencia, una máscara de key-padding establece los logitos de atención en $-\infty$ para las vistas faltantes, eliminándolas efectivamente del mecanismo de atención.
• Entrenamiento en Dos Etapas con Datos Completos:
  • Etapa 1: Aprende representaciones utilizando una pérdida de reconstrucción por vista y una pérdida de consistencia entre vistas (estilo SimSiam) en muestras completas.
  • Etapa 2: Ajusta finamente (fine-tuning) la cabeza de agrupamiento utilizando entropía cruzada autolabelada, regularización de entropía y un Ajuste Fino con Máscara (MFT) opcional para alinear la distribución de entrenamiento con los patrones de datos faltantes en tiempo de inferencia.

Contribuciones Clave

1. Formalización de la Divergencia de Incompletitud: Introducción de la tasa de pérdida efectiva ($\hat{r}$) y la proporción de muestras completas ($p_c$) como variables causales distintas, revelando que los protocolos estándar oscurecen los riesgos de entrenabilidad de los métodos basados en reconstrucción.
2. Prueba Teórica de Colapso: Prueba rigurosa de que el aprendizaje basado en reconstrucción está estructuralmente limitado por $p_c$, explicando por qué los métodos existentes fallan en regímenes de datos dispersos (donde $p_c < 1\%$).
3. Arquitectura CRAFT: Un marco basado en Transformers que logra un IMVC robusto a través del diseño arquitectónico (C1 y C2) en lugar de la ingeniería de la función de pérdida, permitiendo un paradigma de "Entrenar una vez, Desplegar muchas veces".
4. Validación Empírica: Experimentos extensos en siete bancos de pruebas (incluyendo CUB, HandWritten, MultiFashion y YTF-31) a través de cuatro protocolos de evaluación distintos.

Resultados

• Colapso de los Baselines: Los baselines estándar de $\mathcal{F}_{rec}$ (ej. COMPLETER, DCP, DCG, HSACC) colapsan uniformemente hacia una precisión casi aleatoria (a menudo $<40\%$) cuando se evalúan bajo protocolos estrictos donde $p_c \to 0$, incluso si la tasa de pérdida nominal es moderada.
• Rendimiento de CRAFT: Un único punto de control (checkpoint) de CRAFT, entrenado una sola vez con datos completos, iguala o supera a los baselines reentrenados por configuración en todas las 16 configuraciones (protocolo, tasa) probadas.
• Eficiencia: CRAFT reduce la sobrecarga de entrenamiento en 8.8$\times$ en comparación con el enfoque base de reentrenar modelos separados para cada configuración.
• Robustez: CRAFT mantiene una alta precisión incluso cuando $p_c = 0$, demostrando que la robustez ante la ausencia de datos puede ser una propiedad arquitectónica inherente.

Significancia y Reclamaciones
El artículo sostiene que el paradigma actual de "reentrenamiento por configuración" en IMVC es frágil y oculta una vulnerabilidad fundamental en los métodos basados en reconstrucción. Al trasladar la carga de la robustez de la función de pérdida a la arquitectura, CRAFT demuestra que es posible lograr un IMVC robusto sin reentrenar para distribuciones específicas de datos faltantes. Los autores sugieren que la investigación futura en IMVC debería reportar $p_c$ como una métrica estándar y priorizar los refinamientos arquitectónicos (como la independencia por muestra y la fusión sensible a la máscara) sobre los mecanismos de recuperación algorítmica. El trabajo se limita al IMVC no supervisado con pérdidas de reconstrucción entre vistas; los autores señalan que extender estos principios a la clasificación multivista supervisada u otros entornos multimodales sigue siendo una dirección para trabajos futuros.