Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities

Resumen Técnico: Aprendizaje de Prompts Latentes Confiables para el Reconocimiento Visual con Modalidades Ausentes

Planteamiento del Problema
Los Modelos Multimodales de Gran Escala (LMM) han logrado un rendimiento superior al sinergizar la información a través de diversas y masivas escalas de modalidades emparejadas. Sin embargo, en despliegues del mundo real, las entradas son frecuentemente incompletas debido a restricciones de privacidad, fallos en los sensores o limitaciones en la recolección de datos. Los modelos existentes, optimizados para datos con modalidades completas, sufren una degradación de rendimiento precipitada cuando se enfrentan a modalidades ausentes. Aunque los enfoques recientes de aprendizaje de prompts intentan mitigar esto mediante la generación de prompts dinámicos condicionados por características a nivel de instancia, estas estrategias son fundamentalmente defectuosas bajo altas tasas de ausencia. A medida que aumenta la proporción de modalidades incompletas, las características a nivel de instancia utilizadas para condicionar los prompts se vuelven poco fiables, sesgadas e inestables. Esto conduce a que los prompts dinámicos colapsen en observaciones unimodales, interrumpiendo la alineación cross-modal y fallando en mantener estructuras consistentes a nivel de clase.

Metodología: Aprendizaje de Prompts Latentes Confiables (LLP)
Para abordar la falta de fiabilidad de las estrategias condicionadas por la entrada, los autores proponen el Aprendizaje de Prompts Latentes Confiables (LLP), un paradigma que desacopla el aprendizaje de prompts de las entradas corruptas. En lugar de depender de características a nivel de instancia, el LLP modela prompts aprendibles independientes de la entrada como anclajes latentes estables que encapsulan los conocimientos previos intrínsecos de la modalidad.

El marco, construido sobre un backbone CLIP congelado, opera a través de tres mecanismos centrales:

1. Anclajes Latentes Específicos de la Modalidad: El LLP introduce tokens de prompt aprendibles ($P_{I,S}$ para imágenes y $P_{T,S}$ para texto) que son independientes de la entrada. Estos anclajes se derivan de prompts estáticos mediante una función de transformación (FC + GELU + LN) y sirven como fundamentos estables que codifican conocimientos previos a nivel de modalidad, independientemente de la muestra de entrada específica o de su ausencia.
2. Prompts Inducidos por Doble Anclaje (DAIP): Para permitir una interacción cross-modal robusta sin depender de entradas incompletas, el marco emplea un mecanismo de atención cruzada de doble vía. El ancla de texto consulta al ancla de imagen (y viceversa) para intercambiar información complementaria. Esta interacción genera prompts refinados inducidos por doble ancla ($P_{I,D}$ y $P_{T,D}$) a través de un MLP ligero y normalización. Este proceso permite al modelo aproximar la información semántica faltante desde un espacio latente estable.
3. Generación de Prompts por Capas: Los prompts finales para cada modalidad se construyen mediante la concatenación de los anclajes latentes y los prompts inducidos. Estos se inyectan en cada capa del codificador, lo que permite un refinamiento progresivo y un aprendizaje de representación jerárquica a través de la profundidad de la red.

Durante el entrenamiento, solo se optimizan los parámetros del prompt y una capa totalmente conectada específica de la tarea, mientras que el backbone permanece congelado.

Contribuciones Clave

• Un Nuevo Paradigma: El artículo propone el LLP, un marco de prompting impulsado por conocimientos latentes que desacopla el aprendizaje de prompts de las entradas no fiables, capturando conocimientos previos estables a nivel de modalidad para mejorar la robustez ante observaciones incompletas.
• Diseño Independiente de la Entrada: La introducción de anclajes latentes específicos de la modalidad y un mecanismo de atención cruzada de doble vía permite un aprendizaje de prompts independiente de la entrada y una interacción cross-modal estable, facilitando la compensación semántica incluso bajo tasas de ausencia extremas (por ejemplo, 90%).
• Rendimiento de Vanguardia: El enfoque demuestra un rendimiento superior en múltiples benchmarks y escenarios de modalidad ausente.

Resultados Experimentales
Los autores evaluaron el LLP en tres conjuntos de datos de referencia: MM-IMDb (predicción de género de películas), UPMC Food-101 (clasificación de alimentos) y Hateful Memes (detección de discursos de odio). Los experimentos se realizaron bajo diversas tasas de ausencia ($\eta = 50\%, 70\%, 90\%$) y escenarios de ausencia (falta de texto, falta de imagen, falta de ambos).

• Rendimiento: El LLP superó consistentemente a seis baselines de vanguardia (incluyendo CoOp, MMP, MaPLe, DePT, DCP y SyP) en todos los datasets y configuraciones de ausencia.
• Altas Tasas de Ausencia: Las ganancias de rendimiento fueron más pronunciadas bajo altas tasas de ausencia (por ejemplo, $\eta = 90\%$). Por ejemplo, en el dataset Hateful Memes, el LLP logró un AUROC del 70.90% con un 90% de ausencia de texto, superando significativamente al siguiente mejor método (SyP con 69.70%).
• Estudios de Ablación: Los experimentos confirmaron que los anclajes latentes específicos de la modalidad por sí solos proporcionaron ganancias sustanciales sobre los baselines, y la adición de los prompts inducidos por doble anclaje produjo mejoras adicionales significativas.
• Generalización: Los modelos entrenados bajo escenarios de "ausencia de ambos" demostraron una fuerte generalización a escenarios de ausencia específicos (solo texto o solo imagen), indicando una adaptación flexible a diversos patrones de ausencia.
• Visualización: Las visualizaciones de características mostraron que el LLP produce distribuciones intra-clase más compactas y una separación inter-clase más clara en comparación con los métodos condicionados por la entrada, que a menudo resultan en clusters fragmentados y específicos de la modalidad.

Significancia y Reivindicaciones
El artículo afirma que el LLP ofrece una solución simple pero efectiva al problema de la modalidad ausente, un cuello de botella crítico en la utilidad práctica de los LMM. Al desplazar el enfoque de las características de entrada a nivel de instancia, que no son fiables, hacia conocimientos previos latentes estables e independientes de la entrada, el método proporciona un mecanismo robusto para la compensación de conocimiento cross-modal. Los autores enfatizan que este paradigma es particularmente valioso para aplicaciones del mundo real donde la integridad de los datos no puede garantizarse. Además, el enfoque mantiene una alta eficiencia de parámetros al optimizar solo un pequeño conjunto de parámetros aprendibles, lo que lo hace práctico para el despliegue. El trabajo establece una dirección prometedora para el aprendizaje multimodal robusto al demostrar que el razonamiento semántico fiable puede lograrse incluso cuando falta hasta el 90% de las modalidades.