AOEPT: Breaking the Implicit Modality-Reduction Bottleneck in Modality-Missing Prompt Tuning

Resumen Técnico: AOEPT

Enunciado del Problema
Desplegar sistemas multimodales en entornos del mundo real a menudo requiere manejar escenarios donde una o más modalidades están ausentes (por ejemplo, fallos de sensores, errores de transmisión). Aunque los enfoques recientes abordan este desafío para los Transformadores Multimodales (MT) utilizando ajuste de prompts, los autores identifican una limitación fundamental denominada Cuello de Botella de Reducción Implícita de Modalidad (IMR). Los métodos existentes de ajuste de prompts condicionan los prompts únicamente a las modalidades observadas (o utilizan inicialización aleatoria). En consecuencia, estos métodos restringen inadvertidamente el alcance del razonamiento del MT al subespacio de las modalidades restantes. Esto degrada efectivamente un problema multimodal en uno unimodal, cortando el acceso del modelo a las fuentes de información latente de las modalidades faltantes que fueron aprendidas durante el preentrenamiento.

Metodología: AOEPT
Para superar el cuello de botella IMR, los autores proponen AOEPT (Prompting Contextualizado por Modalidad Adaptativo para Modalidades Faltantes), un marco que cambia el paradigma de adaptarse pasivamente a entradas degradadas a compensar activamente la información faltante. El método opera a través de tres etapas principales:

1. Construcción de Prompt Contextualizado por Modalidad (MCP):
   En lugar de una inicialización aleatoria, AOEPT destila priores globales por modalidad a partir de los datos de entrenamiento. Envía muestras de entrenamiento con modalidades disponibles a través de capas de MT congeladas para recopilar representaciones de tokens por capa. Estas representaciones se agrupan mediante clustering K-means para formar prototipos semánticos, creando un repositorio de información ligero y específico por modalidad (por ejemplo, Prompts Contextualizados por Texto o TCPs). Estos MCPs sirven como repositorios latentes que contienen la distribución contextual global de cada modalidad.

2. Instanciación de Prompt Consciente de la Instancia:
   Al procesar una muestra incompleta (por ejemplo, una muestra solo de imagen), AOEPT recupera adaptativamente los MCPs correspondientes. Estos prompts globales se instancian luego en prompts conscientes de la instancia condicionados a las modalidades observadas restantes. Esto se logra mediante un mecanismo de puerta (usando una MLP y una función sigmoide) que activa selectivamente la información específica dentro de los MCPs más relevante para la muestra actual. Para asegurar que los prompts instanciados permanezcan consistentes con el espacio de modalidad, se aplica una Regularización de Consistencia Latente Intra-Modal (LCR), alineando las representaciones del prompt con las representaciones latentes de las modalidades disponibles.

3. Ajuste de Prompt Adaptativo a lo Faltante:
   Los prompts instanciados se insertan en las capas del codificador del MT. Para las capas iniciales, los prompts se instancian de nuevo para cada capa; para las capas subsiguientes, se propagan. Solo se ajustan los MCPs y la cabeza de clasificación, manteniendo la arquitectura base congelada. Este proceso suplementa explícitamente la información de modalidad faltante para cada muestra, restaurando el alcance del razonamiento del MT más allá del subespacio de solo modalidades observadas.

Contribuciones Clave

• Identificación del Cuello de Botella IMR: El artículo replantea los paradigmas existentes de ajuste de prompts, demostrando que confinan involuntariamente el razonamiento del MT a subespacios reducidos por modalidad, fallando así en aprovechar las capacidades multimodales preentrenadas.
• Marco AOEPT: Una solución conceptualmente novedosa que restaura explícitamente el acceso a repositorios de información de modalidad faltante mediante una forma de prompting contextualizado por modalidad y ligero. Amplía el alcance del razonamiento de los MT más allá de las modalidades restantes sin requerir redes de reconstrucción pesadas ni módulos de recuperación externos.
• Métrica Diagnóstica (NM2I): Los autores introducen la Información Mutua Normalizada de Modalidad Faltante (NM2I) para cuantificar la gravedad del cuello de botella IMR. Esta métrica mide la información mutua entre los tokens del prompt y las representaciones latentes de la modalidad faltante, proporcionando evidencia empírica de qué tan bien un método accede a la información faltante.
• Escala de Información de Modalidad: El estudio revela un "Cuello de Botella de Escala de Información de Modalidad" en los métodos existentes, donde el rendimiento se estanca incluso cuando las condiciones de entrenamiento mejoran (es decir, hay más datos completos disponibles). En contraste, AOEPT se beneficia de información adicional de entrenamiento para formar repositorios globales más completos.

Resultados Experimentales
Se realizaron experimentos en tres benchmarks de modalidad dual (MM-IMDb, HateMemes, Food101) y un benchmark de modalidad triple (IEMOCAP) utilizando diversas arquitecturas base (CLIP, ViLT, MulT).

• Rendimiento: AOEPT supera consistentemente a bases fuertes (incluyendo MAPs, DCP, MemPrompt, SyP y RAGPT) en diversas tasas de ausencia (70% y 90%) y escenarios de ausencia (solo texto, solo imagen, o ambas faltantes).
• Eficiencia: AOEPT logra estas mejoras con una sobrecarga computacional mínima y un pequeño número de parámetros aprendibles, evitando los altos costos asociados con mecanismos de memoria o recuperación por instancia encontrados en otros métodos.
• Ablación: Eliminar los MCPs, la instanciación o la regularización de consistencia conduce a caídas significativas en el rendimiento, confirmando la necesidad de cada componente.
• Análisis NM2I: Los métodos de referencia exhiben un NM2I cercano a cero, confirmando que no acceden a información de modalidad faltante. AOEPT logra un NM2I significativamente mayor, validando su capacidad para superar el cuello de botella IMR.

Significado y Afirmaciones
El artículo afirma que AOEPT reformula el aprendizaje con modalidades faltantes para los MTs, pasando de una adaptación pasiva a estructuras de entrada degradadas a una perspectiva activa de acceso a la información. Al internalizar un mecanismo de auto-recuperación que destila conocimiento contextual global en prompts ligeros, AOEPT permite a los MTs acceder e aprovechar implícitamente la información de las modalidades faltantes sin alterar la arquitectura base ni introducir módulos de reconstrucción pesados. Los autores posicionan esto como una solución principista y eficiente que mantiene el paradigma estándar de ajuste de prompts ligero mientras supera las limitaciones inherentes de los enfoques actuales. El trabajo cuenta con el apoyo de la Fundación Nacional de Ciencias Naturales de China.