Resumen Técnico: Recuperación Continua de Imágenes y Texto mediante la Destilación de Banzhaf desde la Perspectiva de los Juegos Coalicionales

Declaración del Problema

La Recuperación Continua de Imágenes y Texto (CITR, por sus siglas en inglés) tiene como objetivo realizar tareas de recuperación transmodal utilizando datos multimedia secuenciales en lugar de un único conjunto de datos estático. Este entorno introduce tres desafíos principales:

1. Desorden Espacial y Multigranularidad: Los datos transmodales (imágenes y texto) exhiben semántica de múltiples granos y desorden espacial. Sin etiquetas de categoría previas, las pistas de emparejamiento siguen distribuciones espaciales diferentes, lo que provoca la degradación del rendimiento en los modelos preentrenados.
2. Estructura Heterogénea y Jerarquía de Conocimiento: Las estructuras semánticas de los tokens de imagen y los tokens de texto difieren. Las sesiones incrementales a menudo conducen a un equilibrio inadecuado entre el conocimiento antiguo y el nuevo, poniendo en peligro las relaciones jerárquicas entre los tokens.
3. Aliasing de Conocimiento: Durante el aprendizaje incremental, las pistas de emparejamiento se desplazan (por ejemplo, parches de imagen, palabras de texto o cambios de escala), lo que provoca un "aliasing de conocimiento" donde el modelo no logra distinguir entre el conocimiento transmodal general y el específico de la tarea.

Los métodos existentes, como aquellos que utilizan meta-aprendices basados en LSTM o codificadores de grueso a fino, a menudo sufren de ignorancia semántica estructural (incapacidad para capturar características semánticas globales más allá de simples secuencias) y aliasing de conocimiento inter-tarea (desplazamiento severo en los cambios semánticos o de escala). Además, aunque los Transformers han mostrado éxito en la captura de semántica estructural de alto nivel, el diseño de configuraciones de tokens que alivien la ignorancia estructural y el sesgo en CITR sigue siendo una pregunta abierta.

Metodología: Red de Destilación de Banzhaf (BDNet)

Los autores proponen BDNet, un marco que modela los pares de tokens de imagen y texto como participantes en un juego cooperativo para preservar el conocimiento estructural de grano fino. La idea central es que el valor de Banzhaf de la teoría de juegos coalicionales puede caracterizar la semántica de múltiples granos de los pares de imagen-texto al modelar la interacción de los pares de tokens con respecto a otros tokens.

1. Descripción General del Marco

BDNet consta de tres componentes principales:

• Codificador de Imagen-Texto con Prompts (IETE): Utiliza backbones ViT y BERT. Para facilitar la interacción de grano fino, el modelo introduce prompts de imagen y texto aprendibles ($P^k_I, P^k_T$) específicos para cada tarea $k$. Se emplea una estrategia de emparejamiento de prompt-clave para seleccionar el prompt apropiado basado en el token de clase no-prompt de la muestra de entrada, asegurando la adaptabilidad a través de diferentes tareas.
• Módulo de Aprendizaje Contrastivo y Destilación (CLD):
  • Intra-tarea: Realiza aprendizaje contrastivo ($L_{CL}$) para alinear las modalidades de imagen y texto dentro de la tarea actual.
  • Inter-tarea: Realiza destilación contrastiva ($L_{CD}$) para mantener la invariancia de la matriz de similitud imagen-texto a través de las tareas utilizando datos de ensayo, mitigando así el olvido catastrófico.
• Módulo de Destilación de Banzhaf (CBD): La innovación central del artículo.
  • Supervisión de Banzhaf Intra-tarea: Una red de Interacción de Banzhaf (BI) ($\Psi$) aprendible evalúa el valor de Banzhaf $B(u, v)$ para los pares de tokens $(u, v)$. Este valor mide la tendencia de un par de tokens de imagen y texto específico a contribuir al alineamiento semántico al interactuar con otros tokens. El modelo es supervisado por una red BI preentrenada ($\Psi^*$) para heredar el conocimiento previo de estas interacciones.
  • Destilación de Banzhaf Inter-tarea: Para prevenir el olvido, el modelo minimiza la divergencia de Kullback-Leibler (KL) entre las intensidades de interacción (derivadas de los valores de Banzhaf) del modelo antiguo ($\Theta_{k-1}$) y el nuevo modelo ($\Theta_k$) sobre los datos de ensayo. Esto preserva las relaciones transmodales de grano fino a través de las tareas.

2. Aproximación del Valor de Banzhaf

Calcular el valor de Banzhaf exacto es computacionalmente costoso ($O(2^N)$). Los autores diseñan una red BI ligera ($\Psi$) que consiste en capas convolucionales y una capa de auto-atención de una sola cabeza para aproximar el valor de Banzhaf. Durante el preentrenamiento, los valores de Banzhaf de "verdad fundamental" se estiman utilizando un enfoque de matriz de similitud ordenada con una complejidad reducida de $O(L_I L_T (\log L_I + \log L_T))$, donde $L_I$ y $L_T$ son el número de tokens de imagen y texto.

3. Objetivo de Entrenamiento

La función de pérdida total combina el emparejamiento de prompts, el aprendizaje contrastivo, la destilación contrastiva y la supervisión/destilación de Banzhaf:
$$L_{total} = L_{prompt} + L_{CL} + L_{CD} + \alpha L_{Banzhaf} + \beta L_{BD}$$

Contribuciones Clave

1. Perspectiva de Juego Coalicional para CITR: El artículo introduce una perspectiva novedosa donde los tokens de imagen y texto son tratados como jugadores en un juego cooperativo. Utiliza el valor de Banzhaf para modelar relaciones de alto orden entre tokens, capturando la semántica de grano fino que los métodos tradicionales de similitud token por token pasan por alto.
2. Red de Destilación de Banzhaf (BDNet): Un marco que integra el modelado de interacción de Banzhaf con el aprendizaje de prompts semánticos dinámicos y la destilación contrastiva. Mitiga eficazmente la ignorancia semántica estructural y el aliasing de conocimiento inter-tarea durante las sesiones incrementales.
3. Rendimiento del Estado del Arte: El método propuesto logra un rendimiento superior tanto en escenarios de conjunto único como de múltiples conjuntos en comparación con las líneas base existentes como LWF, EWC, RATT y CLCMR.

Resultados Experimentales

Los autores evaluaron BDNet en seis escenarios utilizando conjuntos de datos que incluyen Pascal Sentence, Wikipedia, MS-COCO, Flickr30K, IAPR TC-12, ECommerce-T2I y RSICD.

• Escenarios de Conjunto Único: En Pascal Sentence (Escenario 1) y Wikipedia (Escenario 2), BDNet superó a todas las líneas base. Por ejemplo, en el Escenario 1, alcanzó un mAP promedio de 0.8216, 0.8748 y 0.8410 a través de tres tareas, superando significativamente al siguiente mejor método. También mostró los mejores puntajes de Precisión Promedio (ACC), Precisión Incremental Promedio (AIA) y Transferencia Hacia Atrás (BWT).
• Escenarios de Multi-conjunto: En escenarios que involucran aprendizaje de conjuntos de datos cruzados (Escenarios 3–5), BDNet demostró una fuerte capacidad de generalización y de prevención del olvido, particularmente en secuencias de tareas largas.
• Gran Brecha de Dominio: En el Escenario 6 (combinando cinco conjuntos de datos diversos), BDNet funcionó bien pero no alcanzó el primer rango en todas las métricas. Los autores atribuyen esto a la gran brecha de dominio, señalando que la destilación de Banzhaf inter-tarea actual (que mantiene la invariancia de la intensidad de interacción) puede no ser suficiente para las pistas de tokens dispersamente distribuidas en dominios altamente heterogéneos.
• Estudios de Ablación: Eliminar el módulo CBD o el esquema de aprendizaje de prompts resultó en caídas significativas de rendimiento, confirmando que tanto el modelado de Banzhaf de grano fino como el prompting adaptativo son críticos. Las visualizaciones de las matrices de similitud de tokens mostraron que BDNet asigna correctamente la atención a regiones semánticas clave (por ejemplo, "edificios" en una escena de pista de aterrizaje) donde los modelos de línea base fallaron.

Significado y Limitaciones

El artículo afirma que BDNet aborda eficazmente la ignorancia semántica estructural y el aliasing de conocimiento inter-tarea en CITR mediante el aprovechamiento de la teoría de juegos coalicionales. Al modelar las interacciones de los tokens a través de los valores de Banzhaf, el método captura la semántica de grano fino que es crucial para la recuperación transmodal secuencial.

Limitaciones reconocidas por los autores:

1. Eficiencia Computacional: Aunque la red BI aproxima los valores de Banzhaf de manera eficiente, la evaluación de alta eficiencia sigue siendo un requisito. La suma actual sobre subconjuntos podría optimizarse potencialmente con atención dispersa.
2. Dependencia de Rehearsal (Ensayo): BDNet depende de datos de ensayo (buffers de memoria) para la destilación y no puede aplicarse en escenarios sin ensayo (rehearsal-free).
   3.Grandes Brechas de Dominio: El método tiene dificultades en escenarios de multi-conjunto con brechas de dominio muy grandes (por ejemplo, Escenario 6), lo que sugiere la necesidad de estrategias de destilación de conocimiento de grano fino más sofisticadas o mecanismos de corrección de afinidad en trabajos futuros.

Este trabajo cuenta con el apoyo de la Fundación Nacional de Ciencias Naturales de China y la Fundación de Ciencias Naturales de Beijing. El código está disponible en el repositorio de GitHub proporcionado.