Local-Global Prompt Learning via Sparse Optimal Transport

El artículo presenta SOT-GLP, un método de aprendizaje de prompts que combina alineación global y local mediante transporte óptimo disperso para mejorar la precisión en clasificación con pocos ejemplos y la detección de datos fuera de distribución en modelos de visión-idioma como CLIP.

Lo esencial

¡Claro que sí! Imagina que tienes un amigo muy inteligente, llamado CLIP, que ha visto millones de fotos y sabe leer. Este amigo es genial para decirte "esto es un perro" o "esto es un gato" basándose en la foto completa. Pero, si le pides que distinga entre dos razas de perros muy similares (como un Golden Retriever y un Labrador) o que detecte si una foto es falsa (fuera de su experiencia), a veces se confunde porque solo mira la "foto entera" y pierde los detalles pequeños.

Los investigadores de este paper, SOT-GLP, decidieron darle a este amigo unas "gafas especiales" y un nuevo método de estudio para que sea un experto en pocos ejemplos (pocas fotos de entrenamiento).

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: "Mirar todo el pastel" vs. "Cortar las mejores rebanadas"

Antes, los métodos de aprendizaje intentaban enseñar al modelo con una sola frase global (como "un perro"). Era como intentar describir un pastel completo diciendo "es dulce". Funciona, pero no te dice si tiene fresas, chocolate o nueces.

Algunos métodos nuevos intentaron mirar partes del pastel (las fresas, el chocolate), pero cometían un error: todos los estudiantes miraban la misma fresa. Imagina un examen donde 5 estudiantes deben estudiar diferentes partes de un libro, pero todos se sientan a leer el mismo párrafo. Se pierden información y se repiten.

2. La Solución: SOT-GLP (El Equipo de Detectives)

El nuevo método, SOT-GLP, divide el trabajo en dos equipos que trabajan juntos:

• El Equipo Global (El General): Sigue mirando la foto entera. Su trabajo es asegurarse de que, en general, la foto sea de un perro y no de un gato. Mantiene la seguridad y la estabilidad.
• El Equipo Local (Los Detectives de Detalles): Aquí es donde ocurre la magia. En lugar de que cada detective elija lo que quiere mirar al azar, usan un sistema de "Reparto Justo" (Transporte Óptimo).

La Analogía del "Reparto Justo" (Transporte Óptimo)

Imagina que tienes un pastel con 10 trozos deliciosos (las partes importantes de la foto) y 5 detectives (las frases de aprendizaje para diferentes razas de perros).

• Antes: Todos los detectives querían el trozo más grande (la nariz del perro), dejando a los otros sin nada.
• Ahora (SOT-GLP): Usan un algoritmo matemático que actúa como un árbitro justo. El árbitro dice: "Tú (Detective A) te llevas la oreja, tú (Detective B) te llevas la cola, y tú (Detective C) te llevas los ojos".
• Resultado: Cada detective se especializa en una parte diferente del perro. Nadie se queda sin trabajo y nadie se pelea por el mismo trozo. Esto crea un mapa mental muy rico y detallado.

3. Las Gafas Especiales (Atención V-V)

Para que los detectives vean bien los detalles, el modelo usa unas "gafas" especiales llamadas Atención V-V.

• Las gafas normales (del modelo original) a veces se distraen con el fondo (el césped, el cielo).
• Las gafas especiales borran el fondo y solo dejan brillar las partes importantes (la textura del pelaje, la forma de la pata). Esto ayuda a que el "Reparto Justo" funcione con los trozos más valiosos.

4. El Gran Descubrimiento: "Precisión vs. Seguridad"

Los investigadores encontraron algo muy interesante, como un interruptor de luz:

• Modo "Super Experto" (Con proyección): Si ajustamos las gafas para que el modelo aprenda mucho sobre las razas específicas, se vuelve increíblemente bueno en el examen (muy alta precisión). Pero, si le mostramos una foto de un animal que nunca ha visto, podría confundirse y decir "es un perro" con demasiada seguridad.
• Modo "Detective Escéptico" (Sin proyección): Si quitamos ese ajuste extra, el modelo se vuelve un poco menos "perfecto" en el examen (pierde un poquito de puntaje), pero se vuelve incrediblemente bueno detectando trampas. Si le muestras una foto de un gato disfrazado de perro, dirá: "¡Espera! Esto no encaja bien, no es de mi mundo".

¿Por qué importa esto?
En el mundo real, a veces queremos que la IA sea perfecta reconociendo cosas que ya conoce (como en un hospital para identificar enfermedades comunes). Otras veces, queremos que sea muy cuidadosa y nos avise si ve algo extraño o peligroso que no conoce (como detectar un virus nuevo o una foto falsa).

En Resumen

SOT-GLP es como enseñar a un grupo de estudiantes a reconocer objetos:

1. Les da una visión general (Equipo Global).
2. Les obliga a repartirse las partes importantes de la imagen de forma justa, sin que se peleen por lo mismo (Reparto Justo / Transporte Óptimo).
3. Les da gafas para ignorar el ruido de fondo (Atención V-V).
4. Y les ofrece un botón para elegir si quieren ser expertos en el examen o guardias de seguridad muy alertas ante lo desconocido.

El resultado es un sistema que no solo gana en los exámenes estándar, sino que también es mucho más inteligente y seguro cuando se enfrenta a situaciones nuevas.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Local-Global Prompt Learning via Sparse Optimal Transport" (SOT-GLP) en español:

1. Planteamiento del Problema

Los modelos de visión-lingüaje (VLMs) como CLIP han demostrado un rendimiento excepcional en tareas de few-shot (pocos ejemplos) mediante el aprendizaje de prompts (instrucciones) textuales. Sin embargo, existen dos limitaciones principales en los enfoques actuales:

• Pérdida de detalles finos: La mayoría de los métodos de prompt learning (como CoOp) alinean una única representación global de la imagen (generalmente el token [CLS]) con el texto. Esto promedia todas las regiones espaciales, descartando características locales críticas como texturas, partes de objetos o configuraciones espaciales, esenciales para discriminar categorías similares o detectar datos fuera de distribución (OOD).
• Redundancia y superposición en la alineación local: Los enfoques que intentan utilizar características locales suelen seleccionar regiones de la imagen de forma independiente para cada prompt. Esto lleva a que múltiples prompts se enfoquen en las mismas regiones dominantes (superposición), causando redundancia en el uso de características y evitando una especialización efectiva de cada prompt en partes visuales distintas.

2. Metodología: SOT-GLP

El autores proponen SOT-GLP (Aprendizaje de Prompts Local-Global Guiado por Transporte Óptimo Disperso), un marco que preserva la alineación global de CLIP mientras modela explícitamente la estructura espacial fina. La arquitectura consta de dos ramas principales:

A. Extracción de Características de Doble Flujo

El codificador de visión se ejecuta en dos flujos paralelos:

1. Flujo Global (Q-K): Utiliza la atención estándar Query-Key de CLIP para extraer la representación global del token [CLS], manteniendo la generalización a nivel de categoría.
2. Flujo Local (V-V): Utiliza una atención Valor-Valor (V-V) en lugar de Q-K. Esta modificación, inspirada en trabajos previos como CLIP Surgery, correlaciona directamente las representaciones de valor, fortaleciendo las interacciones entre parches (patch-to-patch) y generando características locales más discriminativas y conscientes de la localidad, reduciendo la interferencia del fondo.

B. Parametrización de Prompts

• Prompts Globales: Una serie de prompts textuales aprendibles compartidos por todas las clases, que proporcionan una base contextual robusta.
• Prompts Locales Específicos por Clase: Conjuntos de prompts aprendibles únicos para cada clase, diseñados para capturar atributos discriminativos específicos (texturas, partes).

C. Alineación Local mediante Transporte Óptimo Disperso (SOT)

Este es el núcleo de la innovación para resolver la superposición de prompts:

1. Esparsificación Guiada por Saliencia: En lugar de alinear todos los parches, el modelo calcula un mapa de saliencia basado en la similitud media entre los parches y el conjunto de prompts locales de una clase. Se selecciona un conjunto compartido de los $K$ parches más salientes (Top-K).
2. Transporte Óptimo Balanceado (Balanced OT): Se formula la alineación entre el conjunto de parches seleccionados y los múltiples prompts locales como un problema de Transporte Óptimo con regularización entrópica.
   • Se imponen márgenes uniformes: Esto obliga a que cada prompt reciba una masa de asignación comparable.
   • Resultado: Se logra una partición suave de los parches, donde diferentes prompts se especializan en diferentes partes visuales del objeto, evitando que todos se concentren en la misma región dominante (colapso del prompt).

D. Objetivo de Entrenamiento

La función de pérdida combina la pérdida de contraste global (estándar en CLIP) y la pérdida de entropía cruzada local derivada del Transporte Óptimo. Durante la inferencia, las puntuaciones globales y locales se fusionan aditivamente.

3. Contribuciones Clave

1. Arquitectura Dual con Atención V-V: Son los primeros en reutilizar la atención Valor-Valor como un flujo dedicado para la alineación de prompts locales, mejorando la discriminación de partes finas.
2. Asignación de Evidencia Local Mediante OT: Introducen un mecanismo de Transporte Óptimo balanceado sobre un conjunto de parches compartido para asignar prompts a regiones visuales. Esto garantiza una especialización no superpuesta y diversificada.
3. Descubrimiento de la Compensación Precisión-Robustez: Identifican un trade-off distintivo en el aprendizaje de prompts:
   • Un proyector local aprendible maximiza la precisión en la clasificación few-shot (ajustando las características al espacio de clases).
   • Eliminar este proyector (manteniendo la proyección congelada) preserva la geometría nativa del manifold preentrenado de CLIP, lo que resulta en un rendimiento de detección OOD (Out-of-Distribution) superior, ya que el modelo mantiene estimaciones de confianza mejor calibradas ante cambios de distribución.

4. Resultados Experimentales

El método se evaluó en 11 benchmarks estándar y tareas de detección OOD:

• Clasificación Few-Shot:

  • En el benchmark de 11 conjuntos de datos con 16 ejemplos por clase (ViT-B/16), SOT-GLP alcanzó una precisión promedio del 85.1%, superando a todos los métodos de prompt learning anteriores (incluyendo GalLoP, que obtuvo 84.4%).
  • Logró el mejor rendimiento en 9 de los 11 conjuntos de datos, con mejoras notables en tareas que dependen de características locales como texturas (DTD), flores finas (Flowers102) y reconocimiento de acciones (UCF101).

• Detección Out-of-Distribution (OOD):

  • La variante sin proyección local aprendible (SOT-GLP w/o proj.) logró un AUC de 94.2% y un FPR95 de 23.8, superando significativamente a los métodos adaptados completamente y a las líneas base recientes.
  • Esto demuestra que la adaptación excesiva de las características puede degradar la capacidad del modelo para detectar datos anómalos, mientras que mantener la geometría preentrenada mejora la robustez.

• Análisis de Ablación:

  • La atención V-V aportó +0.3% en precisión promedio.
  • La proyección local aprendible aportó +0.9% en precisión, pero a costa de la robustez OOD.
  • Los prompts locales específicos por clase fueron cruciales para tareas de categorías finas (ej. aviones, coches).

5. Significado e Impacto

SOT-GLP representa un avance significativo en la adaptación eficiente de modelos VLMs.

• Eficiencia y Precisión: Demuestra que es posible integrar alineación local fina sin el costo computacional de la alineación densa, utilizando selección dispersa y Transporte Óptimo.
• Gestión de la Robustez: Proporciona a los practicantes una opción de configuración clara: usar la proyección aprendible para máxima precisión en datos conocidos, o eliminarla para priorizar la detección de anomalías y la robustez ante distribuciones desconocidas.
• Generalización: El enfoque de asignación balanceada de parches resuelve el problema de la redundancia en los métodos de multi-prompt, ofreciendo una solución teóricamente fundamentada para la especialización de características visuales.

En resumen, el trabajo establece un nuevo estado del arte en clasificación few-shot y ofrece una comprensión más profunda de la relación entre la adaptación de características y la robustez en modelos de visión-lingüaje.