Resumen Técnico: SpecPL: Desentrelazando la Granularidad Espectral para el Aprendizaje por Prompts

1. Declaración del Problema

El artículo identifica una asimetría de modalidad persistente en los métodos existentes de aprendizaje por prompts para Modelos Visuales-Lingüísticos (VLM) como CLIP. Si bien estos métodos optimizan eficazmente los tokens de texto (prompts) para adaptarse a tareas posteriores, dependen de codificadores visuales congelados que tratan las imágenes como características holísticas y estáticas. Este enfoque descuida la granularidad espectral esencial para la discriminación fina.

En consecuencia, esta asimetría crea una tensión entre estabilidad y generalización:

• Sobreajuste: Los prompts a menudo se sobreajustan a distribuciones de entrenamiento escasas.
• Pérdida de Invarianza: Los modelos no logran aprovechar las invarianzas transferibles codificadas por el VLM congelado.
• Sesgo Centrado en el Texto: Los intentos de mitigar esto importando conocimiento externo (por ejemplo, Modelos de Lenguaje Grandes) introducen ruido, costos computacionales y no proporcionan un mecanismo principista para que el lado visual aporte granularidad discriminativa.

Los autores argumentan que la estructura inductiva faltante es espectral, pero debe reinterpretarse dentro de variedades latentes profundas en lugar del espacio de píxeles. Específicamente, los componentes de baja frecuencia capturan estructuras estables a nivel de categoría (invariantes semánticas), mientras que los componentes de alta frecuencia codifican detalles específicos de la instancia (texturas, iluminación, postura) necesarios para la distinción fina.

2. Metodología: SpecPL

Los autores proponen SpecPL (Desentrelazando la Granularidad Espectral para el Aprendizaje por Prompts), un marco que reformula el aprendizaje por prompts como una factorización espacial-espectral con supervisión contrafactual. El método opera como un impulsor universal, plug-and-play para líneas base orientadas al texto (por ejemplo, CoOp, MaPLe).

Componentes Principales

1. Proxy Espacial-Espectral (Descomposición basada en VAE):

   • En lugar de transformadas de Fourier a nivel de píxel, SpecPL utiliza un VAE preentrenado congelado (por ejemplo, de Stable Diffusion) como maestro.
   • El codificador del VAE descompone las señales visuales en la variedad latente en dos componentes complementarios mediante un Proxy Espacial-Espectral ligero:
     • Componente Base (Baja Frecuencia): Captura invariantes semánticos estables (forma gruesa, diseño, topología) mediante suavizado local (pooling de promedio deslizante).
     • Componente de Detalle (Alta Frecuencia): Codifica pistas granulares y específicas de la instancia (texturas, variaciones) como el residuo ($z_{detail} = z - z_{base}$).
   • Estos componentes se proyectan en el espacio de incrustación de CLIP utilizando cabezas MLP ligeras ($Proj_{low}$ y $Proj_{high}$).

2. Banco Semántico Visual (Anclaje Semántico):

   • Para evitar el sobreajuste y estabilizar la adaptación, se inicializa un Banco Semántico Visual congelado con prototipos de baja frecuencia ($t_{low}$).
   • Durante el entrenamiento, las representaciones de texto se anclan a estas invariantes universales de baja frecuencia mediante recuperación suave y refinamiento composicional. Esto asegura que el modelo se alinee con estructuras semánticas estables en lugar de especificidades ruidosas del entrenamiento.

3. Supervisión de Granulo Contrafactual:

   • Para obligar al modelo a utilizar detalles de alta frecuencia para la discriminación, SpecPL introduce una rama de modulación estilo FiLM (solo durante el entrenamiento).
   • Supervisión Factual: El modelo se entrena para predecir etiquetas de clase utilizando el ancla semántica fusionada y los detalles de alta frecuencia propios de la instancia.
   • Supervisión Contrafactual: El modelo se obliga a distinguir la granularidad visual permutando señales de alta frecuencia entre muestras. El modelo debe predecir la etiqueta de la fuente del granulo intercambiado. Esto evita que el modelo dependa únicamente del "sesgo de forma" y lo obliga a codificar la evidencia de alta frecuencia como discriminativa.

4. Eficiencia en la Inferencia:

   • En la inferencia, el maestro VAE y la rama de modulación FiLM se descartan.
   • El sistema depende únicamente del Banco Semántico Visual para el refinamiento de texto y de la similitud estándar de CLIP para la predicción, asegurando cero latencia adicional de inferencia o FLOPs.

3. Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Identificación del Cuello de Botella: Los autores identifican la falta de factorización de granularidad espectral como un cuello de botella clave detrás de la asimetría de modalidad en el aprendizaje por prompts.
2. Mecanismo Proxy Espacial-Espectral: Introducen un mecanismo que desentrelaza eficazmente la invarianza semántica de los detalles discriminativos dentro de una variedad de VAE congelada, evitando la brecha semántica asociada con el análisis de frecuencia a nivel de píxel.
3. Marco Plug-and-Play: Proporcionan un marco práctico que utiliza supervisión contrafactual para revitalizar líneas base existentes sin depender de priores ruidosos generados por LLM o conocimiento externo.

4. Resultados Experimentales

SpecPL fue evaluado en 11 puntos de referencia (incluyendo ImageNet, Caltech101, OxfordPets, FGVC-Aircraft, DTD, EuroSAT, etc.) bajo configuraciones de generalización base a novedad con 16 disparos, transferencia entre conjuntos de datos y generalización de dominio.

• Rendimiento: SpecPL alcanza un nuevo techo de rendimiento de 81.51% de precisión media armónica (HM) cuando se aplica a la línea base MMRL.
• Mejoras:
  • CoOp: +4.86% de mejora en HM.
  • CoCoOp: +2.00% de mejora en HM.
  • MaPLe: +0.80% de mejora en HM.
  • MMRL: +0.31% de mejora en HM.
• Brecha de Generalización: SpecPL reduce significativamente la brecha de generalización base a novedad (por ejemplo, una reducción del 31.6% para CoOp), indicando una mejor transferencia a clases no vistas.
• Discriminación Fina y Robustez al Cambio: El método produce las mayores ganancias en conjuntos de datos que requieren discriminación fina (por ejemplo, FGVC-Aircraft, DTD) y aquellos con cambios de dominio pesados (por ejemplo, EuroSAT), validando la utilidad de la granularidad de alta frecuencia.
• Eficiencia: El método añade una sobrecarga de inferencia despreciable. Si bien introduce un costo único de construcción de caché VAE durante el entrenamiento, los FLOPs de inferencia permanecen idénticos a la línea base.

5. Significado y Afirmaciones

El artículo afirma que el desentrelazamiento espectral con supervisión contrafactual cierra eficazmente la brecha en la compensación entre estabilidad y generalización.

• Más allá de la Optimización Centrada en Texto: El trabajo demuestra que ir más allá del ajuste de prompts solo de texto para modelar explícitamente la granularidad visual estructurada en representaciones profundas es una dirección prometedora para la adaptación de VLM.
• Guía Visual Principista: A diferencia de los métodos que tratan la visión de manera holística o dependen de LLM externos, SpecPL proporciona un mecanismo controlable y principista para inyectar granularidad discriminativa directamente en el proceso de adaptación visual.
• Alcance Moderado: Los autores reconocen que el método es más beneficioso para tareas donde la identidad de la clase depende de pistas de apariencia sutiles (finas) en lugar de semánticas gruesas. Señalan que en tareas de reconocimiento de objetos genéricos con categorías semánticas distintas, las mejoras sobre líneas base fuertes son más marginales.

El código se ha liberado para facilitar la reproducibilidad, y los autores se comprometen a la transparencia respecto al uso de maestros VAE externos y la evitación de la recopilación de nuevos datos.