Resumen Técnico: PRiSM - Regularización de Prototipos para VLMs de Pocos Disparos (Few-Shot)

Planteamiento del Problema

El artículo identifica dos limitaciones críticas en los métodos actuales de adaptación de pocos disparos (few-shot) sin entrenamiento para Modelos de Lenguaje-Visión (VLMs):

1. Protocolos de Evaluación Irrealistas: Los benchmarks estándar dependen de conjuntos de soporte y consulta equilibrados por clase. Esta suposición enmascara un severo sesgo de prototipos que ocurre en escenarios del mundo real donde las distribuciones de datos son naturalmente sesgadas (desequilibrio de clases) y el conjunto de clases observadas puede estar incompleto.
2. Degradación con el Aumento de Datos: Contrario a los supuestos estándar de pocos disparos, los autores observan que, bajo un desequilibrio de clases realista, aumentar el número de disparos (muestras etiquetadas) a menudo degrada el rendimiento de los métodos de vanguardia sin entrenamiento. En lugar de refinar las fronteras de decisión, las muestras adicionales de distribuciones desequilibradas amplifican el sesgo hacia las clases mayoritarias, lo que conduce a prototipos distorsionados y un aumento de la confusión interclase.

Los métodos existentes (por ejemplo, Tip-Adapter, APE, GDA, ProKeR) a menudo requieren el ajuste de hiperparámetros específicos de la tarea mediante conjuntos de validación, una práctica que viola el supuesto de pocos disparos cuando tales conjuntos no están disponibles o son costosos de anotar. Además, estos métodos carecen de mecanismos para corregir el sesgo inherente en la estimación de prototipos causado por distribuciones de soporte sesgadas.

Metodología: PRiSM

Los autores proponen PRiSM (Regularización de Prototipos para VLMs de Pocos Disparos), un marco de trabajo plug-and-play diseñado para rectificar prototipos de clase sesgados sin requerir un conjunto de validación.

1. Función Objetivo

PRiSM optimiza una nueva función de pérdida de múltiples términos para aprender prototipos regularizados $w$ a partir de los prototipos $a$ de un clasificador base. La función objetivo $L(w, \phi)$ combina tres términos:
$$L(w, \phi) = \beta \sum_{c} \|w_c - \mu_c(\phi)\|_2^2 + \gamma \sum_{c} \|w_c - a_c\|_2^2 - \frac{\lambda}{2(C-1)} \sum_{c \neq c'} \|w_c - w_{c'}\|_2^2$$
Donde:

• Alineación de Características de Soporte ($\beta$): Incentiva que el prototipo rectificado $w_c$ se alinee con la media de las características visuales $\mu_c(\phi)$ del conjunto de soporte, asegurando la consistencia con la distribución de datos observada.
• Fidelidad de la Base ($\gamma$): Ancla el prototipo rectificado al prototipo base original $a_c$, evitando una desviación sustancial del conocimiento preentrenado de cero disparos (zero-shot).
• Separación Interclase ($\lambda$): Un regularizador de pares que maximiza la distancia entre diferentes prototipos de clase, reduciendo la interferencia y mejorando la separabilidad bajo condiciones de desequilibrio.

La optimización involucra dos bloques de variables: los prototipos corregidos $w$ y los parámetros del codificador de visión $\phi$.

2. Estrategia de Optimización: Bloque Majorize-Minimize (MM)

Para resolver la función objetivo no convexa de manera eficiente, los autores introducen un optimizador de bloque Majorize-Minimize (MM) que alterna entre:

• Rectificación de Prototipos: Actualizar $w$ manteniendo $\phi$ fijo. Dado que la función objetivo es cuadrática con respecto a $w$, los autores derivan una constante de Lipschitz por bloque $\rho$ válida (un límite sobre la norma espectral de la Hessiana). Esto permite un paso de tamaño implícito de $1/\rho$, eliminando la necesidad de búsquedas de cuadrícula computacionalmente costosas para las tasas de aprendizaje. El límite se calcula eficientamente utilizando el teorema de la circunferencia de Gershgorin.
• Adaptación de Características: Actualizar $\phi$ manteniendo $w$ fijo. Esto se realiza mediante retropropagación estándar utilizando LoRA (Low-Rank Adaptation) para asegurar la eficiencia de los parámetros, actualizando solo un pequeño subconjunto de las capas del codificador de visión.

Contribuciones Clave

1. Benchmarking Realista: Los autores exponen las limitaciones de los protocolos estándar de pocos disparos mediante la introducción de un benchmark que varía el desequilibrio de clases y el número efectivo de clases utilizando el muestreo de Dirichlet. Demuestran que los métodos estándar se degradan a medida que aumenta el número de disparos bajo un desequilibrio severo.
2. Marco de Trabajo PRiSM: Un módulo de regularización de prototipos plug-and-play y libre de validación que puede implementarse sobre cualquier base de entrenamiento sin entrenamiento existente. Mitiga eficazmente el dominio de la clase mayoritaria mientras preserva la estructura discriminativa del espacio de incrustación (embedding) del VLM.
3. Optimización Eficiente: La derivación de una constante de Lipschitz por bloque para la actualización del prototipo, permitiendo una selección de tamaño de paso basada en principios, sin validación y computacionalmente eficiente.
4. Validación Empírica: Experimentos extensos que muestran que PRiSM mejora significativamente el rendimiento de diversos modelos base (Tip-Adapter, APE, GDA, ProKeR), particularmente en escenarios con desequilibrio de clases severo y un alto número de clases.

Resultados Experimentales

Los experimentos se realizaron en 10 conjuntos de datos de clasificación de imágenes diversos (por ejemplo, Oxford-Pets, EuroSAT, Food-101) utilizando CLIP con un backbone ViT-B/16.

• Desequilibrio Severo (Alto Número de Clases Efectivas): Bajo un desequilibrio severo, los métodos base a menudo se degradan a medida que aumenta el número de disparos (por ejemplo, Tip-Adapter cayó de ~63% a ~33% de precisión al pasar de 2 a 16 disparos). PRiSM revirtió esta tendencia, mejorando la precisión media de Tip-Adapter en un +35.05% en la configuración de 16 disparos y un +23.22% en la de 4 disparos.
• Configuraciones Casi Equilibradas: Incluso en condiciones casi equilibradas, PRiSM proporcionó mejoras consistentes; Tip-Adapter mejoró en un +29.79% en la configuración de 16 disparos.
• Bajo Número de Clases Efectivas: En regímenes con menos clases efectivas, PRiSM aún produjo mejoras significativas, particularmente para los modelos base más débiles, confirmando que el sesgo de prototipos persiste incluso con espacios de etiquetas reducidos.
• Comparación: PRiSM permitió que métodos más simples (como Tip-Adapter) alcanzaran niveles de rendimiento comparables o superiores a métodos más complejos de vanguardia (como ProKeR) una vez que los prototipos fueron regularizados.
• Análisis de Tasa de Aprendizaje: Se demostró que el tamaño de paso basado en Lipschitz propuesto coincide con la región de rendimiento óptimo en diversos conjuntos de datos sin requerir un ajuste exhaustivo de hiperparámetros, validando la derivación teórica.

Significado y Reivindicaciones

El artículo afirma que el cuello de botella principal en la adaptación de pocos disparos de los VLMs no es necesariamente el mecanismo de adaptación en sí, sino la calidad de los prototipos de clase utilizados para la predicción, los cuales suelen estar sesgados por datos desequilibrados.

Los autores argumentan que:

1. El Sesgo de Prototipo es un Modo de Fallo Común: El sesgo inducido por el desequilibrio actúa como un modo de fallo sistemático en diversos métodos de adaptación. Rectificar este sesgo puede elevar sistemáticamente el rendimiento de diversos enfoques.
2. La Adaptación Sin Validación es Factible: Al derivar un tamaño de paso con fundamento teórico y utilizar una pérdida de múltiples términos que equilibra alineación, fidelidad y separación, PRiSM logra un rendimiento competitivo sin la suposición poco realista de tener acceso a un conjunto de validación etiquetado.
3. Realismo en la Evaluación: El benchmark propuesto destaca que las afirmaciones actuales de vanguardia pueden estar infladas por supuestos de equilibrio de clases poco realistas. Los autores abogan por protocolos de evaluación que reflejen distribuciones sesgadas del mundo real para fomentar el desarrollo de técnicas de adaptación más robustas.

El artículo concluye que PRiSM ofrece una corrección simple pero efectiva que regulariza la geometría de los prototipos, preservando la fidelidad semántica mientras evita el colapso hacia las clases dominantes, mejorando así la robustez en regímenes desafiantes de pocos disparos.