🤖 machine learning

Neutral-Reference Prompting for Vision-Language Models

El artículo propone NeRP, una estrategia de corrección de prompts plug-and-play que mitiga la compensación Base-Nueva en modelos visión-lingüísticos aprovechando prompts de texto neutros e imágenes de referencia para identificar y corregir clasificaciones erróneas asimétricas y dominadas por el prior en clases no vistas sin modificar los parámetros del modelo.

Autores originales: Senmao Tian, Xiang Wei, Shunli Zhang

Publicado 2026-05-18

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Senmao Tian, Xiang Wei, Shunli Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un bibliotecario muy inteligente y viajado (el Modelo Visión-Lenguaje) que ha leído millones de libros y visto millones de imágenes. Este bibliotecario es excelente para reconocer cosas que ha visto antes, como "manzana" o "coche". Pero cuando le muestras algo ligeramente nuevo o desde un ángulo diferente, a veces se confunde.

El artículo identifica un problema específico: La "Compensación Base–Nueva".
Piénsalo así: Si intentas enseñarle a este bibliotecario unos pocos trucos nuevos (como reconocer un tipo específico de flor rara), a menudo se enfoca tanto en el truco nuevo que empieza a olvidar cómo identificar los comunes que ya conocía perfectamente. Es una situación de "perder-perder".

El Problema Oculto: Confusión Unidireccional

Los autores notaron algo extraño sucediendo. Por lo general, cuando un modelo se confunde entre dos cosas (digamos, un "perro" y un "lobo"), las mezcla por igual. Pero a menudo, la confusión es unidireccional.

Confusión Simétrica: El modelo piensa que un perro es un lobo el 50% de las veces, y que un lobo es un perro el 50% de las veces. Simplemente es difícil distinguirlos.
Confusión Asimétrica (El Descubrimiento del Artículo): El modelo siempre confunde un "lobo" con un "perro", pero casi nunca confunde un "perro" con un "lobo".

¿Por qué? Porque durante la formación inicial del bibliotecario (pre-entrenamiento), vio muchas más imágenes de perros que de lobos, o las descripciones textuales de los perros eran más comunes. Esto creó un "sesgo" oculto o una configuración predeterminada en el cerebro del bibliotecario. Cuando ve un lobo, su cerebro grita: "¡Eso probablemente es un perro!" porque ese es el camino de menor resistencia.

La Solución: NeRP (Prompting de Referencia Neutral)

Los autores crearon una solución llamada NeRP. Es como una herramienta de "conectar y usar" que puedes adjuntar al cerebro del bibliotecario sin reescribir realmente su memoria ni reentrenarlo.

Así es como funciona NeRP, usando una analogía simple:

1. La "Referencia Neutral" (La Pizarra en Blanco)
Imagina que tienes una foto de un "objeto" genérico y una frase que simplemente dice "una foto de algo". Esto no describe ningún animal o artículo específico.

Los autores usan esta imagen y texto "en blanco" para preguntar al bibliotecario: "Si te muestro nada específico, ¿hacia qué categoría te inclinas naturalmente?"
Esto revela el sesgo oculto del bibliotecario. Si el bibliotecario se inclina fuertemente hacia "perro" incluso cuando no hay evidencia específica, NeRP sabe: "Ah, este bibliotecario tiene un fuerte sesgo hacia los perros".

2. La "Verificación de Evidencia"
Ahora, le muestras al bibliotecario una foto de un lobo.

La Evidencia: La foto se parece un poco a un lobo, pero quizás no está 100% clara.
El Sesgo: El cerebro del bibliotecario grita "¡PERRO!" debido a ese sesgo oculto.
El Conflicto: La evidencia (la foto) es débil, pero el sesgo (la configuración predeterminada) es fuerte.

3. El "Cambio Local"
NeRP actúa como un árbitro inteligente. Ve que el bibliotecario está tomando una decisión basándose principalmente en su sesgo, no en la foto real.

Si el bibliotecario dice "Perro" pero la evidencia es débil, y NeRP sabe que el bibliotecario tiene un sesgo hacia "Perro", NeRP interviene y dice: "Espera, estás demasiado seguro. Vamos a cambiar esto a la otra opción probable (Lobo)".
Solo hace esto cuando el bibliotecario está claramente siendo "perezoso" y confiando en viejos hábitos en lugar de observar la nueva evidencia.

Por Qué Esto Es Importante

Sin Re-entrenamiento: No tienes que enseñarle al bibliotecario nuevas lecciones. Solo le das una nueva "lista de verificación" (NeRP) para usar cuando esté inseguro.
Salva las Habilidades Antiguas: A diferencia de otros métodos que intentan enseñar cosas nuevas pero hacen que el bibliotecario olvide accidentalmente las antiguas, NeRP corrige los errores nuevos sin dañar las puntuaciones perfectas antiguas.
Funciona en Todas Partes: El artículo probó esto en 15 tipos diferentes de tareas (desde reconocer flores hasta coches e imágenes satelitales) y funcionó como un encanto cada vez.

Resumen

El artículo dice: "Los Modelos Visión-Lenguaje a menudo tienen un sesgo unidireccional donde confunden la Clase A con la Clase B, pero no al revés. Esto sucede debido a cómo fueron entrenados originalmente. Construimos una herramienta llamada NeRP que actúa como un 'detector de sesgos'. Verifica si el modelo está tomando una decisión basándose en una suposición débil o en un hábito fuerte. Si es solo un hábito, NeRP corrige suavemente la respuesta. Esto hace que el modelo sea mucho mejor reconociendo cosas nuevas sin hacer que olvide las cosas antiguas".

Resumen Técnico: Prompting de Referencia Neutral para Modelos Visión-Lenguaje (NeRP)

1. Declaración del Problema

Los Modelos Visión-Lenguaje (VLM) han demostrado capacidades robustas de cero disparos (zero-shot), sin embargo, su aprendizaje por transferencia eficiente mediante ajuste de prompts o adaptación ligera a menudo sufre la Compensación Base–Nueva (BNT). Mejorar el rendimiento en clases no vistas (nuevas) frecuentemente degrada la precisión en clases conocidas (base).

Mientras que la literatura existente atribuye la BNT principalmente al sobreajuste en clases base durante el ajuste fino, este artículo identifica un problema subyacente más sutil: confusión asimétrica. A diferencia de la confusión simétrica (donde clases similares son mal clasificadas a tasas comparables), los VLM exhiben sesgos sistemáticos y unidireccionales donde muestras de la clase A son frecuentemente predichas incorrectamente como clase B, mientras que lo inverso (B → A) ocurre raramente. Este sesgo, heredado de desequilibrios en los datos de pre-entrenamiento, persiste para clases no vistas porque el ajuste fino estándar (usando pérdida de entropía cruzada) suprime efectivamente los sesgos para clases vistas pero no puede corregir los priores inducidos por el pre-entrenamiento para clases no vistas.

2. Metodología: NeRP

Los autores proponen NeRP (Prompting de Referencia Neutral), una estrategia plug-and-play que corrige las predicciones en tiempo de inferencia sin modificar los parámetros del modelo ni reentrenar. El método opera sobre la observación de que el ajuste fino deforma principalmente el subespacio de baja dimensión abarcado por los prototipos de clases base, dejando la geometría de cero disparos de las clases no vistas relativamente estable.

Componentes Principales:

Prompts de Referencia Neutral: El método define un prompt "neutral" que es agnóstico a la clase.
- Lado de Texto: Un prompt genérico (ej. "una foto de un objeto") que describe cualquier muestra sin pistas específicas de clase.
- Lado de Imagen: Una imagen "neutral" construida tomando el promedio píxel a píxel de todas las imágenes de entrenamiento, preservando el estilo del dominio pero eliminando el contenido semántico específico.
Medición de la Brecha de Prior: Al proyectar estas referencias neutrales contra los prototipos de clase, el método calcula priors neutrales ( $\pi_{txt}$ y $\pi_{img}$ ). La diferencia entre estos priores para un par de clases $(i, j)$ revela la dirección y la fuerza del sesgo inherente del modelo (la "brecha de prior").
Puntaje Sustituto Estilo Bayes: El método construye un puntaje sustituto combinando el margen de logit de la muestra observada ( $m_{ij}$ ) con la brecha de prior neutral ( $\Sigma_{i,j}$ ).
$s_{ij}(x) \approx m_{ij}(x) + \Sigma_{i,j}(D) + \hat{\beta}(D)$
Regla de Decisión (Volteo Local): Para una muestra dada, si el prior favorece fuertemente una clase específica (gran $\Sigma_{i,j}$ ) pero la evidencia observada (margen de logit) es débil, la predicción se considera "dominada por el prior" y probablemente errónea. En tales casos, NeRP realiza un volteo local entre pares de clases fácilmente confusables para corregir el sesgo. Si tanto el prior como la evidencia son débiles, la predicción permanece sin cambios.

Justificación Teórica:
El artículo proporciona pruebas teóricas (Proposición 3.5 y Corolario 3.6) que muestran que bajo un modelo de deformación de rango bajo del ajuste fino, la brecha de prior neutral se alinea con el margen de logit esperado para clases no vistas con alta probabilidad. Esto permite que el prior neutral sirva como un ancla confiable para detectar y corregir el sesgo.

3. Contribuciones Clave

Identificación de la Confusión Asimétrica: El artículo destaca que la BNT no es causada únicamente por el sobreajuste, sino que es impulsada significativamente por sesgos asimétricos persistentes del pre-entrenamiento en clases no vistas.
Mecanismo de Referencia Neutral: La introducción de prompts de texto e imagen neutrales para medir preferencias de prior por clase a lo largo de la geometría inter-clase pre-entrenada.
Corrección Sin Parámetros: NeRP es una estrategia post-hoc, plug-and-play que no requiere entrenamiento adicional, actualizaciones de parámetros ni cambios arquitectónicos en los VLM existentes.
Análisis Teórico: El trabajo establece un vínculo formal entre los priores neutrales y la estabilidad de la geometría de cero disparos, demostrando que estos priores pueden detectar de manera confiable la dirección del sesgo en clases novedosas.

4. Resultados Experimentales

Los autores evaluaron NeRP en 15 puntos de referencia, incluyendo 11 conjuntos de datos de reconocimiento de pocos disparos (ej. ImageNet, Caltech101, OxfordPets) y 4 conjuntos de datos de generalización cruzada/de dominio (ej. ImageNet-V2, ImageNet-Sketch).

Líneas Base: El método se integró con cuatro métodos distintos de ajuste de prompts y adaptación de última generación: CoCoOp, PromptSRC, MMA y MMRL.
Rendimiento:
- Generalización Base-a-Nueva: NeRP mejoró consistentemente la precisión en clases no vistas (novedosas) en todas las líneas base y conjuntos de datos. Por ejemplo, en EuroSAT, las ganancias superaron el 5%, mientras que se observaron mejoras de 0.5–2% en ImageNet y Flowers102.
- Preservación del Rendimiento Base: Crucialmente, NeRP mejoró el rendimiento en clases novedosas sin degradar la precisión en clases base, mitigando efectivamente la BNT.
- Generalización Cruzada y de Dominio: NeRP produjo ganancias inmediatas en tareas de generalización cruzada de conjuntos de datos y de dominio, con mejoras promedio de ~1% en 10 conjuntos de datos.
Estudios de Ablación: Los experimentos confirmaron que el método es robusto a diferentes granularidades de búsqueda para hiperparámetros y efectivo incluso con muy pocas muestras utilizadas para la calibración.

5. Significado y Afirmaciones

El artículo posiciona a NeRP como un "almuerzo gratis" para el aprendizaje por transferencia eficiente en VLMs. Su significado principal radica en desacoplar la compensación entre discriminación (en clases base) y generalización (en clases nuevas) abordando la causa raíz del sesgo asimétrico en lugar de solo el síntoma del sobreajuste.

Los autores afirman que NeRP sirve como una estrategia de corrección universal y agnóstica al modelo que equilibra la discriminación y la generalización. Al aprovechar referencias neutrales para exponer y corregir sesgos inducidos por el pre-entrenamiento, NeRP permite que los métodos existentes de adaptación de VLM logren un mejor rendimiento en clases no vistas sin el costo computacional de reentrenar o el riesgo de comprometer la precisión de clases conocidas. El trabajo sugiere que comprender y corregir la "confusión asimétrica" es una vía crítica, previamente poco explorada, para mejorar la robustez de los VLM.