Resumen Técnico: Anclaje de Distribución Visual para el Ajuste de Prompts Eficiente

1. Planteamiento del Problema

Los modelos de visión y lenguaje (VLM), como CLIP, realizan el reconocimiento zero-shot comparando las representaciones de las imágenes con clasificadores de texto derivados de los nombres de las clases. Aunque el ajuste de prompts adapta estos modelos utilizando datos de origen etiquetados limitados, los enfoques existentes enfrentan un compromiso fundamental entre eficiencia y capacidad de adaptación:

• Prompts textuales estáticos: son computacionalmente económicos pero suelen sobreajustarse a la distribución de origen, fallando al capturar cómo las clases se manifiestan visualmente en un nuevo dominio objetivo.
• Prompts condicionados por imagen: se adaptan a consultas individuales pero incurren en costos de computación por instancia.
• El ajuste multimodal: modifica la rama visual, aumentando la complejidad.

Existe una brecha crítica: los nombres de las clases definen la identidad semántica (p. ej., "bosque"), pero no especifican la instanciación visual de esa clase en un dominio objetivo específico (p. ej., una imagen satelital cenital de un bosque). Los métodos existentes que intentan sintetizar prototipos visuales directamente a partir de nombres de clases a menudo fallan al transferirse entre conjuntos de datos porque recuperan la geometría del dominio de origen en lugar de la apariencia del dominio objetivo. Además, el condicionamiento indirecto de prompts puede no explotar eficazmente los prototipos visuales disponibles incluso cuando existen.

2. Metodología: Anclaje de Distribución Visual (VDA)

Los autores proponen VDA, un marco de adaptación al objetivo libre de entrenamiento que aumenta un clasificador semántico congelado con prototipos visuales a nivel de clase estimados fuera de línea (offline) a partir de un grupo objetivo no etiquetado. El método opera sin etiquetas de destino, optimización del lado del objetivo, suposiciones de prioridad de clase uniforme o refinamiento iterativo.

Componentes Principales

1. Clasificadores Semánticos y de Dominio Congelados:

   • Un clasificador semántico congelado (p. ej., TCP o CLIP zero-shot) califica imágenes basadas en nombres de clases.
   • Un clasificador de plantilla de dominio fijo califica imágenes basándose en una combinación de nombres de clases y una descripción de dominio especificada manualmente (p. ej., "una fotografía de primer plano de la textura de un [clase]").
   • Los logits de ambos clasificadores se promedian para calificar cada imagen no etiquetada en el grupo objetivo.

2. Partición Dura (Hard Partitioning):

   • A diferencia de los métodos de asignación suave (p. ej., Sinkhorn) que fuerzan distribuciones equilibradas, VDA realiza una asignación argmax dura, asignando cada imagen a exactamente una clase predicha.
   • Esto permite masas de clase desiguales, reflejando la distribución natural del grupo no etiquetado.

3. Selección de Pseudo-Soporte Limitada:

   • Dentro de cada grupo de clase predicho, las imágenes se clasifican por confianza de asignación (probabilidad softmax).
   • VDA retiene como máximo $K$ (p. ej., $K=32$) imágenes con mayor rango por clase como "pseudo-soportes". Si una clase tiene menos de $K$ asignaciones, se retienen todas; si no tiene ninguna, la clase depende únicamente del clasificador semántico.
   • Crucialmente, el método no requiere pseudo-etiquetas perfectas; los errores de localización visual (p. ej., clasificar incorrectamente un modelo de avión específico pero identificar correctamente el fabricante) aún pueden proporcionar información útil de la apariencia del dominio objetivo.

4. Estimación y Fusión de Prototipos:

   • Los prototipos visuales normalizados se calculan como la media de las características de los pseudo-soportes seleccionados para cada clase.
   • Estos prototipos se fusionan con el clasificador semántico original utilizando un único peso global ($\lambda$).
   • La fusión es conservadora: el clasificador semántico preserva la identidad de la clase, mientras que el prototipo visual corrige la apariencia del dominio objetivo.
   • En espacios de características compartidos (p. ej., CLIP estándar), esta fusión se reduce a un vector de clase fijo y cacheable, lo que no requiere computación adicional durante la inferencia.

3. Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Distinción entre Reconstrucción de Origen y Transferencia de Objetivo: Los autores demuestran que, si bien el mapeo de texto a centroide puede reconstruir con precisión los prototipos de origen retenidos, falla al predecir los prototipos de los prototipos del dominio objetivo. Los análisis de oráculo confirman que los verdaderos prototipos de destino son altamente discriminativos, lo que motiva la necesidad de estimarlos a partir de imágenes de destino no etiquetadas en lugar de solo texto.
2. Introducción de VDA: Un marco libre de entrenamiento que estima prototipos visuales correlacionados con la clase a partir de un grupo objetivo disjunto no etiquetado y los fusiona con un clasificador semántico congelado. No requiere etiquetas de destino, actualizaciones de gradiente ni refinamiento iterativo.
3. Análisis de Mecanismo: Experimentos controlados revelan que la partición dura específica de la clase es el principal motor de las mejoras de rendimiento, más que las estadísticas genéricas del dominio objetivo. Además, el estudio muestra que los errores de pseudo-etiqueta de localización visual pueden seguir siendo útiles cuando se combinan con un clasificador semánticamente estable.

4. Resultados Experimentales

Los autores evaluaron VDA a través de diez transferencias de ImageNet-a-objetivo (incluyendo Caltech101, Oxford Pets, Stanford Cars, Flowers102, Food101, FGVC-Aircraft, SUN397, DTD, EuroSAT y UCF101).

• Rendimiento Primario: Usando TCP como clasificador semántico base, VDA mejoró la precisión media top-1 del 65.82% al 69.21% (+3.39 puntos), mejorando nueve de diez conjuntos de datos objetivo.
• Comparación con Baselines:
  • VDA superó a ZLaP por 1.53 puntos en promedio.
  • VDA superó a una reproducción de InMaP sin prior previa por 2.98 puntos.
  • El método logró estas ganancias sin asumir un prior de clase uniforme ni utilizar imágenes de prueba de destino para la adaptación.
• Generalidad: El mecanismo de corrección visual se aplicó a varios clasificadores semánticos, demostrando mejoras consistentes:
  • Zero-shot CLIP: +3.22 puntos (65.34% $\to$ 68.56%).
  • MaPLe (Prompt Multimodal): +3.35 puntos (66.25% $\to$ 69.60%).
  • PromptKD (Destilado de Objetivo): +2.79 puntos (70.80% $\to$ 73.59%).
• Perspectivas de Ablación:
  • El uso directo de prototipos visuales sin fusión semántica produjo ganancias mínimas, confirmando la necesidad de fusionar la corrección de apariencia con la identidad semántica.
  • Los métodos de asignación suave (Sinkhorn) llevaron a asignaciones de alta entropía y degradaron el rendimiento, validando la elección de la partición dura.
  • El ranking de confianza proporcionó un beneficio menor y dependiente del dominio en comparación con la correspondencia de clase dura.

5. Significación y Reivindicaciones

El artículo afirma que VDA ofrece un mecanismo simple, eficiente y complementario para adaptar modelos de visión y lenguaje basados en prompts a nuevos dominios. Su importancia radica en:

• Adaptación Libre de Entrenamiento: Elimina la necesidad de optimización en el lado del objetivo, refinamiento iterativo o acceso a consultas de prueba durante la fase de adaptación.
• Desacoplamiento de Identidad y Apariencia: Al tratar los prototipos visuales como correcciones en lugar de reemplazos, VDA aprovecha la robustez del clasificador semántico mientras se adapta a los cambios de apariencia del dominio objetivo.
• Robustez ante Etiquetas Imperfectas: El método utiliza eficazmente pseudo-etiquetas imperfectas, siempre que sean visualmente locales a la clase real, lo que lo hace práctico para escenarios donde las etiquetas exactas no están disponibles.
• Eficiencia de Despliegue: El clasificador resultante es fijo y cacheable, lo que no incurre en costos de inferencia adicionales en comparación con los clasificadores congelados estándar cuando se opera en un espacio de características compartido.

Los autores concluyen que la evidencia visual a nivel de clase, derivada de grupos no etiquetados y anclada mediante partición dura, sirve como un recurso poderoso y subutilizado para el ajuste de prompts eficiente.