Dual-Modality Anchor-Guided Filtering for Test-time Prompt Tuning

Resumen Técnico: Filtrado Guiado por Anclajes de Doble Modalidad para Ajuste de Prompts en Tiempo de Prueba

1. El Problema

Los Modelos Visuales-Lingüísticos (VLM), como CLIP, han demostrado un rendimiento excepcional en tareas de zero-shot. Sin embargo, su generalización a dominios no vistos (fuera de la distribución) suele ser limitada. Para abordar esto, se ha propuesto el Ajuste de Prompts en Tiempo de Prueba (TPT), que actualiza los prompts aprendibles utilizando datos no etiquetados durante la inferencia, minimizando la entropía de las predicciones de vistas aumentadas.

El problema central identificado por los autores es la vulnerabilidad de los métodos TPT actuales ante vistas ruidosas o no informativas:

• Filtrado basado en entropía insuficiente: Los métodos existentes seleccionan vistas basándose únicamente en la baja entropía (alta confianza) de la predicción del modelo. Bajo desplazamiento de distribución (distribution shift), los modelos suelen estar "sobreconfiados" en predicciones incorrectas (ej. fondos o recortes irrelevantes), lo que lleva a un ajuste del prompt hacia semánticas erróneas.
• Limitaciones de la similitud visual: Intentar filtrar por similitud con la imagen original (usando aumentos estándar) reduce la diversidad de las vistas y debilita la generalización.
• Falta de semántica fina: Los prompts iniciales suelen ser genéricos (ej. "una foto de un [CLASE]"), careciendo de atributos detallados necesarios para distinguir clases confusas en recortes difíciles.

2. Metodología Propuesta

Los autores proponen un marco de filtrado guiado por anclajes de doble modalidad que fundamenta la selección de vistas en evidencia semántica y visual, en lugar de depender solo de la confianza interna del modelo.

El enfoque consta de tres componentes principales:

A. Filtrado Semántico Guiado por Texto (Text-Guided Semantic Filtering)

• Generación de Descripciones Ricas: Utilizan Grandes Modelos de Lenguaje (LLM) para generar descripciones textuales ricas en atributos para cada clase (ej. "tiene pelaje suave, orejas caídas y cola moviéndose" para un perro), en lugar de usar plantillas simples.
• Anclaje de Texto ($t_c$): Estas descripciones se codifican y se agregan mediante un mecanismo de agregación ponderada por alineación. Se calcula qué descripción es más relevante para una vista específica de la imagen, creando un "anclaje de texto" dinámico y específico para la imagen.
• Puntuación Conjunta: Se seleccionan vistas basándose en una combinación de:
  1. Alineación: Similitud coseno entre la vista y el anclaje de texto.
  2. Confianza: Entropía de la predicción.
     Esto descarta vistas que, aunque tengan baja entropía, no estén alineadas semánticamente con la descripción detallada.

B. Filtrado Semántico Guiado por Imagen (Image-Guided Semantic Filtering)

• Anclaje de Imagen ($A_{img}$): Para capturar las estadísticas visuales del dominio de prueba, se mantiene un banco de prototipos de clase que se actualiza incrementalmente durante la inferencia con las vistas seleccionadas previamente.
• Selección: Se utilizan estos prototipos (anclajes de imagen) para calcular nuevamente la alineación y la confianza, seleccionando vistas que sean visualmente coherentes con la distribución actual de la clase.
• Conjunto Final: La unión de las vistas seleccionadas por el filtro de texto y el filtro de imagen.

C. Ensemble Adaptativo de Predicciones Multimodales

• En lugar de simplemente minimizar la entropía, el método utiliza los anclajes (texto e imagen) como cabezas predictivas auxiliares.
• Se genera un ensemble ponderado por confianza que combina las predicciones del prompt original, el anclaje de texto y el anclaje de imagen.
• Función de Pérdida: Se minimiza la divergencia KL entre la predicción del prompt y una distribución objetivo afilada derivada de este ensemble. Esto proporciona una señal de supervisión estable y semánticamente fundamentada, evitando el colapso en predicciones sobreconfiadas pero incorrectas.

3. Contribuciones Clave

1. Marco de Filtrado Dual: Mitiga las limitaciones del filtrado basado en entropía al fundamentar la selección en anclajes de doble modalidad (texto e imagen), evaluando conjuntamente la alineación semántica y la confianza.
2. Sustitución de Prompts Gruesos: Reemplaza los prompts iniciales genéricos con anclajes de texto ricos en atributos (generados por LLM) y anclajes de imagen adaptativos, mejorando la discriminación fina.
3. Ensemble como Fuente de Supervisión: Utiliza los anclajes no solo como filtros, sino como fuentes predictivas en un ensemble ponderado por confianza, generando una señal de supervisión robusta para la actualización del prompt.
4. Eficiencia y Modularidad: El método es ligero, no requiere aumentos costosos (como difusión) y se integra fácilmente en pipelines existentes de ajuste de prompts.

4. Resultados Experimentales

Los autores evaluaron su método en 15 conjuntos de datos de referencia, incluyendo generalización de dominio (ImageNet-A, ImageNet-R, etc.) y transferencia cruzada (Flower102, StanfordCars, etc.).

• Rendimiento General: El método alcanza un nuevo estado del arte (SOTA). En la tarea de generalización de dominio, superó al método base TPT en un +3.68% de precisión promedio y un +3.31% en promedio de datos fuera de distribución (OOD).
• Comparación con SOTA: Superó consistentemente a métodos avanzados como DynaPrompt y DiffTPT.
  • En combinación con CoOp, logró un promedio de 67.51% (mejora de +2.52% sobre TPT).
  • En combinación con MaPLe, logró un promedio de 66.28% (mejora de +2.06% sobre TPT).
• Eficiencia: A diferencia de DiffTPT (que usa difusión y es lento) o DynaPrompt (que mantiene múltiples prompts), el método propuesto mantiene un tiempo de inferencia bajo (0.2 segundos por imagen, similar a TPT estándar) mientras ofrece mayores ganancias de precisión.
• Análisis de Componentes: Las pruebas de ablación confirmaron que tanto el filtrado guiado por texto como el guiado por imagen son complementarios, y que el uso de la agregación ponderada por alineación mejora la precisión OOD en un 0.48%.

5. Significado e Impacto

Este trabajo es significativo porque aborda el "cuello de botella" fundamental del ajuste en tiempo de prueba: la calidad de las vistas seleccionadas.

• Cambio de Paradigma: Demuestra que la selección de vistas no debe depender ciegamente de la confianza del modelo (que es falible bajo desplazamiento de distribución), sino de una validación semántica externa (textos detallados) e interna (estadísticas visuales adaptativas).
• Robustez: Proporciona una solución robusta para la adaptación de modelos VLM en escenarios del mundo real donde no hay etiquetas disponibles y los datos pueden ser ruidosos o estar fuera de distribución.
• Escalabilidad: Al ser un módulo ligero que no requiere reentrenamiento pesado ni aumentos costosos, es altamente aplicable en sistemas de producción que requieren adaptación rápida y eficiente.

En conclusión, el marco propuesto establece que la supervisión guiada por anclajes es fundamental para actualizaciones de prompts robustas, logrando mejoras sustanciales en la generalización de modelos visuales-lingüísticos.