Pretrain-then-Adapt: Uncertainty-Aware Test-Time Adaptation for Text-based Person Search

1. El Problema

La búsqueda de personas basada en texto (encontrar una persona en una galería de imágenes usando una descripción natural) enfrenta limitaciones críticas debido a la escasez de datos etiquetados, impulsada por restricciones de privacidad y los altos costos de anotación manual.

• Paradigma Actual (Pre-entrenar y Ajustar): Los métodos existentes suelen pre-entrenar modelos en datos sintéticos para alinear texto e imagen, y luego requieren un ajuste fino (fine-tuning) en conjuntos de datos reales etiquetados.
• Limitación: En escenarios de despliegue real, los datos etiquetados del dominio objetivo a menudo no están disponibles.
• Riesgo de Adaptación en Tiempo de Prueba (TTA): Las estrategias actuales de TTA que no requieren etiquetas (como la minimización de entropía) sufren de sesgo de confirmación. El modelo puede volverse excesivamente seguro de sus propias predicciones erróneas (falsos positivos), acumulando errores y convergiendo a un estado subóptimo, especialmente en tareas de recuperación que requieren coincidencias finas.

2. Metodología Propuesta: UATTA

Los autores proponen un nuevo paradigma "Pre-entrenar y Adaptar" (Pretrain-then-Adapt) mediante un marco de Adaptación en Tiempo de Prueba Consciente de la Incertidumbre (UATTA). Este enfoque adapta el modelo pre-entrenado a un nuevo dominio objetivo utilizando únicamente datos de prueba no etiquetados, sin necesidad de anotaciones ni cambios arquitectónicos.

El método se compone de tres etapas clave:

A. Selección de Muestras por Consistencia Cíclica (Cycle-Consistency Selection - CCS)

Para evitar el ruido de pares imagen-texto inconsistentes, el método selecciona inicialmente muestras confiables:

• Se realiza una recuperación de texto a imagen para obtener los $K$ mejores resultados.
• Luego, se realiza una recuperación inversa (imagen a texto) sobre esos resultados.
• Una muestra se considera "confiable" solo si la consulta original de texto aparece en los resultados de la recuperación inversa (consistencia de ciclo). Esto filtra falsos positivos obvios antes de la adaptación.

B. Estimación de Incertidumbre mediante Desacuerdo de Recuperación Bidireccional

El núcleo de UATTA es una nueva métrica de incertidumbre que evita la sobreconfianza en falsos positivos:

• Concepto: Se asume que una coincidencia verdadera y confiable debe ser simétrica (alta probabilidad de texto $\to$ imagen Y alta probabilidad de imagen $\to$ texto).
• Métrica: Se calcula el desacuerdo entre las probabilidades de recuperación en ambas direcciones ($p_{T2I}$ y $p_{I2T}$).
• Fórmula de Incertidumbre: Se utiliza una función exponencial que penaliza los pares donde una dirección tiene alta probabilidad y la otra baja (asimetría), mientras que los pares simétricos (ambas altas o ambas bajas) tienen menor incertidumbre.
  $$D(t, i) = \exp\left( \frac{|p_{T2I} - p_{I2T}|}{\frac{p_{T2I} + p_{I2T}}{2}} \right)$$
• Justificación Teórica: Se demuestra que este desacuerdo es un proxy computacionalmente eficiente para la varianza de los parámetros del modelo (incertidumbre epistémica).

C. Recalibración de Entropía Ponderada por Incertidumbre

En lugar de minimizar la entropía globalmente (lo que fuerza al modelo a ser seguro incluso en errores), UATTA re-pesa la función de pérdida:

• Se minimiza la entropía, pero los gradientes de cada par imagen-texto se dividen por su métrica de incertidumbre $D(t, i)$.
• Efecto: Los pares con baja incertidumbre (coincidencias confiables) reciben gradientes amplificados para reforzar la alineación. Los pares con alta incertidumbre (potenciales falsos positivos) tienen sus gradientes suprimidos, evitando que el modelo aprenda de errores.

3. Contribuciones Clave

1. Nuevo Paradigma Práctico: Introduce el enfoque "Pretrain-then-Adapt" para la búsqueda de personas, eliminando la dependencia de datos etiquetados del dominio objetivo y facilitando el despliegue en entornos con restricciones de privacidad.
2. Método de Adaptación Guiado por Incertidumbre (UATTA): Propone un mecanismo novedoso de desacuerdo de recuperación bidireccional para estimar la incertidumbre sin ground-truth, resolviendo el problema de la sobreconfianza en falsos positivos típico de la minimización de entropía tradicional.
3. Evaluación Exhaustiva: Validación en cuatro benchmarks desafiantes (CUHK-PEDES, ICFG-PEDES, RSTPReid y PAB) y en dos arquitecturas distintas (basadas en CLIP de una etapa y XVLM de dos etapas).

4. Resultados Experimentales

• Rendimiento Superior: UATTA supera consistentemente a los métodos de línea base (incluyendo pre-entrenamiento puro y otros métodos de TTA como Tent, SHOT, SAR) en todas las métricas principales (R@1, R@5, R@10, mAP).
  • En el benchmark PAB, mejora el R@1 en un 4.19% respecto al modelo pre-entrenado base.
  • Supera a otros métodos de TTA existentes en un 1.21% en R@1 y 1.42% en mAP.
• Eficiencia Extrema:
  • Reduce el tiempo de adaptación posterior al entrenamiento en un 99.6% en comparación con los métodos de ajuste fino (Pretrain-then-Finetune).
  • Requiere solo 0.08 horas de tiempo GPU en una sola tarjeta (RTX 3090), frente a las decenas de horas y múltiples GPUs que requieren los métodos de ajuste fino.
• Robustez: Mantiene el backbone del modelo congelado, modificando solo los parámetros de las capas de normalización (LayerNorm), lo que garantiza una implementación ligera y sin cambios arquitectónicos.

5. Significado e Impacto

Este trabajo es significativo porque:

• Resuelve el cuello de botella de la anotación: Permite adaptar modelos de búsqueda de personas a nuevos entornos (ciudades inteligentes, localización de personas desaparecidas) sin necesidad de recolectar y etiquetar nuevos datos costosos.
• Mejora la fiabilidad en el despliegue: Al mitigar la sobreconfianza en falsos positivos, el sistema es más seguro y preciso en escenarios del mundo real donde las condiciones de iluminación, ropa o ángulo difieren de los datos de entrenamiento.
• Equilibrio Rendimiento-Eficiencia: Establece un nuevo punto de referencia (benchmark) que ofrece un rendimiento competitivo con métodos de ajuste fino costosos, pero con una fracción del costo computacional y temporal, haciéndolo viable para aplicaciones en tiempo real y recursos limitados.

En resumen, UATTA demuestra que la adaptación en tiempo de prueba, cuando se guía por una estimación inteligente de la incertidumbre basada en la consistencia bidireccional, es una solución viable y superior para cerrar la brecha de dominio en la recuperación multimodal sin etiquetas.