Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models

Resumen Técnico: La Minería de Negativos Desviada Mejora la Detección Fuera de Distribución con Modelos Visuales-Lingüísticos Preentrenados

Enunciado del Problema
La detección fuera de distribución (OOD) es crítica para garantizar la fiabilidad de los modelos de aprendizaje automático en escenarios de mundo abierto donde los datos de prueba pueden contener clases no vistas. Aunque los Modelos Visuales-Lingüísticos (VLM) preentrenados, como CLIP, han demostrado ser prometedores en la detección OOD post-hoc aprovechando las afinidades semánticas entre las etiquetas de Distribución Interna (ID) y las etiquetas "negativas" (semánticamente distintas de las ID), los enfoques existentes enfrentan una limitación teórica significativa. Los métodos actuales, como NegLabel, dependen de reglas heurísticas (por ejemplo, similitud del coseno) para extraer etiquetas negativas de corpus "salvajes" no etiquetados (por ejemplo, WordNet). Los autores argumentan que estas reglas heurísticas carecen de garantías teóricas para capturar la verdadera disimilitud semántica, lo que conduce a un "sesgo en la minería de negativos". Este sesgo ocurre porque el conjunto negativo extraído inevitablemente se contamina con "falsos negativos" (etiquetas que en realidad son semánticamente similares a las clases ID), resultando en funciones de puntuación OOD subóptimas. El desafío central abordado es cómo mitigar este sesgo de muestreo sin requerir información de similitud de verdad fundamental ni retroalimentación humana adicional sobre el corpus salvaje.

Metodología
El método propuesto, Minería de Negativos Desviada, introduce un marco teórico para corregir el sesgo de muestreo de las etiquetas negativas aproximando indirectamente la verdadera distribución de las etiquetas negativas. El enfoque se fundamenta en los siguientes pasos:

1. Modelado de Distribución: Los autores modelan la distribución de datos salvajes no etiquetados ($Q_Y$) como una mezcla de etiquetas positivas verdaderas ($P^+_Y$) y etiquetas negativas verdaderas ($P^-_Y$) utilizando el modelo de contaminación de Huber: $Q_Y = \tau \cdot P^+_Y + (1-\tau) \cdot P^-_Y$, donde $\tau$ es una probabilidad a priori tratada como un hiperparámetro.
2. Derivación Teórica: Al reorganizar el modelo de mezcla, la distribución negativa verdadera se expresa como $P^-_Y = (Q_Y - \tau \cdot P^+_Y) / (1-\tau)$. Los autores derivan una función de puntuación OOD no sesgada basada en esta relación.
3. Aproximación Asintótica: Para evitar estimaciones computacionalmente costosas, el método utiliza el teorema de convergencia dominada para demostrar que, a medida que el número de etiquetas negativas tiende a infinito, la función de puntuación converge a una forma dependiente de las esperanzas de la distribución salvaje y de la distribución positiva.
4. Muestreo por Importancia Monte-Carlo: La función de puntuación desviada final se implementa como un estimador Monte-Carlo. Requiere:
   • Muestreo del Corpus Salvaje ($u_i$): Seleccionar muestras representativas del corpus salvaje basadas en la densidad local (utilizando los $\alpha$-vecinos más cercanos) para aproximar la esperanza sobre $Q_Y$.
   • Síntesis de Etiquetas Positivas ($v_i$): Dado que las etiquetas positivas verdaderas del corpus salvaje son desconocidas, el método sintetiza características positivas aplicando una transformación que preserva la semántica (añadiendo ruido gaussiano y normalizando) a los incrustamientos de las etiquetas ID conocidas.
   • Puntuación: La puntuación OOD final se calcula combinando las afinidades de las etiquetas ID con la diferencia ponderada entre la esperanza del corpus salvaje y la esperanza positiva sintetizada, cancelando efectivamente la contaminación de los falsos negativos.

Contribuciones Clave

• Marco Teórico: El artículo desarrolla un marco teórico novedoso que corrige el sesgo de muestreo de las etiquetas negativas sin requerir información de similitud o disimilitud de verdad fundamental, abordando el problema de "falsos negativos" inherente a la minería heurística.
• Implementación Práctica: Los autores implementan esta corrección como una estrategia eficiente de muestreo por importancia que depende exclusivamente del acceso a ejemplos positivos (etiquetas ID) y datos salvajes no etiquetados, evitando la necesidad de supervisión adicional.
• Rendimiento de Vanguardia: Experimentos extensivos demuestran que el método establece nuevos resultados de vanguardia en diversas pruebas de detección OOD, diferentes arquitecturas de CLIP (ViT-B/32, ViT-L/14, ResNet-50) y diferentes resoluciones de entrada.
• Robustez: El método muestra una fuerte generalización y robustez en escenarios con desplazamiento de dominio (por ejemplo, ImageNet-A, ImageNet-R, ImageNetV2), superando a los métodos zero-shot existentes.

Resultados Experimentales
El método fue evaluado en la prueba ImageNet-1K con etiquetas ID, probando contra conjuntos de datos OOD que incluyen iNaturalist, SUN, Places365 y Textures.

• Rendimiento: El método propuesto logró un AUROC promedio del 94.52% y un FPR95 del 22.37%, superando al mejor método zero-shot anterior, NegLabel (94.21% AUROC, 25.40% FPR95).
• Ablación: El método superó consistentemente a NegLabel en diferentes backbones visuales (ViT-B/32, ViT-L/14, ResNet-50) y resoluciones de entrada (224x224 vs. 336x336).
• Sensibilidad del Corpus: El método demostró un rendimiento superior a NegLabel cuando se probó con diferentes fuentes de corpus (Common-20K y Etiquetas de Categoría Gramatical), indicando flexibilidad en la elección de datos salvajes.
• Hiperparámetros: Se encontró que el método es estable en un amplio rango de hiperparámetros, incluida la probabilidad a priori $\tau$, la intensidad del ruido $\sigma$ y el número de etiquetas muestreadas $L$.

Significado
El artículo afirma que, aunque la minería de etiquetas negativas ha sido una heurística exitosa, su poder no se ha liberado completamente debido al problema no resuelto de los falsos negativos. Al proporcionar una corrección teórica para este sesgo, el trabajo "libera" el potencial de los VLM para la detección OOD. Los autores enfatizan que su enfoque logra estas mejoras sin requerir datos de entrenamiento adicionales ni retroalimentación humana sobre el corpus salvaje, convirtiéndolo en una solución práctica y robusta para la detección OOD zero-shot. El trabajo sugiere que las direcciones futuras podrían implicar la incorporación de Modelos de Lenguaje Grandes Multimodales preentrenados, pero la contribución actual se centra en refinar el proceso de minería de negativos dentro de los marcos de VLM existentes.