A Closer Look at In-Distribution vs. Out-of-Distribution Accuracy for Open-Set Test-time Adaptation

Resumen Técnico: Un análisis detallado de la precisión In-Distribution vs. Out-of-Distribution para la Adaptación en Tiempo de Prueba de Conjunto Abierto

Planteamiento del Problema
Las redes neuronales profundas suelen sufrir una degradación de la precisión cuando los datos de prueba experimentan cambios de distribución. Aunque los métodos de Adaptación en Tiempo de Prueba (TTA, por sus siglas en inglés) mitigan esto actualizando los modelos con las entradas de prueba, los enfoques estándar asumen que todos los datos de prueba pertenecen a clases conocidas (In-Distribution o InD). En escenarios realistas de conjunto abierto, los datos de prueba también pueden contener clases desconocidas (Out-of-Distribution o OOD). Los métodos actuales de TTA de conjunto abierto buscan adaptarse a los datos InD mientras filtran o rechazan los datos OOD. Sin embargo, su capacidad para detectar y rechazar con precisión las entradas OOD sigue siendo poco explorada, a pesar de que estos métodos han demostrado mejoras en la precisión InD. Existe una brecha crítica en la comprensión del compromiso entre mantener una alta precisión InD y garantizar un rechazo confiable de los datos OOD, particularmente bajo proporciones variables de datos OOD y diferentes arquitecturas de normalización.

Metodología y Configuración del Benchmark
Los autores llevan a cabo un benchmark exhaustivo de métodos de TTA robustos y de conjunto abierto, incluyendo SAR, OSTTA, UniEnt, UniEnt+ y SoTTA, junto con un baseline simple (Tent). La evaluación utiliza benchmarks de corrupción estándar:

• Escala Pequeña: CIFAR-10-C (InD) emparejado con SVHN-C o CIFAR-100-C corruptos (OOD).
• Escala Grande: ImageNet-C (InD) emparejado con ImageNet-O-C corrupto (OOD cercano, visualmente similar pero de clases diferentes) o Textures-C (OOD lejano, patrones no relacionados con objetos).

El estudio introduce varias variaciones experimentales para reflejar condiciones de despliegue realistas:

1. Lotes Mixtos (Mixed Batches): Evaluación del rendimiento donde los lotes contienen proporciones variables de datos InD y OOD (25%, 50%, 75%).
2. Intervalos de Lote (Batch Intervals): Pruebas en escenarios donde los datos OOD aparecen en ráfagas consecutivas (intervalos) entre lotes InD, en lugar de estar mezclados uniformemente.
3. Distribución de Salida: Los autores proponen un nuevo baseline que reemplaza la salida softmax estándar por una salida sigmoid/multietiqueta. Esto permite que el modelo produzca probabilidades bajas para todas las clases simultáneamente, permitiendo el rechazo explícito de entradas desconocidas sin forzar una predicción de clase.
4. Capas de Normalización: Investigación del impacto de la Normalización por Lote (BN), Normalización de Grupo (GN) y Normalización de Capa (LN) en la estabilidad de la adaptación de conjunto abierto.

Contribuciones Clave y Resultados

• Compromiso InD vs. OOD: El análisis revela que los métodos actuales de TTA de conjunto abierto luchan por equilibrar el reconocimiento InD y el rechazo OOD. Optimizar para una alta precisión InD suele resultar en una precisión OOD cercana a cero (altas tasas de falsos positivos para datos OOD), y viceversa. Aunque métodos como UniEnt logran la mejor separación, aún enfrentan compromisos significativos.
• Limitaciones del Filtrado Actual: El artículo demuestra que los mecanismos de filtrado interno de los métodos existentes (por ejemplo, el umbral de confianza en SoTTA, el filtrado de entropía en SAR, el agrupamiento de prototipos en UniEnt) son imperfectos. En algunos casos, su capacidad para distinguir entre InD y OOD es inferior a un simple umbral basado en las puntuaciones de confianza derivadas de las salidas brutas del modelo.
• Baseline de Salida Sigmoid: Reemplazar softmax con salida sigmoid (Tent-Sigmoid y SAR-Sigmoid) produce un perfil de compromiso distinto. Aunque puede reducir ligeramente la precisión InD en comparación con sus contrapartes basadas en softmax, mejora significativamente las métricas de detección OOD (AUROC, FPR@TPR95, OSCR). La distribución de la entropía sigmoid muestra una mejor separación entre las entradas InD y OOD, exhibiendo a menudo una distribución bimodal que facilita el rechazo sin heurísticas de filtrado complejas.
• Sensibilidad a las Proporciones de OOD: Los métodos existentes son altamente sensibles a la proporción de datos OOD dentro de un lote. A medida que aumenta la proporción de OOD, el rendimiento se degrada consistentemente en todas las métricas. Sin embargo, los métodos son relativamente insensibles al intervalo de los lotes OOD (lotes OOD consecutivos), lo que sugiere que el problema radica en la interacción de los datos mezclados dentro de una actualización de lote única, más que en la presencia de datos OOD a lo largo del tiempo.
• Papel de las Capas de Normalización: La estabilidad de la adaptación depende fuertemente de la capa de normalización. Los modelos que utilizan Normalización por Lote (BN) muestran grandes fluctuaciones en la precisión y las métricas OOD cuando se enfrentan a variaciones en las proporciones de OOD. En contraste, la Normalización de Grupo (GN) y la Normalización de Capa (LN) demuestran un rendimiento significativamente más estable, siendo la LN la que muestra los resultados más robustos en general.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evaluación estandarizada y multimétrica de TTA de conjunto abierto que mide explícitamente el compromiso entre la precisión InD y la precisión OOD. Los autores argumentan que el campo ha pasado por alto la confiabilidad del rechazo OOD en favor de las mejoras en la precisión InD. Al introducir el baseline sigmoid y probar bajo proporciones variables y realistas de OOD, este trabajo destaca que los métodos actuales no filtran eficazmente los datos OOD para las actualizaciones de adaptación.

Los autores concluyen que, si bien su baseline sigmoid ofrece un compromiso diferente y a menudo más favorable para el rechazo OOD, no es una panacea; sacrifica algo de la precisión InD. Sugieren que el trabajo futuro debe centrarse en desarrollar métodos que puedan equilibrar mejor estos objetivos contrapuestos, potencialmente a través de mejores técnicas de filtrado o distribuciones de salida alternativas, para asegurar un despliegue seguro y confiable en entornos de conjunto abierto. El artículo no pretende resolver el problema por completo, sino que identifica las brechas específicas en las metodologías actuales y proporciona una comprensión empírica más completa de los desafíos involucrados.