🤖 machine learning

Optimizing Three Critical Factors for Practical and Effective OOD Detection Fine-Tuning

Este artículo propone un marco de detección de OOD práctico y eficaz que optimiza el recordatorio del modelo, el muestreo de datos y el aprendizaje de representaciones a través de la Destilación de Autoconocimiento, el Muestreo de Valores Atípicos Semiduros y el Aprendizaje Contrastivo Supervisado con Conciencia de Valores Atípicos para mejorar simultáneamente el rendimiento de la detección y la precisión de la clasificación, superando al mismo tiempo los métodos existentes en diversos bancos de pruebas.

Autores originales: Hyunjun Choi, JaeHo Chung, Hawook Jeong

Publicado 2026-09-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hyunjun Choi, JaeHo Chung, Hawook Jeong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, las computadoras son notablemente buenas reconociendo patrones que han visto antes. Si le muestras a un sistema miles de fotos de gatos y perros, aprende a distinguirlos con alta confianza. Sin embargo, surge un problema significativo cuando ese sistema encuentra algo completamente nuevo, como la foto de una tostadora o una nube. En muchas aplicaciones del mundo real, como los autos autónomos o el diagnóstico médico, es crítico que la computadora reconozca cuándo está mirando algo que no comprende. Si el sistema de visión de un auto confunde una roca extraña con una señal de alto, o un escaneo médico con un órgano sano cuando no lo es, las consecuencias pueden ser graves. Este desafío se conoce como detección de fuera de distribución: la capacidad de detectar datos que caen fuera del conjunto de entrenamiento.

Durante años, los investigadores han intentado enseñar a las computadoras a manejar estos desconocidos mostrándoles ejemplos de "valores atípicos" durante el entrenamiento: imágenes que no son gatos o perros, sino otros objetos aleatorios. Este proceso, llamado ajuste fino (fine-tuning), suele ayudar a la computadora a volverse mejor para detectar lo desconocido. Sin embargo, ha habido un obstáculo persistente: a medida que la computadora se vuelve mejor detectando las cosas nuevas y extrañas, a menudo se vuelve peor reconociendo las cosas para las que fue entrenada originalmente. Es como si, al aprender a ignorar el ruido, la computadora comenzara a olvidar la señal. Un nuevo estudio de Hyunjun Choi, JaeHo Chung y Hawook Jeong aborda este dilema refinando cómo las computadoras aprenden de estos ejemplos atípicos, encontrando una manera de mejorar la seguridad sin sacrificar la precisión.

Los investigadores se centraron en tres palancas específicas que controlan cómo una computadora aprende de estos ejemplos adicionales. Primero, abordaron el problema de la pérdida de memoria. Cuando un modelo se ajusta para reconocer valores atípicos, tiende a sobrescribir el conocimiento preciso que tenía sobre sus datos de entrenamiento originales. Para solucionar esto, el equipo introdujo un método que llaman "recordatorio de modelo". Imaginen a un estudiante que está estudiando para un nuevo examen pero sigue olvidando las respuestas del anterior. Los investigadores mantuvieron una copia congelada del modelo original, bien entrenado, y la usaron para guiar suavemente el nuevo proceso de aprendizaje. Esta guía aseguró que, mientras la computadora aprendía a detectar lo desconocido, no perdiera su control sobre lo conocido. Este paso simple evitó que la computadora olvidara su propósito original, manteniendo su precisión alta incluso mientras aprendía nuevos trucos.

El segundo factor involucró la calidad de los ejemplos utilizados para el entrenamiento. El equipo descubrió que no todos los ejemplos "extraños" son igualmente útiles. Algunos son tan obvios que la computadora los ignora, mientras que otros son tan confusos que arruinan el proceso de aprendizaje. Encontraron un punto ideal en el medio. Al seleccionar cuidadosamente un rango específico de dificultad para estas imágenes atípicas —ni demasiado fáciles ni demasiado difíciles—, pudieron entrenar a la computadora de manera mucho más eficiente. Sorprendentemente, descubrieron que usar solo una pequeña fracción de los datos disponibles, aproximadamente 30,000 imágenes en lugar de las 300,000 completas, era suficiente para lograr un rendimiento de primer nivel. Este enfoque, que llaman muestreo semi-difícil (semi-hard sampling), significó que la computadora aprendió de los ejemplos más instructivos sin verse abrumada por el ruido o distraída por los triviales.

La tercera mejora se centró en cómo la computadora organiza su comprensión interna del mundo. Los investigadores añadieron una técnica que obliga a la computadora a separar claramente las cosas que conoce de las que no conoce. Al tratar los ejemplos desconocidos como señales negativas distintas, la computadora aprendió a empujar su comprensión de los elementos conocidos más lejos de los desconocidos en su mapa interno. Esto creó una brecha más amplia y clara entre lo familiar y lo desconocido, haciendo que sea mucho más fácil para el sistema decir: "Sé esto" o "No sé esto", con mayor certeza.

Cuando el equipo combinó estas tres estrategias, los resultados fueron significativos. En las pruebas estándar, su método mejoró tanto la capacidad de la computadora para detectar objetos desconocidos como su precisión en el reconocimiento de objetos conocidos. En escenarios donde los datos estaban desequilibrados, como cuando algunas categorías de imágenes eran raras y otras comunes, la mejora fue aún más dramática. Mientras que otros métodos a menudo causaban que la precisión de la computadora cayera en picada en estas situaciones difíciles, el nuevo enfoque mantuvo un alto rendimiento. Los investigadores probaron su sistema en varios bancos de pruebas, incluyendo conjuntos de datos complejos del mundo real, y encontraron que superaba consistentemente a los métodos existentes.

El estudio sugiere que la clave para una inteligencia artificial más segura y confiable no reside necesariamente en construir modelos más grandes o recolectar más datos, sino en cómo se utiliza esa información. Al recordar lo que ya sabe, elegir los ejemplos adecuados para aprender y separar claramente lo conocido de lo desconocido, los investigadores demostraron que las computadoras pueden ser tanto más precisas como más conscientes de sus propias limitaciones. Este trabajo proporciona un plano práctico para construir sistemas que puedan navegar el mundo real impredecible sin perder el rumbo.

Resumen Técnico: Optimización de tres factores críticos para un ajuste fino práctico y efectivo de la detección de OOD

Planteamiento del problema

En el dominio de la detección de fuera de la distribución (OOD, por sus siglas en inglés), el ajuste fino de modelos con datos auxiliares de valores atípicos es una estrategia común para mejorar el rendimiento de la detección. Sin embargo, este enfoque suele introducir un compromiso crítico: si bien las métricas de detección de OOD (como el AUROC) mejoran, la precisión de clasificación del modelo sobre los datos originales de la distribución interna (ID) disminuye con frecuencia. Este fenómeno es particularmente pronunciado en escenarios no ideales de cola larga (por ejemplo, LT-CIFAR10), donde los métodos de ajuste fino estándar como la Exposición de Valores Atípicos (OE) pueden causar caídas significativas en la precisión. Los autores atribuyen esta degradación a la "pérdida catastrófica" de la distribución ID original durante el proceso de ajuste fino, donde las representaciones aprendidas por el modelo son sobrescritas o suprimidas por la regularización impuesta sobre los datos atípicos.

Metodología

Para abordar el compromiso entre precisión y detección, los autores proponen un marco de ajuste fino unificado que optimiza tres factores críticos: recordatorio del modelo, muestreo de datos y aprendizaje de representaciones. Estos componentes están diseñados para ser ortogonales a los marcos de ajuste fino existentes (como OE, OECC y EnergyOE) y no requieren datos adicionales ni módulos arquitectónicos complejos.

1. Recordatorio del modelo: Destilación de Conocimiento Propio (SKD)

Para evitar la pérdida del conocimiento ID original, los autores introducen la Destilación de Conocimiento Propio (SKD).

Mecanismo: A diferencia de la destilación de conocimiento estándar que utiliza un profesor separado, la SKD opera dentro del mismo modelo. Los parámetros preentrenados originales actúan como un "profesor congelado", mientras que el modelo en ajuste fino actúa como el "estudiante".
Objetivo: El modelo estudiante actualiza sus pesos haciendo referencia a objetivos fijos derivados del profesor mediante una pérdida de destilación de objetivos suavizados (Softening Targets).
Efecto: Esto actúa como un "recordatorio" de la distribución ID original, preservando la brecha de energía negativa entre las muestras ID y OOD. Mitiga eficazmente la reducción de precisión causada típicamente por el ajuste fino impulsado por valores atípicos.

2. Muestreo de datos: Muestreo de Valores Atípicos Semiduros (SOS)

Los autores optimizan la cantidad y la calidad de los datos atípicos para mejorar la eficiencia y el rendimiento.

Cantidad: El análisis empírico muestra que usar solo el 10% (30K imágenes) del conjunto de datos TinyImages-300K es suficiente para una detección de OOD efectiva, igualando el rendimiento de los métodos que utilizan el conjunto de datos completo.
Calidad (Dureza): Los autores definen la "dureza" como la probabilidad máxima de softmax (MSP) de una muestra atípica en un modelo preentrenado. Observan un compromiso: si bien aumentar la dureza generalmente mejora la detección de OOD, una dureza excesiva degrada tanto la precisión como el rendimiento de la detección.
Estrategia: SOS selecciona valores atípicos dentro de un rango de cuantiles de dureza óptimo. Al evitar tanto las muestras extremadamente fáciles como las extremadamente duras, SOS logra un equilibrio superior entre el poder de detección y la precisión de clasificación.

3. Aprendizaje de Representaciones: Aprendizaje Contrastivo Supervisado Consciente de Valores Atípicos (OSCL)

Para mejorar la separabilidad entre los datos ID y OOD, los autores proponen OSCL.

Mecanismo: OSCL extiende el Aprendizaje Contrastivo Supervisado (SCL) tradicional al incorporar explícitamente datos atípicos como muestras negativas. Esto impulsa las incrustaciones (embeddings) contrastivas de las muestras ID para alejarse de las muestras OOD.
Transformación de múltiples lotes: Para potenciar aún más la efectividad, los autores introducen una transformación de múltiples lotes donde cada entrada es aumentada múltiples veces ( $n$ vistas) y concatenada. Esto permite que el modelo aproveche simultáneamente múltiples vistas de aumento.
Efecto: Este enfoque promueve grandes distancias angulares entre los prototipos de clase (dispersión interclase) mientras mantiene la compacidad intraclase, mejorando significativamente la separabilidad ID-OOD.

La función de objetivo final combina la pérdida de clasificación ( $L_{cls}$ ), la pérdida de regularización de valores atípicos estándar ( $L_{reg}$ ), la pérdida de SKD ( $L_{KD}$ ) y la pérdida de OSCL ( $L_{SC}$ ):
$L_{total} = L_{cls} + \lambda_{reg}L_{reg} + \lambda_{KD}L_{KD} + \lambda_{SC}L_{SC}$

Contribuciones Clave

Identificación del Compromiso entre Precisión y Detección: El artículo proporciona evidencia empírica de que el ajuste fino estándar con datos atípicos suprime la distribución ID original, lo que provoca caídas en la precisión, particularmente en escenarios de cola larga.
Optimización de Tres Vertientes: La propuesta de SKD, SOS y OSCL como una solución integral para mitigar la pérdida de precisión mientras se potencia la detección de OOD.
Marco Ortogonal: Los métodos están diseñados para ser compatibles con las líneas base de ajuste fino existentes (OE, OECC, EnergyOE), permitiendo ganancias acumulativas sin reemplazar la arquitectura subyacente.
Eficiencia: La demostración de que se puede lograr un alto rendimiento con un pequeño subconjunto (10%) de datos atípicos mediante un muestreo optimizado (SOS).

Resultados Experimentales

El marco fue evaluado en diversos benchmarks, incluyendo SC-OOD, MOOD y SYN, utilizando tanto conjuntos de datos equilibrados (CIFAR10/100) como de cola larga (LT-CIFAR10/100, LT-ImageNet).

Conjuntos de Datos Equilibrados: En CIFAR10 y CIFAR100, el método combinado ("OE+Ours") superó a métodos de vanguardia como DivMix y DivOE. Notablemente, alcanzó un AUROC del 96.70% en CIFAR10 y 85.59% en CIFAR100 usando solo el 10% de los datos atípicos, superando a DivMix(100%) que utilizó el conjunto de datos completo.
Conjuntos de Datos de Cola Larga: El método demostró una robustez significativa en escenarios de cola larga donde otros métodos (por ejemplo, VOS, NPOS, DivMix) sufrieron caídas catastróficas de precisión. En LT-CIFAR10, el método propuesto mejoró la precisión de 69.73% (línea base OE) a 77.67%, mientras que simultáneamente aumentó el AUROC de 85.11% a 90.81%.
Conjuntos de Datos a Gran Escala: En LT-ImageNet, el método mejoró el rendimiento de detección de OOD de OE por un margen amplio, logrando un AUROC promedio de 79.51% en comparación con el 75.07% de la línea base.
Estudios de Ablación: Los estudios de ablación incremental confirmaron que cada componente (SKD, SOS, OSCL) contribuye de manera acumulativa tanto a la precisión como al rendimiento de la detección. Específicamente, se demostró que SKD preserva la brecha de energía negativa entre ID y OOD, y se validó que OSCL mejora las métricas de separabilidad ID-OOD (Dispersión y Compacidad).

Significancia y Reivindicaciones

Los autores afirman que su trabajo establece un paradigma más práctico y efectivo para el ajuste fino de la detección de OOD. Al optimizar los tres factores críticos, el marco logra mitigar el compromiso común donde la mejora en la detección de OOD ocurre a costa de la precisión de clasificación.

El artículo enfatiza que estos métodos son simples pero efectivos, y no requieren datos adicionales ni módulos complejos. La importancia radica en la capacidad de generalizarse a través de conjuntos de datos ideales y no ideales (de cola larga), superando a menudo el rendimiento del modelo base original en precisión, mientras se potencia significativamente la detección de OOD. Los autores posicionan su enfoque como una línea base robusta para la detección de OOD en el mundo real, particularmente en campos críticos para la seguridad donde mantener una alta precisión de clasificación en los datos de la distribución interna es tan crucial como detectar valores atípicos.