🤖 machine learning

ASAT: Adaptive Scoring and Thresholding with Human Feedback for Robust Out-of-Distribution Detection

Este artículo propone ASAT, un marco de trabajo de humano en el bucle que adapta dinámicamente las funciones de puntuación y los umbrales utilizando retroalimentación de fuera de la distribución del mundo real para maximizar las tasas de verdaderos positivos mientras controla estrictamente las tasas de falsos positivos, superando así a los métodos existentes en la detección robusta de OOD.

Autores originales: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

Publicado 2026-08-07

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Daisuke Yamada, Harit Vishwakarma, Ramya Korlakai Vinayak

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el capitán de una nave espacial navegando a través de un denso campo de asteroides cubierto de niebla. La computadora de tu nave es increíblemente inteligente, pero solo fue entrenada para reconocer las formas específicas de los asteroides que vio durante su campamento de entrenamiento. Ahora, mientras vuelas más profundo en el espacio, comienzas a encontrarte con objetos extraños y nuevos: cubos de hielo flotantes, medusas brillantes y nubes metálicas. Estos son entradas "fuera de la distribución" (OOD, por sus siglas en inglés): cosas que la computadora nunca ha visto antes. Si la computadora confunde un objeto peligroso y desconocido con un asteroide seguro, tu nave podría estrellarse. Este es el núcleo del problema de la detección de datos fuera de la distribución (OOD): enseñar a la IA a decir: "No sé qué es esto", en lugar de adivinar y potencialmente cometer un error fatal.

Para resolver esto, los científicos suelen construir un sistema de "tarjeta de puntuación": la computadora asigna una puntuación a cada objeto: las puntuaciones altas significan "estoy seguro de que esto es un asteroide normal" y las bajas significan "esto parece extraño". Luego, trazan una línea, llamada umbral, para decidir cuándo hacer sonar la alarma. Si la puntuación está por debajo de la línea, se detienen y piden ayuda a un experto humano. La parte difícil es establecer esa línea. Si la estableces demasiado alta, podrías pasar por alto objetos peligrosos (un "falso negativo"). Si la estableces demasiado baja, podrías detener la nave por cada pequeño guijarro, desperdiciando tiempo y combustible (un "falso positivo"). En trabajos críticos para la seguridad, como el diagnóstico médico o los coches autónomos, un falso positivo puede ser tan malo como un falso negativo; no quieres que un médico le diga a un paciente sano que tiene cáncer, ni que un coche ignore un obstáculo real.

Este artículo, titulado ASAT, aborda el problema de cómo mantener esa tarjeta de puntuación y esa línea de alarma perfectas, incluso a medida que el universo cambia alrededor de la nave. Los autores, Daisuke Yamada, Harit Vishwakarma y Ramya Korlakai Vinayak, proponen un nuevo sistema que no se limita a establecer una regla y olvidarla. En su lugar, crearon un marco de "humano en el bucle" (human-in-the-loop) que aprende sobre la marcha. Descubrieron que los métodos antiguos, que dependen de una tarjeta de puntuación fija y una línea estática, a menudo fallan cuando los objetos "extraños" cambian con el tiempo. Su nuevo enfoque, ASAT, actualiza constantemente tanto la tarjeta de puntuación como la línea de alarma basándose en la retroalimentación en tiempo real de expertos humanos, asegurando que el sistema se mantenga seguro mientras se vuelve más inteligente.

El problema del "configurar y olvidar"

Imagina que eres un guardia de seguridad en un museo. Se te da una lista de pinturas famosas (los datos "dentro de la distribución" o ID) y se te dice que detengas a cualquiera que sostenga una falsa. Creas una regla: "Si la pintura se parece más del 95% a una real, déjala pasar". Así es como funcionan la mayoría de los sistemas de IA actuales. Están entrenados en datos conocidos y establecen un umbral para captar el 95% de las cosas reales.

Pero aquí está el truco: el artículo señala que este método deja un gran vacío en tu seguridad. Mientras estás ocupado captando el 95% de las pinturas reales, podrías dejar pasar accidentalmente el 90% de las falsificaciones porque tu regla era demasiado permisiva en el lado de lo "extraño". En el mundo de la IA, esto se llama una alta Tasa de Falsos Positivos (FPR). En un contexto médico, esto significa que la IA podría decirle a una persona sana que tiene un tumor, causando pánico innecesario y pruebas costosas. El artículo argumenta que apuntar simplemente a una alta "Tasa de Verdaderos Positivos" (captar las cosas buenas) sin controlar estrictamente la "Tasa de Falsos Positivos" (no dar la falsa alarma) es peligroso.

Además, la forma antigua es rígida. Imagina que el museo comienza a recibir un nuevo tipo de falsificación: hologramas. Tu regla antigua, diseñada para falsificaciones en papel, podría no funcionar en absoluto con los hologramas. El sistema se queda estancado, incapaz de adaptarse porque nunca se le enseñó a cambiar sus reglas una vez que las puertas se abrieron.

Entra ASAT: El guardia de seguridad adaptativo

Los autores proponen ASAT (Puntuación y Umbralización Adaptativos con Retroalimentación Humana). Piensa en ASAT no como un robot con un libro de reglas estático, sino como un detective que aprende de cada caso.

Así es como ocurre la magia:

La Tarjeta de Puntuación (Función de Puntuación): En lugar de usar una fórmula fija para juzgar qué tan "extraño" es un objeto, ASAT puede reescribir su propia fórmula. Si sigue identificando erróneamente un tipo específico de objeto extraño, le pregunta a un experto humano: "Oye, ¿esto es una falsificación?". Si el humano dice: "Sí, eso es un holograma", ASAT actualiza su tarjeta de puntuación interna para reconocer mejor los hologramas la próxima vez.
La Línea de Alarma (Umbral): La línea que decide cuándo detener la nave tampoco es estática. ASAT mueve esta línea hacia arriba o hacia abajo para asegurar que nunca deje pasar más de un porcentaje minúsculo y seguro de falsificaciones (controlando estrictamente la FPR).
El Bucle Humano: El sistema es lo suficientemente inteligente como para saber cuándo no está seguro. Si un objeto está justo en el límite de la línea de alarma, ASAT hace una pausa y pide una etiqueta real a un humano. Esta retroalimentación humana es el combustible que impulsa las actualizaciones.

El artículo demuestra que ASAT es un marco de "humano en el bucle". No solo adivina; aprende. Cuando aparece un nuevo tipo de datos OOD (como los hologramas), ASAT adapta su función de puntuación y su umbral simultáneamente.

Lo que encontraron: Más inteligentes y más seguros

Los investigadores probaron ASAT en un benchmark famoso llamado OpenOOD, utilizando conjuntos de datos como CIFAR-10 (que actúa como los datos "normales") y varios otros conjuntos de datos como los datos "extraños". Compararon ASAT con otros dos métodos:

FSFT: Una tarjeta de puntuación fija y un umbral fijo (la forma antigua y rígida).
FSAT: Una tarjeta de puntuación fija pero un umbral adaptativo (un punto medio).

En sus experimentos, los resultados fueron claros. Los métodos fijos antiguos (FSFT) a menudo tenían tasas de falsos positivos muy altas, dejando pasar entre el 32% y el 91% de los datos "extraños" como si fueran normales. Esto es un desastre para la seguridad. El método FSAT fue mejor controlando las falsas alarmas, pero debido a que no podía cambiar su tarjeta de puntuación, perdió la oportunidad de captar muchos de los objetos "extraños" que un sistema más inteligente sí habría podido identificar.

ASAT, sin embargo, logró ambas cosas. Mantuvo la tasa de falsos positivos estrictamente por debajo del objetivo del 5% (el límite de seguridad) mientras mejoraba significamente la Tasa de Verdaderos Positivos. En algunas pruebas, ASAT mejoró la capacidad de captar los objetos "extraños" en más de un 40% en comparación con los mejores métodos fijos.

El artículo también analizó qué sucede cuando los objetos "extraños" cambian repentinamente (un entorno no estacionario). Imagina que el museo cambia de falsificaciones de papel a hologramas de la noche a la mañana. Los sistemas antiguos se confunden y comienzan a dejar pasar falsificaciones. ASAT, sin embargo, se da cuenta rápidamente de que el patrón ha cambiado. Utiliza la nueva retroalimentación humana para actualizar su tarjeta de puntuación y su umbral, regresando a un estado seguro con solo un breve y temporal aumento de errores antes de adaptarse.

La red de seguridad: Cómo saben que funciona

Podrías preguntarte: "Si el sistema está cambiando sus propias reglas, ¿cómo sabemos que no se romperá?". Los autores no solo corrieron simulaciones y esperaron lo mejor; construyeron una red de seguridad matemática. Demostraron teóricamente que, siempre que los objetos "extraños" permanezcan iguales durante un tiempo (condiciones estacionarias), ASAT garantizará que la tasa de falsos positivos se mantenga por debajo del límite establecido por el usuario (por ejemplo, 5%) en todo momento.

Utilizaron una herramienta estadística ingeniosa llamada "secuencia de confianza uniforme en el tiempo". Imagina una red de seguridad que se estira y se encoge mientras caminas por una cuerda floja. Incluso mientras el sistema aprende y cambia, esta red matemática asegura que la probabilidad de caer (cometer un error) nunca exceda el límite seguro. Demostraron que, aunque el sistema aprende de datos que dependen de sus propias decisiones anteriores (una situación complicada para las matemáticas), la garantía de seguridad se mantiene.

Conclusión

El artículo concluye que ASAT es un paso importante hacia adelante para la seguridad de la IA. Resuelve los dos mayores dolores de cabeza de la detección OOD actual: la tendencia a tener demasiadas falsas alarmas y la incapacidad de aprender de nuevas amenazas no vistas. Al permitir que el sistema adapte su "tarjeta de puntuación" y su "línea de alarma" con la ayuda de expertos humanos, ASAT crea un sistema que no solo es más seguro, sino también más eficiente, requiriendo menos intervención humana con el tiempo porque se vuelve mejor en su trabajo.

Aunque los autores señalan que sus garantías actuales dependen de que los datos "extraños" sean algo consistentes, y que la retroalimentación humana ruidosa podría ser un desafío, han sentado las bases para un futuro donde los sistemas de IA puedan navegar con seguridad por lo desconocido, aprendiendo y adaptándose en tiempo real sin perder sus salvaguardas de seguridad.

Resumen Técnico: ASAT – Puntuación y Umbralización Adaptativa con Retroalimentación Humana para la Detección Robusta de Fuera de Distribución

Declaración del Problema

Los modelos de aprendizaje automático suelen entrenarse bajo el supuesto de mundo cerrado, donde los datos de prueba siguen la misma distribución que los de entrenamiento (Distribución Interna, o ID). Sin embargo, en despliegues de misión crítica, los modelos encuentran frecuentemente entradas Fuera de Distribución (OOD), es decir, puntos de datos que no pertenecen a ninguna clase de entrenamiento. El fallo en la detección de estas entradas puede conducir a errores catastróficos (por ejemplo, diagnosticar erróneamente a un paciente).

Los métodos actuales de detección de OOD sufren dos limitaciones principales:

Tasas de Falsos Positivos (FPR) no controladas: Los enfoques estándar diseñan funciones de puntuación y establecen umbrales basándose únicamente en datos ID para lograr una Tasa de Verdaderos Positivos (TPR) objetivo. Esto a menudo deja la FPR (clasificar erróneamente OOD como ID) sin controlar, lo que genera tasas peligrosamente altas de falsas alarmas en aplicaciones de seguridad crítica.
Falta de adaptabilidad: Las entradas OOD del mundo real son diversas y evolucionan con el tiempo. Las funciones de puntuación y los umbrales fijos, optimizados solo con los datos ID iniciales, suelen fallar al generalizarse a nuevas distribuciones OOD no vistas durante el despliegue, lo que resulta en una TPR suboptimal.

El objetivo es desarrollar un sistema que controle estrictamente la FPR mientras maximiza de forma adaptativa la TPR mediante el aprovechamiento de la retroalimentación humana sobre las entradas OOD del mundo real.

Metodología: Marco de Trabajo ASAT

Los autores proponen ASAT (Puntuación Adaptativa y Umbral Adaptativo), un marco de trabajo de bucle humano en el bucle (human-in-the-loop) que actualiza tanto la función de puntuación como el umbral de decisión dinámicamente durante el despliegue.

Flujo de Trabajo

Puntuación y Muestreo: En cada paso de tiempo $t$ $t$ , el sistema puntúa una entrada $x_t$ $x_{t}$ utilizando la función de puntuación actual $\hat{g}_{t-1}$ $\overset{g}{^}_{t - 1}$ y el umbral $\hat{\lambda}_{t-1}$ $\hat{λ}_{t - 1}$ .
- Si la puntuación es inferior al umbral, la entrada se marca como OOD.
- Si la puntuación es superior al umbral, la entrada se marca como ID.
- Muestreo de Importancia: Para estimar la FPR de forma imparcial, el sistema solicita una etiqueta humana para las entradas marcadas como OOD con una probabilidad de 1, y para las entradas marcadas como ID con una pequeña probabilidad $p$ .
Aprendizaje (Actualizaciones Periódicas): ASAT no se actualiza en cada paso para evitar la sobrecarga computacional. Las actualizaciones ocurren solo cuando se ha recolectado un número suficiente de nuevas muestras OOD ( $\Delta^{(ood)}_t$ $Δ_{t}^{(oo d)}$ ).
- Objetivo: El sistema resuelve un problema de optimización con restricciones para encontrar una nueva función de puntuación $g$ y un nuevo umbral $\lambda$ que maximicen la TPR sujeta a una restricción de FPR ( $\leq \alpha$ ).
- Relajación: Dado que las distribuciones reales son desconocidas, el sistema utiliza estimaciones empíricas de TPR y FPR derivadas de las muestras ID y OOD recolectadas. Las funciones indicadoras no diferenciables se relajan utilizando sustitutos sigmoides para permitir la optimización basada en gradientes.
- Selección de Modelo: Una nueva función de puntuación se despliega solo si demuestra una mejora estadísticamente significativa en la TPR respecto al modelo anterior, asegurando que las actualizaciones no degraden el rendimiento.
Estimación del Umbral (Garantía de Seguridad): Incluso después de optimizar la función de puntuación, la solución sin restricciones podría violar el límite de FPR. Para garantizar un control estricto de la FPR, ASAT emplea un paso de estimación de umbral (basado en el método FSAT). Calcula un umbral seguro $\hat{\lambda}_t$ construyendo un Límite de Confianza Superior (UCB) Uniformemente Válido sobre la estimación de la FPR. Esto asegura que, con alta probabilidad, la FPR real se mantenga por debajo de la tolerancia $\alpha$ especificada por el usuario.

Garantías Teóricas

El artículo proporciona garantías teóricas para el control de la FPR bajo condiciones estacionarias (donde la distribución OOD $D_0$ es fija).

Confianza Uniforme en el Tiempo: Los autores derivan una secuencia de confianza uniforme en el tiempo utilizando extensiones de la Ley del Logaritmo Iterado (LIL) basadas en martingalas. Esto tiene en cuenta las dependencias introducidas por el muestreo de importancia y las funciones de puntuación variables en el tiempo.
Resultado: Con una probabilidad de al menos $1-\delta$ , la FPR del sistema ASAT se mantiene por debajo del umbral $\alpha$ especificado en todo momento $t$ , incluso a medida que la función de puntuación evoluciona.

Contribuciones Clave

Diseño del Marco de Trabajo: Introducción de ASAT, un marco que adapta conjuntamente la función de puntuación y el umbral utilizando la retroalimentación humana, contrastando con las líneas base de Puntuación Fija Umbral Fijo (FSFT) y Puntuación Fija Umbral Adaptativo (FSAT).
Seguridad Teórica: Provisión de garantías teóricas formales que aseguran el control de la FPR en todo momento bajo condiciones estacionarias, a pesar de la naturaleza dinámica de la función de puntuación.
Validación Empírica: Evaluaciones extensas en benchmarks OpenOOD demostrando que ASAT supera a los métodos existentes al lograr mayores TPRs mientras mantiene un control estricto de la FPR.

Resultados Experimentales

Los autores evaluaron ASAT en benchmarks OpenOOD utilizando CIFAR-10 como el conjunto de datos ID y varios conjuntos de datos OOD (CIFAR-100, Places365, etc.).

Entornos Estacionarios

Control de FPR: A diferencia de FSFT, que exhibió FPRs altas (a menudo del 32% al 91%) al apuntar a una TPR alta, tanto FSAT como ASAT mantuvieron FPRs consistentemente por debajo del objetivo del 5%.
Rendimiento de TPR: Aunque ASAT inicialmente se quedó atrás de FSAT debido a los límites de confianza más amplios requeridos para la puntuación adaptativa, eventualmente superó a FSAT. ASAT logró TPRs significativamente más altas que FSAT (por ejemplo, una mejora relativa de más del 40% en algunos entornos) al aprender funciones de puntuación mejor alineadas con los datos OOD específicos encontrados.
Convergencia: La TPR empírica de ASAT convergió hacia la TPR óptima alcanzable por una función de puntuación entrenada tanto con datos ID como OOD.

Entornos No Estacionarios

Adaptación a Cambios: Cuando la distribución OOD cambió (por ejemplo, de "Far-OOD" a "Near-OOD"), ASAT demostró capacidad de adaptación.
Violaciones Transitorias: En escenarios donde el nuevo OOD era más difícil de distinguir de los ID, ASAT experimentó violaciones transitorias de la FPR. Sin embargo, se adaptó rápidamente su función de puntuación y umbral para reducir la FPR por debajo del límite, logrando consistentemente una TPR más alta que FSAT tanto antes como después del cambio.
Ventana Deslizante: El uso de una ventana deslizante para las muestras OOD permitió a ASAT adaptarse más rápido a los cambios de distribución, sacrificando algo de optimalidad por tiempos de respuesta más rápidos.

Significado y Reivindicaciones

El artículo afirma que ASAT aborda la brecha crítica en la detección de OOD donde la seguridad (control de FPR) y la adaptabilidad (maximizar la TPR para OOD en evolución) suelen ser mutuamente excluyentes en los métodos existentes.

Seguridad: Al desacoplar la optimización de la función de puntuación de la verificación de seguridad del umbral, ASAT asegura que el sistema nunca comprometa la restricción de FPR, un requisito crucial en dominios de seguridad crítica.
Adaptabilidad: Al aprovechar la retroalimentación humana para actualizar la propia función de puntuación, ASAT supera las limitaciones de los modelos estáticos, permitiendo que el sistema mejore sus capacidades de detección a medida que encuentra nuevos tipos de datos OOD.
Practicidad: El marco está diseñado para el despliegue en línea, equilibrando la eficiencia computacional (actualizaciones periódicas) con rigurosas garantías estadísticas.

Los autores posicionan a ASAT como un paso hacia sistemas de aprendizaje automático robustos y de auto-mejora que pueden operar de forma segura en entornos de mundo abierto donde las distribuciones de datos no son estáticas.