💻 ciencias de la computación

Selective Prediction Under Distribution Shift: The Failure of Threshold Transfer

Este estudio demuestra que la predicción selectiva basada en umbrales estándar falla bajo el cambio de distribución debido a que el punto de corte óptimo determinado en datos limpios no se transfiere a datos corruptos o del mundo real, lo que requiere el uso de nuevos datos etiquetados para establecer reglas de parada estadísticamente válidas.

Autores originales: Shayam Ahmad

Publicado 2026-10-29

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shayam Ahmad

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un programa informático entrenado para reconocer objetos en fotografías. En un mundo perfecto, este programa siempre acertaría. Pero el mundo real es desordenado. Una cámara puede tener una mancha de lluvia, una foto puede haber sido tomada con poca luz o un objeto puede ser visto desde un ángulo extraño. Cuando las imágenes que ve la computadora empiezan a verse diferentes de las que estudió durante el entrenamiento, el programa suele confundirse. Puede que siga dando una respuesta, pero es probable que esa respuesta sea errónea. Para manejar esto, los investigadores han desarrollado una válvula de seguridad: permiten que la computadora diga: "No lo sé". Si el programa no tiene suficiente confianza, se queda en silencio en lugar de adivinar. Esto se llama predicción selectiva. El objetivo es simple: establecer una regla que le diga a la computadora cuándo hablar y cuándo quedarse callada, asegurando que, cada vez que hable, acierte la mayor parte del tiempo.

Durante años, la forma estándar de establecer esta regla ha sido probar la computadora con imágenes limpias y perfectas. Los investigadores eligen un nivel de confianza que funcione para esas imágenes limpias, como una configuración que garantice que la computadora se equivoque solo un 5% de las veces cuando hable. Luego, toman esa misma configuración y la lanzan al mundo real, asumiendo que se mantendrá incluso cuando las imágenes estén borrosas o distorsionadas. Un nuevo estudio de Shayam Ahmad, de la Universidad Global C.V. Raman, desafía esta suposición. La investigación plantea una pregunta directa: ¿funciona una regla que funciona con datos limpios cuando los datos cambian? La respuesta es un no rotundo. El estudio encuentra que la regla se rompe por completo bajo condiciones del mundo real, lo que a menudo conduce a tasas de error mucho más altas de lo prometido, mientras que la computadora continúa hablando con confianza sobre imágenes que debería haber rechazado.

Los investigadores probaron esta idea utilizando un conjunto estándar de imágenes y dos tipos diferentes de modelos de visión por computadora. Primero entrenaron los modelos con imágenes limpias y luego sometieron los modelos a varios tipos de daños, como añadir ruido, desenfocar la imagen o cambiar los colores. También probaron los modelos en un nuevo conjunto de fotos del mundo real que se veían ligeramente diferentes de los datos de entrenamiento, imitando el tipo de deriva lenta que ocurre cuando se utiliza un sistema en el campo. En cada caso, aplicaron la misma regla que se había elegido en los datos limpios. Los resultados fueron contundentes. Cuando los investigadores establecieron un objetivo de 5% de error, la tasa de error real en las imágenes dañadas saltó entre el 42% y el 45% en los peores casos. En otras palabras, la computadora se equivocaba casi la mitad de las veces, a pesar de que la regla prometía que se equivocaría solo el 5% de las veces. El problema empeoró cuando intentaron ser más estrictos. Si apuntaban a una tasa de error del 1%, el error real era casi 20 veces superior a la promesa.

Uno podría preguntarse si la computadora simplemente se volvió mala clasificando su propia confianza. Quizás estaba ordenando las imágenes incorrectamente, poniendo las fáciles al principio y las difíciles al final, pero fallando al trazar la línea en el lugar correcto. Para probar esto, los investigadores separaron el problema en dos partes. La primera parte es la clasificación: qué tan bien ordena la computadora las imágenes de "más segura" a "menos segura". La segunda parte es la regla de parada: dónde trazar la línea para decidir cuándo dejar de responder. Encontraron que la clasificación era en realidad bastante buena. Cuatro formas diferentes de medir la confianza produjeron casi el mismo orden. La computadora sabía qué imágenes eran más difíciles que otras. El fallo residía enteramente en la segunda parte. La línea trazada en los datos limpios estaba simplemente en el lugar equivino para los datos desordenados. Dejaba pasar demasiadas imágenes difíciles, aceptándolas como si fueran fáciles, lo que causaba que la tasa de error explotara.

El estudio también analizó si los trucos existentes podrían solucionar esto sin necesidad de nueva información. Algunos métodos intentan adivinar la tasa de error de los nuevos datos sin ver las respuestas correctas, con la esperanza de ajustar la regla automáticamente. Los investigadores probaron estos dos métodos publicados. Ninguno funcionó. Redujeron el error ligeramente, pero no solucionaron el problema, y ambos funcionaron peor que una regla muy simple que simplemente adivinaba basándose en la confianza promedio. La única forma de solucionar realmente el problema era utilizar una pequeña cantidad de nuevos datos etiquetados del entorno desordenado. Al mostrarle a la computadora unos pocos cientos o unos pocos miles de las nuevas imágenes con sus respuestas correctas, los investigadores pudieron encontrar una nueva regla de parada que realmente cumpliera con el objetivo de seguridad. Sin embargo, este arreglo conlleva un precio pesado. Bajo cambios leves en los datos, necesitaban unos 8udos ejemplos etiquetados para obtener una regla confiable. Bajo una corrupción fuerte, necesitaban más de 4,000. Esto crea una situación difícil: cuanto más cambian los datos, más ejemplos etiquetados se necesitan para mantenerse seguros, y sin embargo, los ejemplos etiquetados son más difíciles de obtener cuando los datos están cambiando más.

Las implicaciones de este hallazgo son prácticas e inmediatas. Sugiere que tomar simplemente una regla diseñada para condiciones perfectas y aplicarla al mundo real es peligroso. La promesa de seguridad es una ilusión si los datos han cambiado. Los investigadores concluyen que si un operador de sistema no puede permitirse etiquetar nuevos datos del campo, no debería hacer ninguna promesa específica sobre las tasas de error. Establecer un objetivo que no se puede cumplir es peor que no declarar ninguno, porque da una falsa sensación de seguridad. El estudio no ofrece una solución mágica que resuelva el problema sin costo, pero sí despeja un gran error conceptual. Muestra que el fallo no está en la capacidad de la computadora para juzgar la dificultad, sino en la regla rígida utilizada para decidir cuándo hablar. El camino a seguir requiere reconocer que las reglas del juego cambian cuando el entorno cambia, y que mantener una promesa de seguridad en un mundo cambiante requiere pagar un precio en nueva información.

Resumen Técnico: Predicción Selectiva bajo Desplazamiento de Distribución: El Fracaso de la Transferencia de Umbrales

Formulación del Problema
La predicción selectiva permite que un modelo se abstenga de responder cuando su confianza es baja, con el objetivo de mantener una tasa de error objetivo ( $\alpha$ ) entre las respuestas que sí proporciona. El enfoque estándar consiste en entrenar un clasificador $f$ y una puntuación de confianza $g$ , para luego seleccionar un umbral $t$ en un conjunto de validación del distribución de entrenamiento $P$ de tal manera que el riesgo selectivo $R_{val}(t) \le \alpha$ . Posteriormente, el sistema se despliega en datos provenientes de una distribución desplazada $Q$ .

El problema central investigado es el fracaso de la transferencia de umbrales: la suposición de que un umbral $t$ optimizado para la distribución $P$ mantendrá la tasa de error objetivo $\alpha$ al aplicarse a la distribución $Q$ . Si bien está bien establecido que la calibración de la confianza del modelo se degrada bajo el desplazamiento de distribución, este estudio aísla si el fallo reside en el ordenamiento de las entradas (la calidad de la puntuación de confianza) o en la regla de parada (la selección del umbral).

Metodología
El estudio emplea un marco de medición riguroso utilizando CIFAR-10, CIFAR-10-C (con 15 corrupciones estándar en 5 niveles de severidad) y CIFAR-10.1 (un benchmark de desplazamiento del mundo real). Se entrenan dos arquitecturas de modelos (ResNet18 y WideResNet-16-4) hasta alcanzar una pérdida cercana a cero y se calibran mediante escalado de temperatura.

La metodología descompone el sistema en dos componentes distintos:

Ordenamiento (Sorting): Medido mediante el Área Bajo la Curva de Riesgo-Cobertura (AURC). Se comparan cuatro puntuaciones de confianza: Probabilidad Máxima de Softmax (MSP), Margen, Entropía Negativa y Desacuerdo de Ensamble.
Parada (Selección de Umbral): Se evalúan cinco reglas para seleccionar el umbral $t$ $t$ en los datos desplazados $Q$ $Q$ :
- Transferencia Limpia (Clean Transfer): Utilizando el umbral derivado de los datos de validación limpios (el baseline).
- Oráculo (Oracle): El umbral óptimo derivado utilizando las etiquetas reales de $Q$ (el límite superior teórico).
- Estimadores Sin Etiquetas (Label-Free Estimators): Confianza Promediada con Umbral (ATC-MC, ATC-NE) y Confianza Media (estimando el error como $1 - \text{confianza promedio}$ ).
- Control de Riesgo Garantizado: Un método que utiliza una pequeña muestra etiquetada de $Q$ y límites binomiales exactos (Algoritmo 1) para seleccionar un umbral con una garantía estadística.

Las métricas clave incluyen la Relación de Riesgo (error realizado / objetivo), el Error de Cobertura (diferencia entre la cobertura real y la cobertura del oráculo) y la Eficiencia (cobertura lograda por el método / cobertura del oráculo).

Contribuciones Clave

Cuantificación del Fracaso: El estudio demuestra que el "factor roto" (Relación de Riesgo) aumenta drásticamente a medida que la tasa de error objetivo se vuelve más estricta. Para un objetivo del 5%, el error realizado es 8.4 veces la promesa; para un 1%, es 19.1 veces la promesa.
Aislamiento del Modo de Fallo: Mediante el uso del umbral Oráculo, el artículo demuestra que el objetivo es alcanzable bajo el desplazamiento. El fallo no es que el objetivo sea imposible, sino que la regla de parada (selección del umbral) está rota. El componente de ordenamiento (puntuaciones de confianza) permanece robusto, ya que las cuatro puntuaciones diferentes producen valores de AURC casi idénticos.
Resultado Negativo sobre Métodos Sin Etiquetas: Dos métodos publicados para estimar la precisión sin etiquetas (ATC y Diferencia de Confianzas) fallan en solucionar el problema de la transferencia de umbrales. Ambos rinden por debajo de una regla simple de "Confianza Media", la cual estima el error como $1 - \text{confianza promedio}$ .
Costo de las Garantías: Un método con una garantía estadística formal (Algoritmo 1) logra restaurar la tasa de error objetivo. Sin embargo, el estudio cuantifica el costo de etiquetas: lograr un 80% de eficiencia requiere aproximadamente 800 ejemplos etiquetados bajo un desplazamiento leve del mundo real (CIFAR-10.1) y más de 4,000 bajo una corrupción fuerte (CIFAR-10-C, severidad 5).

Resultos

Fallo de Transferencia de Umbral: Un umbral elegido para un error del 5% en datos limpios resulta en un error del 42–45% en los niveles de corrupción más altos. En CIFAR-10.1 (un desplazamiento leve), el error se duplica a ~11% mientras que la cobertura se mantiene al 100% (el modelo se niega a abstenerse).
Robustez del Ordenamiento: Las cuatro puntuaciones de confianza (MSP, Margen, Entropía, Desacuerdo) producen órdenes de clasificación casi idénticos. La brecha en el rendimiento es impulsada enteramente por dónde se coloca el umbral, no por la calidad de la puntuación.
Error de Cobertura: La regla de "Transferencia Limpia" acepta entre un 67 y 77% más de datos de los que debería (error de cobertura positivo), lo que conduce al alto error realizado.
Sin Etiquetas vs. Reglas Simples: La regla de "Confianza Media" (un heurístico aritmético simple) supera consistentemente a los métodos ATC más complejos en este escenario específico de selección de un umbral para un subconjunto.
Requerimientos de Etiquetas: El costo de obtener una garantía estadística escala de forma no lineal con la severidad del desplazamiento. A medida que la cobertura alcanzable disminuye (debido al desplazamiento), el número de etiquetas requeridas para probar una baja tasa de error aumenta significamente.

Significancia y Reivindicaciones
El artículo afirma proporcionar una "medición cuidadosa" en lugar de un nuevo algoritmo. Su principal significancia radica en corregir un concepto erróneo en el campo:

La Regla de Parada es el Cuello de Botella: La investigación centrada únicamente en mejorar las puntuaciones de confianza (ordenamiento) no resolverá el problema de la transferencia de umbrales, ya que el ordenamiento ya es casi óptimo. El fallo reside en la selección del umbral.
El Peligro de los Objetivos No Verificados: Desplegar un sistema con un objetivo de error declarado basado en la validación limpia es peligroso bajo el desplazamiento de distribución. El objetivo está efectivamente roto, pero el sistema continúa respondiendo, lo que puede confundir a los componentes posteriores que dependen del riesgo declarado.
Compromisos Prácticos: El estudio concluye que, para mantener una garantía de error estricta bajo el desplazamiento, uno debe pagar por datos etiquetados de la nueva distribución (con costos que aumentan bruscamente bajo un desplazamiento fuerte) o abstenerse de declarar un objetivo de error específico. El artículo señala explícitamente que la vía "sin etiquetas", a través de los métodos de estimación existentes, no ofrece actualmente una solución.

El autor mantiene la modestia, señalando que sus hallazgos son específicos para la clasificación de imágenes de tamaño CIFAR y que los costos de etiquetas reportados son límites superiores basados en los límites estadísticos específicos utilizados. No afirma que ningún método sin etiquetas pueda funcionar jamás, solo que los dos métodos probados fallaron.

Más como este