📊 statistics

A General Framework for Stability Assessment of Non-Deterministic Prediction Models

Este artículo propone un marco general para cuantificar la estabilidad de los modelos de predicción no deterministas en resultados métricos, categóricos y ordinales mediante la introducción de medidas de estabilidad basadas en datos y en modelos que superan las limitaciones de los métodos existentes, tales como su incapacidad para manejar objetos de prueba individuales y su sensibilidad a la composición de los datos.

Autores originales: Thomas Martin Lange, Armin Otto Schmitt, Felix Heinrich

Publicado 2026-07-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Thomas Martin Lange, Armin Otto Schmitt, Felix Heinrich

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando predecir el clima. Le pides una previsión a un meteorólogo muy inteligente y este dice: "Mañana lloverá". Pero luego, le pides que ejecute exactamente el mismo cálculo de nuevo, usando exactamente los mismos datos, y esta vez dice: "Estará soleado". Si le preguntas una tercera vez, podría decir: "Tal vez una ligera llovizna". Esto no es porque el meteorólogo esté confundido; es porque su cerebro funciona un poco como una máquina tragamonedas. Cada vez que tira de la palanca (ejecuta el modelo), ocurre un pequeño giro aleatorio que cambia el resultado solo un poco. En el mundo de la informática, esto se llama un modelo "no determinista". Es una forma elegante de decir que la computadora utiliza un poco de aleatoriedad para tomar sus decisiones, lo cual es algo bueno para hacer conjeturas inteligentes, pero crea un dolor de cabeza: si la respuesta cambia cada vez que preguntas, ¿cómo puedes confiar en ella?

Este es el rompecabezas que los investigadores Thomas Martin Lange, Armin Otto Schmitt y Felix Heinrich están abordando. Están trabajando en el campo del modelado predictivo, donde las computadoras aprenden de datos pasados para adivinar resultados futuros, como cuánta maíz cultivará una granja, qué tan enfermo podría enfermarse un paciente o qué hará el mercado de valores. El gran problema que están resolviendo es la "estabilidad". Si construyes una máquina de predicción que te da una respuesta diferente cada vez que la enciendes, ¿es confiable? Las formas antiguas de comprobar esta fiabilidad eran como intentar medir la estabilidad de un único lanzamiento de moneda observando una bolsa entera de monedas. Funcionaban aceptablemente para algunas situaciones, pero fallaban cuando solo tenías una cosa para predecir (como un único evento futuro) o cuando las respuestas eran complicadas, como clasificar cosas desde "muy temprano" hasta "muy tarde".

Los autores de este artículo han construido una regla más flexible para medir qué tan estables son realmente estas máquinas de predicción tambaleantes. No solo encontraron una mejor regla; inventaron dos nuevas formas de sostenerla. La primera forma, que llaman "basada en datos", pregunta: "¿Cuánto se tambalea la respuesta de este modelo en comparación con la variedad salvaje de respuestas que vimos en los datos de entrenamiento?". Es como comprobar si un jugador de dardos está lanzando erráticamente en comparación con todo el tablero de dardos. La segunda forma, la "basada en el modelo", hace una pregunta más profunda: "¿Cuánto se tambalea la propia lógica interna del modelo?". Esto es como comprobar si el jugador de dardos está lanzando erráticamente en comparación con su propio promedio personal, independientemente de qué tan grande sea el tablero.

Los investigadores probaron estas nuevas reglas utilizando un patio de recreo digital donde simularon miles de escenarios. Crearon datos falsos para cosas como rendimientos de cultivos y puntuaciones de enfermedades, luego ejecutaron sus modelos de predicción una y otra vez, cambiando el número de "árboles de decisión" (las células cerebrales del modelo) desde unos pocos cientos hasta diez mil. Encontraron que sus nuevas reglas funcionaban de maravilla. A diferencia de las reglas antiguas, que se confundían y daban resultados extraños cuando los datos de prueba estaban desequilibrados (como tener muchos más días "soleados" que "lluviosos") o cuando solo había un objeto para predecir, las nuevas reglas se mantenían estables. Mostraron una curva clara y suave: a medida que añadías más "células cerebrales" al modelo, las predicciones se volvían más estables, tal como añadir más personas a un coro hace que el canto sea más consistente.

Sin embargo, el artículo también nos advierte que no todas las reglas son iguales. En sus simulaciones, descubrieron que los métodos antiguos a veces mentían. Por ejemplo, si un modelo predice lo mismo para todos (un problema común cuando los datos están desequilibrados), la regla antigua diría que el modelo es perfectamente estable, incluso si solo estaba siendo perezoso. Las nuevas reglas detectaron esto, mostrando que el modelo era estable porque era consistente, pero lo hicieron de una manera que tiene sentido matemático. También descubrieron que cuando tienes un grupo de prueba diminuto (como solo dos o tres objetos), la regla antigua se volvía loca, saltando de arriba abajo de forma errática. Las nuevas reglas, especialmente la "basada en el modelo", se mantuvieron tranquilas y fiables, incluso con grupos muy pequeños.

Los autores no se quedaron solo en la teoría; construyeron una herramienta llamada el paquete "APS" para el lenguaje de programación R, que cualquiera puede usar para comprobar sus propios modelos. Sugieren que, aunque normalmente solo nos importa si un modelo es preciso (¿obtuvo la respuesta correcta?), también deberíamos preocuparnos por si es estable (¿da la misma respuesta correcta cada vez?). Su trabajo sugiere que, mediante el uso de estas nuevas medidas, podemos encontrar el "punto ideal" para determinar qué tan complejo debe ser un modelo: añadir suficiente complejidad para que sea inteligente, pero no tanto como para que se convierta en un desastre errático. Es un recordatorio de que, en el mundo de la IA, la consistencia es tan importante como la corrección, y ahora, finalmente tenemos una mejor manera de medirla.

Resumen Técnico: Un Marco General para la Evaluación de la Estabilidad de Modelos de Predicción No Deterministas

Planteamiento del Problema
Los modelos de predicción modernos, incluyendo los Bosques Aleatorios (Random Forests), las Redes Neuronales Artificiales y los modelos Bayesianos, son inherentemente no deterministas. Los elementos estocásticos en sus procedimientos de ajuste (por ejemplo, el muestreo de bootstrap, la inicialización aleatoria de pesos o el muestreño de Monte Carlo por cadenas de Markov) significan que el entrenamiento repetido sobre datos idénticos puede generar modelos y predicciones diferentes. Esta variabilidad puede conducir a decisiones inconsistentes, y sin embargo, los métodos existentes para cuantificar esta "estabilidad de la predicción" son insuficientes.

Los enfoques actuales dependen del Coeficiente de Correlación Intraclase (ICC) para predicciones métricas y de la $\kappa$ de Fleiss para predicciones categóricas. Estos métodos sufren tres limitaciones críticas:

Inaplicabilidad a Objetos Únicos: Tanto el ICC como la $\kappa$ de Fleiss requieren múltiples objetos en un conjunto de prueba para estimar los componentes de la varianza o el acuerdo esperado por azar. No pueden cuantificar la estabilidad de la predicción para tareas de pronóstico de un solo objeto (por ejemplo, predecir un único PIB futuro o una tasa epidémica).
Tipos de Predicción Restringidos: No se extienden naturalmente a las predicciones ordinales, que poseen un orden natural pero no son puramente nominales ni métricas.
Sensibilidad a la Estructura de los Datos: Estas medidas están fuertemente influenciadas por la composición de los datos de prueba. La $\kappa$ de Fleiss es susceptible al "problema de la prevalencia" (la paradoja de la $\kappa$ ), donde las distribuciones de clase desequilibradas reducen artificialmente las puntuaciones de estabilidad incluso cuando las predicciones son consistentes. Del mismo modo, las estimaciones del ICC son poco fiables con conjuntos de datos pequeños o homogéneos.

Metodología
Los autores proponen un marco general para cuantificar la estabilidad de la prediccción basado en la $\alpha$ de Krippendorff, adaptada para distinguir entre la inestabilidad observada y la inestabilidad esperada. La definición central de estabilidad de la predicción ( $S$ ) es:
$S = 1 - \frac{D_o}{D_e}$
donde $D_o$ es el desacuerdo observado (inestabilidad) a través de ajustes de modelo repetidos, y $D_e$ es el desacuerdo esperado bajo un modelo de referencia de inestabilidad.

El marco introduce dos definiciones distintas de inestabilidad esperada, lo que conduce a dos medidas de estabilidad complementarias:

Estabilidad de Predicción Basada en los Datos ( $\phi$ ):
- Concepto: Asume que la inestabilidad máxima está acotada por la distribución de la variable de respuesta en los datos de entrenamiento.
- Cálculo: $D_e$ se deriva de la distribución empírica de las respuestas de entrenamiento. Para datos categóricos, utiliza las proporciones de las categorías; para datos ordinales, utiliza una función de distancia ordinal ponderada por las frecuencias de las categorías; para datos métricos, utiliza la varianza de las respuestas de entrenamiento.
- Aplicabilidad: Adecuado cuando las predicciones del modelo están restringidas por el rango observado de los datos de entrenamiento (por ejemplo, regresión de Bosque Aleatorio estándar).
Estabilidad de Predicción Basada en el Modelo ( $\psi$ ):
- Concepto: Asume que la inestabilidad máxima está determinada por la distribución de las predicciones que el propio modelo puede generar.
- Cálculo: $D_e$ se deriva de una aproximación empírica de la distribución predictiva del modelo. Esto se logra mediante el uso de predicciones fuera de la muestra (por ejemplo, predicciones Out-of-Bag para Bosques Aleatorios o validación cruzada de K-pliegues) para evitar el sesgo optimista.
- Aplicabilidad: Necesario cuando el comportamiento predictivo del modelo restringe el rango de las predicciones en comparación con los datos brutos de entrenamiento (por ejemplo, el promedio de los nodos terminales en Bosques Aleatorios).

Contribuciones Clave

Generalización a Objetos Únicos: A diferencia del ICC y la $\kappa$ de Fleiss, las medidas propuestas ( $\phi$ y $\psi$ ) se definen a nivel de objeto, permitiendo la evaluación de la estabilidad para un único objeto de prueba.
Extensión a Datos Ordinales: El marco incorpora funciones de distancia ordinal, permitiendo la evaluación de la estabilidad para respuestas categóricas ordenadas.
Robustez ante la Estructura de los Datos: Al desacoplar la inestabilidad esperada de la composición específica de los datos de prueba (utilizando los datos de entrenamiento o el comportamiento del modelo como referencia), las medidas son menos sensibles al desequilibrio de clases y a los tamaños de muestra pequeños.
Implementación: El marco está implementado en el paquete de R APS (versión 1.0.1), disponible en CRAN.

Resultados
Los estudios de simulación utilizando Bosques Aleatorios (con variaciones en el número de árboles) y tres tipos de respuesta (métrica, entera/ordinal y categórica) arrojaron lo siguiente:

Relación No Lineal: Tanto $\phi$ como $\psi$ exhiben una relación no lineal con el número de aprendices (árboles), la cual puede modelarse con precisión mediante un modelo logístico de dos parámetros (2PL). Esto permite la optimización del número de árboles para alcanzar un umbral de estabilidad deseado.
Problema de la Prevalencia: En escenarios con distribuciones de clase altamente desequilibradas:
- La $\kappa$ de Fleiss falló en reflejar la estabilidad, permaneciendo a menudo cerca de cero o volviéndose indefinida cuando todas las predicciones convergían a una sola clase.
- $\phi$ y $\psi$ identificaron correctamente una alta estabilidad (acercándose a 1) cuando las predicciones eran consistentes, incluso bajo una prevalencia extrema.
Tamaños de Muestra Pequeños: Al ser probados en submuestras pequeñas de datos de prueba (2–30 objetos):
- El ICC mostró una alta variabilidad y un sesgo hacia abajo con menos de 15 objetos.
- $\psi$ (basada en el modelo) y $\phi$ (basada en los datos) mantuvieron valores medios estables y redujeron significativamente la varianza (por ejemplo, $\psi$ mostró una reducción de siete veces en la desviación estándar en comparación con el ICC con 2 objetos).
Diferencias de Optimización: Aunque todas las medidas siguieron una tendencia 2PL, sugirieron diferentes números óptimos de árboles. Por ejemplo, en el escenario de prevalencia, $\phi$ sugirió ~3,000 árboles, mientras que la $\kappa$ de Fleiss sugirió ~68,000 (o resultó indefinida), resaltando que la elección de la medida influye en los resultados de la optimización.

Significancia y Reivindicaciones
El artículo afirma proporcionar un "enfoque basado en principios" para cuantificar la reproducibilidad de los modelos de predicción no deterministas, un aspecto que a menudo se pasa por alto en favor de la precisión de la predicción. Los autores enfatizan que:

La evaluación de la estabilidad es crítica para la fiabilidad en la toma de decisiones, particularmente en escenarios de pronóstico de un solo objeto donde las métricas tradicionales fallan.
Las medidas propuestas mitigan el "problema de la prevalencia" y la sensibilidad al tamaño del conjunto de prueba que afectan a los coeficientes de acuerdo existentes.
La distinción entre la estabilidad basada en los datos y la basada en el modelo permite a los investigadores elegir una distribución de referencia que se alinee con su contexto de modelado específico (variabilidad inherente de los datos frente a variabilidad inducida por el modelo).
El marco es agnóstico al modelo y aplicable a cualquier modelo no determinista, aunque las simulaciones se centraron en Bosques Aleatorios.

Los autores concluyen que la evaluación de los modelos no deterministas no debe basarse únicamente en la precisión, sino que debe incluir una evaluación formal de la estabilidad de la predicción para asegurar la consistencia en la toma de decisiones.

Resumen Técnico: Un Marco General para la Evaluación de la Estabilidad de Modelos de Predicción No Deterministas

Más como este