LOCUS: A Distribution-Free Loss-Quantile Score for Risk-Aware Predictions

Each language version is independently generated for its own context, not a direct translation.

Imagina que tienes un oráculo (un modelo de inteligencia artificial) que te da predicciones: te dice cuánto costará una casa, si un paciente tendrá una enfermedad o si un puente resistirá un terremoto.

Por lo general, este oráculo es muy bueno. Si lo miras en promedio, acierta la mayoría de las veces. Pero el problema es que, en la vida real, no nos importa el promedio; nos importa el desastre individual.

Si el oráculo se equivoca en una sola predicción de un puente, el puente se cae. Si se equivoca en un diagnóstico médico, el paciente sufre. El problema es que, a veces, el oráculo parece muy seguro cuando en realidad está a punto de cometer un error catastrófico.

Aquí es donde entra Locus.

¿Qué es Locus? (La analogía del "Semáforo de Riesgo")

Imagina que Locus es un semáforo inteligente que se coloca encima de tu oráculo. No cambia cómo el oráculo piensa, ni le enseña nada nuevo. Lo que hace es medir el daño potencial de cada predicción individual antes de que la uses.

En lugar de decirte: "Estoy un 90% seguro de que la casa vale 200.000 dólares", Locus te dice: "Oye, para esta casa específica, hay un riesgo real de que el error sea de más de 50.000 dólares. ¡No confíes en esto sin revisarlo!".

¿Cómo funciona? (La metáfora del "Cinturón de Seguridad")

Para entenderlo mejor, vamos a usar una analogía de conducir un coche:

El Oráculo (Tu coche): Es el modelo que ya tienes. Va rápido y suele llegar bien.
La Incertidumbre (El clima): A veces llueve, a veces hay niebla. Los métodos antiguos intentaban medir la "niebla" (la incertidumbre estadística) para decirte si debes ir despacio. Pero a veces, aunque no haya niebla, el coche tiene un fallo mecánico que no se ve.
Locus (El cinturón de seguridad y el sensor de impacto): Locus no mira el clima. Mira qué tan fuerte sería el golpe si el coche choca.
- Calcula: "Si el oráculo se equivoca aquí, ¿cuánto costará el accidente?"
- Si el "costo del accidente" (la pérdida) es pequeño, Locus pone la luz en VERDE (puedes usar la predicción).
- Si el "costo del accidente" es enorme (por ejemplo, un error de millones de dólares), Locus pone la luz en ROJO (¡Alto! No uses esta predicción, revisa a mano).

¿Por qué es tan especial?

La mayoría de los sistemas actuales te dicen: "Este dato es raro, así que no lo uses" (basándose en si el dato se parece a los que ya vio). Pero Locus es más listo:

No asume reglas mágicas: Locus funciona sin necesidad de saber si tu modelo es perfecto o no. Es como un cinturón de seguridad que funciona en cualquier coche, sin importar la marca.
Habla tu idioma: En lugar de darte números abstractos como "varianza" o "entropía" (que nadie entiende), Locus te habla en dinero o unidades reales. Te dice: "El error probable es de 50.000 dólares". Si tu límite de tolerancia es 30.000, Locus te avisa inmediatamente.
Garantía matemática: Locus tiene una promesa matemática (como un contrato legal). Si dices: "Quiero que menos del 5% de mis predicciones aceptadas sean desastrosas", Locus se asegura de que eso suceda, incluso si tienes pocos datos.

Un ejemplo de la vida real (El caso de las casas)

Imagina que vendes casas.

El modelo antiguo mira una casa en un barrio muy común y dice: "La variabilidad es baja, todo está bien". Pero, por casualidad, el modelo se equivocó y la casa se vendió por mucho menos de lo que pensaba. El modelo antiguo no vio el peligro porque el barrio era "normal".
Locus mira esa misma casa y dice: "Espera, aunque el barrio sea normal, la predicción para esta casa específica tiene un error potencial de 100.000 dólares. ¡Ponla en rojo!".

En resumen

Locus es una herramienta que transforma la "confianza" abstracta de una inteligencia artificial en un aviso de riesgo concreto.

Es como tener un guardia de seguridad que revisa cada decisión antes de que salga al mundo. No le dice al oráculo cómo pensar, pero le dice: "Esta predicción es segura, pasa. Esta otra es peligrosa, quédate aquí".

Gracias a Locus, podemos usar la inteligencia artificial con menos miedo a los errores costosos, sabiendo exactamente cuándo es seguro actuar y cuándo es mejor pedir ayuda humana.

Each language version is independently generated for its own context, not a direct translation.

1. El Problema: La Brecha entre Precisión Promedio y Riesgo Operacional

Los modelos modernos de aprendizaje automático suelen ser altamente precisos en promedio, pero en entornos de despliegue real (como diagnóstico clínico, puntuación crediticia o sistemas autónomos), las decisiones se toman una a una. El problema central es que los errores catastróficos, aunque raros, dominan el costo real de la automatización.

Limitaciones de las métricas actuales: Resumen de rendimiento globales (RMSE, AUC) no indican el riesgo de una predicción individual.
Fallo de los proxies de incertidumbre: Métodos comunes como la varianza predictiva, la entropía o los intervalos de predicción (basados en incertidumbre aleatoria o epistémica) a menudo no están alineados con la pérdida real ( $Z$ ) que sufre el sistema. Un modelo puede tener baja varianza en una región pero cometer un error grande debido a un ajuste deficiente (sesgo), lo cual los proxies de varianza no detectan.
Objetivo: Diseñar una regla de "alerta" (flagging) que garantice que, entre las predicciones que decidimos confiar, la frecuencia de errores inaceptables (pérdidas mayores a un umbral $\tau$ ) sea controlada y baja, sin asumir que el modelo probabilístico subyacente es correcto.

2. Metodología: El Marco Locus

Locus es un "wrapper" (envoltorio) libre de distribución que transforma cualquier estimador de la distribución condicional de la pérdida en un indicador de fiabilidad interpretable. No modela la incertidumbre sobre la etiqueta $Y$ , sino directamente sobre la pérdida realizada $Z = L(g(X), Y)$ .

El proceso consta de tres pasos principales:

Paso 1: Construcción de una Distribución Predictiva de la Pérdida

Se utiliza un conjunto de calibración $D_1$ para ajustar un modelo probabilístico que estima la distribución acumulativa (CDF) de la pérdida $Z$ dado $X$ , denotada como $\hat{F}(\cdot | x)$ .

Motores compatibles: Se pueden usar redes neuronales con dropout de Monte Carlo (MC Dropout), Árboles de Regresión Aditivos Bayesianos (BART), o flujos normalizadores.
Inflación Epistémica: Para regiones con pocos datos (extrapolación), el método introduce un factor de conservadurismo $\gamma(x)$ . Si la densidad de datos es baja, se toma un cuantil inferior de las distribuciones de los draws posteriores, inflando la cola derecha de la distribución de pérdida para ser más conservador.

Paso 2: Calibración Libre de Distribución (Split-Calibration)

Se utiliza un segundo conjunto de datos independiente $D_2$ para calibrar el modelo.

Se calculan los valores PIT (Transformada Integral de Probabilidad): $W_i = \hat{F}(Z_i | X_i)$ .
Se determina un umbral $t_{1-\alpha}$ como el cuantil $(1-\alpha)$ de los valores $W_i$ en $D_2$ .
Se define la puntuación de riesgo local $U_\alpha(x)$ como el inverso de la CDF calibrada:
$U_\alpha(x) = \hat{F}^{-1}(t_{1-\alpha} | x)$
Interpretación: $U_\alpha(x)$ es una estimación calibrada del cuantil $(1-\alpha)$ de la pérdida condicional. Si $U_\alpha(x) = K$ , hay aproximadamente una probabilidad $\alpha$ de que la pérdida real exceda $K$ .

Paso 3: Reglas de Alerta (Flagging)

Dado un umbral de tolerancia de pérdida $\tau$ (definido por el usuario, ej. error clínico inaceptable):

Regla por defecto: Aceptar la predicción si $U_\alpha(x) \leq \tau$ ; alertar (flag) si $U_\alpha(x) > \tau$ .
Garantía Teórica: Esta regla asegura que la probabilidad conjunta de aceptar una predicción que resulta en una pérdida mayor a $\tau$ está acotada por $\alpha$ :
$P(Z > \tau, X \in A_{\tau;\alpha}) \leq \alpha$
Donde $A_{\tau;\alpha}$ es el conjunto de puntos aceptados. Esto controla la frecuencia de eventos "confiados pero malos".

Variantes de Ajuste:

Locus-Tuned: Ajusta el umbral de aceptación $\lambda$ (en lugar de fijarlo en $\tau$ ) en un conjunto de validación para alcanzar una tasa de superación condicional específica $\eta$ dentro del conjunto aceptado.
Locus- $\alpha$ : Ajusta el nivel de calibración $\alpha$ manteniendo $\lambda = \tau$ .

3. Contribuciones Clave

Puntuación de Cuantil de Pérdida Calibrada: Proporciona una puntuación $U_\alpha(x)$ con validez marginal en muestras finitas y libre de distribución, independientemente de si el modelo base de pérdida es correcto.
Control Explícito de Pérdidas Grandes: A diferencia de los métodos de conformal prediction que controlan el riesgo promedio, Locus controla directamente la frecuencia de eventos de pérdida catastrófica en el conjunto de predicciones aceptadas.
Interpretabilidad Directa: La puntuación está en la misma unidad que la pérdida (ej. dólares, grados de error), lo que facilita la toma de decisiones frente a proxies abstractos como la varianza.
Robustez Epistémica: La inflación automática en regiones de baja densidad de datos mejora la seguridad sin romper las garantías de calibración.
Modularidad: Funciona con cualquier motor que pueda producir una distribución predictiva de la pérdida.

4. Resultados Experimentales

El método se evaluó en 13 conjuntos de datos de regresión (incluyendo precios de viviendas, demanda de bicicletas, datos médicos MEPS, etc.) comparado con baselines como Isolation Forest (detección de OOD) y estimadores de varianza de la etiqueta (VARNet).

Ranking de Riesgo Superior: En todos los conjuntos de datos, Locus-Tuned logró tasas de superación condicional ( $P(Z > \tau | \text{aceptado})$ ) significativamente más bajas que los baselines, manteniendo una tasa de aceptación similar (~70%).
Detección de Fallos Ocultos: Se demostró que la varianza de la etiqueta ( $\sigma(x)$ ) falla al detectar errores grandes cuando el modelo tiene un sesgo local (ajuste deficiente) pero baja varianza aleatoria. Locus detecta estos casos correctamente porque modela la pérdida directa.
Control de Garantías: Los experimentos confirmaron que la cobertura marginal $P(Z \leq U_\alpha(X))$ cumple consistentemente con el nivel $1-\alpha$ teórico, y la tasa de errores en el conjunto aceptado se mantiene cerca del objetivo.

5. Significado e Impacto

El trabajo de Locus es significativo porque cierra la brecha entre la teoría de la incertidumbre y la práctica operativa de gestión de riesgos:

Cambio de Paradigma: Pasa de preguntar "¿Qué tan incierto es el modelo?" a "¿Qué tan grande será el error si confío en esta predicción?".
Seguridad Operacional: Ofrece garantías matemáticas rigurosas (libres de distribución) para sistemas de seguridad crítica, permitiendo a los operadores definir umbrales de riesgo aceptable y saber exactamente cuántos errores catastróficos ocurrirán en el conjunto de decisiones que aprueban.
Aplicabilidad General: Aunque se enfoca en regresión, el marco es aplicable a cualquier problema donde exista una métrica de pérdida escalar, incluyendo clasificación y problemas sensibles al costo.

En resumen, Locus proporciona una herramienta práctica y teóricamente sólida para transformar modelos de caja negra en sistemas de predicción conscientes del riesgo, capaces de filtrar proactivamente las predicciones peligrosas antes de su despliegue.