📊 statistics

Post-Selection Distributional Model Evaluation

Este trabajo introduce la evaluación distribucional de modelos post-selección (PS-DME), un marco general basado en valores-e que permite estimar de manera estadísticamente válida las distribuciones de rendimiento de modelos tras una selección dependiente de los datos, controlando la tasa de cobertura falsa y superando en eficiencia a los métodos de división de muestras.

Autores originales: Amirmohammad Farzaneh, Osvaldo Simeone

Publicado 2026-03-25

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Amirmohammad Farzaneh, Osvaldo Simeone

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el jefe de una gran cocina y tienes 2000 recetas diferentes (modelos) para hacer un plato. Algunas son rápidas pero saben un poco a cartón, otras son deliciosas pero tardan horas en hornearse.

Tu objetivo no es solo encontrar "la mejor receta", sino entender el equilibrio perfecto: ¿Cuánto tiempo tardará realmente? ¿Qué probabilidad hay de que se queme? ¿Qué pasa si quiero que sea rápido pero no tan delicioso?

El problema es que, para decidir qué recetas probar, usas los mismos ingredientes y la misma cocina que usarás para cocinar el plato final. Si pruebas las recetas, eliges las que te gustaron más en ese momento y luego intentas predecir cómo saldrán en el futuro usando esos mismos datos, te estás haciendo trampas a ti mismo. Es como si un estudiante se estudiara el examen, eligiera las preguntas que le parecieron fáciles y luego dijera: "¡Miren, saqué un 100% de acierto!". Eso es un sesgo de selección: te estás ilusionando con resultados que no son reales.

¿Qué propone este paper? (PS-DME)

Los autores, Amirmohammad Farzaneh y Osvaldo Simeone, presentan una nueva herramienta llamada PS-DME (Evaluación Distribucional de Modelos Post-Selección).

Aquí está la analogía sencilla:

1. El problema: La trampa de "ver el futuro"

Imagina que tienes un grupo de 2000 corredores (modelos). Les haces correr una carrera de prueba (los datos).

Método antiguo (Dividir los datos): Para ser justos, separas a los corredores en dos grupos. Un grupo corre la prueba para elegir a los mejores, y el otro grupo corre la prueba final para ver qué tan rápidos son realmente.
- El problema: Si tienes pocos corredores o pocos datos, dividirlos hace que la prueba final sea muy pequeña y poco precisa. Es como intentar adivinar el clima de un año entero basándote solo en 3 días de lluvia.
Método ingenuo (Usar todo): Usas a los 2000 corredores para elegir a los mejores y luego usas a los mismos 2000 para decir qué tan rápidos son.
- El problema: Como ya sabes quiénes ganaron, los resultados están "contaminados". Crees que son más rápidos de lo que realmente son.

2. La solución: El "Mago de las E-Valores"

El paper propone usar una técnica matemática avanzada (basada en e-valores) que actúa como un mago de la estadística.

Este mago te permite hacer algo increíble:

Usar a todos los corredores (todos los datos) para elegir a los mejores.
Usar a todos los corredores de nuevo para predecir su rendimiento futuro.
Pero, el mago añade un "escudo de seguridad" matemático. Este escudo corrige automáticamente la ilusión que crea al elegir a los ganadores.

En lugar de decirte: "Esta receta es perfecta", el sistema te dice:

"Estoy 95% seguro de que, si cocinas esta receta 100 veces, el tiempo estará entre 10 y 15 minutos, y la probabilidad de que se queme no superará el 5%".

Y lo mejor: No importa si elegiste esa receta porque fue la más rápida en la prueba inicial. El escudo matemático asegura que tu predicción sea honesta, incluso si la elegiste mirando los mismos datos.

¿Por qué es mejor que la vieja forma?

Eficiencia: La vieja forma (dividir los datos) es como intentar llenar un balde con una manguera que tiene un grifo cerrado a la mitad. La nueva forma (PS-DME) abre el grifo al máximo, usando toda la información disponible, pero con un filtro inteligente que evita que te mojes de la cabeza (el error).
Exploración de opciones: No te obliga a elegir una meta fija (ej. "tengo que tardar menos de 10 minutos"). Te permite ver todo el mapa de posibilidades. Puedes decir: "¿Qué pasa si acepto un poco más de riesgo para ganar velocidad?" o "¿Qué pasa si quiero ser ultra-seguro aunque sea lento?". El sistema te muestra el mapa completo de riesgos y beneficios.

En resumen

Imagina que estás comprando un coche.

El método viejo: Te dice: "Este coche es el mejor, pero solo te garantizo que no se averiará si lo conduces en un día soleado".
El método nuevo (PS-DME): Te dice: "He probado este coche en lluvia, nieve y sol. Aunque lo elegí porque fue el más rápido en la prueba, te garantizo matemáticamente que, sin importar el clima, tienes un 95% de probabilidad de llegar a tiempo, y aquí tienes el gráfico exacto de cuánto tardarás en cada condición".

Esta herramienta permite a los ingenios y científicos elegir modelos (como Inteligencias Artificiales o configuraciones de redes) con una confianza real, sin caer en la trampa de creer que los resultados son mejores de lo que realmente son. Es como tener un termómetro que no se calienta cuando lo miras.

Resumen Técnico: Evaluación Distribucional de Modelos Post-Selección (PS-DME)

1. Planteamiento del Problema

En la evaluación formal de modelos, los métodos tradicionales suelen certificar que un modelo cumple con un nivel objetivo predefinido de un Indicador Clave de Rendimiento (KPI), controlando la probabilidad de que el riesgo supere un umbral máximo. Sin embargo, en muchas aplicaciones prácticas (como el despliegue de Agentes de Modelos de Lenguaje Grande - LLMs o la configuración de redes de telecomunicaciones), el nivel objetivo de riesgo no se conoce a priori.

Los usuarios necesitan explorar las compensaciones (trade-offs) completas entre el rendimiento y la fiabilidad en el momento de la prueba. Esto requiere estimar la distribución completa del KPI (por ejemplo, la latencia o el error de predicción) para múltiples configuraciones candidatas.

El desafío principal es el sesgo post-selección:

Se debe pre-seleccionar un subconjunto de modelos prometedores de un gran pool de candidatos basándose en los datos disponibles.
Posteriormente, se deben estimar las distribuciones (funciones de distribución acumulativa o CDF) de estos modelos seleccionados utilizando los mismos datos.
Aplicar métodos de confianza clásicos (como bandas de confianza uniformes) directamente sobre los datos reutilizados tras la selección genera estimaciones excesivamente optimistas y pierde la validez estadística (la tasa de cobertura real es menor que la nominal).

2. Metodología Propuesta: PS-DME

Los autores introducen PS-DME (Post-Selection Distributional Model Evaluation), un marco general para la evaluación distribucional estadísticamente válida después de una pre-selección de modelos dependiente de los datos.

Componentes Clave:

Reutilización de Datos (In-Sample): A diferencia de los métodos basados en división de datos (sample splitting), PS-DME utiliza el conjunto de datos completo tanto para la selección del modelo como para la inferencia distribucional.
Control de la Tasa de Falsa Cobertura (FCR): El objetivo es garantizar que la probabilidad esperada de que la banda de confianza no cubra la verdadera CDF para los modelos seleccionados sea menor que un umbral $\delta$ . Formalmente, se busca controlar el False Coverage Rate (FCR).
Uso de Valores-e (E-values): La metodología se basa en la teoría de valores-e, que son estadísticos robustos para la prueba de hipótesis que permiten la selección post-hoc de niveles de significancia.
- Se construyen valores-e a partir de valores-p derivados de la desigualdad de Dvoretzky-Kiefer-Wolfowitz (DKW) o de estadísticos de Berk-Jones.
- Se utilizan calibradores-e (funciones que transforman valores-p en valores-e) para ajustar las bandas de confianza y corregir el sesgo de selección.

Algoritmo:

Pre-selección Arbitraria: Se selecciona un subconjunto $\mathcal{K}$ de modelos usando cualquier regla dependiente de los datos.
Construcción de Bandas: Para cada modelo $k \in \mathcal{K}$ $k \in K$ , se construyen bandas de confianza $[L_k(x), U_k(x)]$ $[L_{k} (x), U_{k} (x)]$ para la CDF verdadera $F_k(x)$ $F_{k} (x)$ .
- El ancho de la banda $\epsilon_k$ se calcula ajustando el término de corrección post-selección mediante la función inversa del calibrador-e:
  $\epsilon_k = \sqrt{\frac{1}{2n_k} \log\left(\frac{2}{f^{-1}(\frac{K}{\delta|\mathcal{K}|})}\right)}$
- Donde $f^{-1}$ depende del calibrador-e elegido (ej. familia de potencias con parámetro $\tau$ ).

3. Contribuciones Clave

Marco PS-DME: Presentación de un protocolo formal que permite la reutilización completa de datos manteniendo garantías estadísticas rigurosas sobre la distribución del rendimiento, no solo sobre un punto fijo.
Eficiencia de Muestra: Demostración teórica y empírica de que PS-DME es más eficiente en el uso de muestras que la estrategia de división de datos (SS-DME).
- SS-DME sacrifica datos para la selección, reduciendo el tamaño de muestra efectivo para la inferencia y produciendo bandas más anchas.
- PS-DME compensa el costo de la corrección post-selección con la ganancia de usar todo el conjunto de datos, resultando en bandas de confianza más estrechas (especialmente cuando los datos son escasos).
Exploración de Compensaciones: Permite a los usuarios visualizar y comparar las CDFs completas de las configuraciones seleccionadas, facilitando la elección de puntos de operación óptimos entre rendimiento y fiabilidad (ej. latencia vs. probabilidad de fallo) con garantías estadísticas.

4. Resultados Experimentales

Los autores validan PS-DME en tres escenarios distintos:

Datos Sintéticos (Regresión Lineal):
- Se compararon SS-DME, PS-DME y una versión ingenua (N-PS-DME) que no corrige el sesgo.
- Hallazgo: N-PS-DME falla en controlar la tasa de cobertura. PS-DME produce bandas significativamente más estrechas que SS-DME, permitiendo seleccionar un KPI garantizado (ej. error cuadrático) más bajo y preferible. La ventaja de PS-DME es más pronunciada con tamaños de muestra pequeños ( $n=20$ ).
Decodificación de LLMs (Text-to-SQL):
- Se evaluaron 43 configuraciones de un modelo LLM (Qwen2.5-7B) variando parámetros de muestreo (temperatura, top-p) y estrategias (greedy, Best-of-n, Iterativo).
- Hallazgo: PS-DME garantiza consistentemente un KPI (pérdida de calidad de SQL) menor que SS-DME para cualquier nivel de fiabilidad objetivo, demostrando su utilidad en la selección de hiperparámetros para modelos generativos.
Evaluación de Redes de Telecomunicaciones (O-RAN):
- Se analizaron configuraciones de redes celulares (O-RAN) utilizando datos de ocupación de búfer.
- Hallazgo: PS-DME proporcionó garantías más fuertes (menor ocupación de búfer garantizada) que las variantes de división de datos. En escenarios de datos limitados, la división de datos degradó severamente el rendimiento de la inferencia, mientras que PS-DME mantuvo la precisión.
Análisis de Latencia de Servidores:
- Se aplicó a logs HTTP para estimar distribuciones de tiempo de respuesta.
- Se demostró que la elección del parámetro del calibrador-e ( $\tau$ ) afecta el ancho de la banda, permitiendo ajustar la precisión de la inferencia.

5. Significado e Impacto

El trabajo de Farzaneh y Simeone es significativo porque:

Cambia el Paradigma de Evaluación: Pasa de la validación de un umbral fijo a la caracterización completa de la incertidumbre distribucional, lo cual es crucial en sistemas donde el rendimiento varía dinámicamente.
Resuelve el Dilema de Datos: Ofrece una solución matemáticamente rigurosa al problema de reutilizar datos para selección y evaluación, eliminando la necesidad de desperdiciar datos en conjuntos de validación separados (lo cual es crítico en aplicaciones con datos escasos o costosos).
Herramienta para la Toma de Decisiones: Proporciona a ingenieros y científicos de datos una metodología para explorar el espacio de diseño de modelos (ej. compensación latencia-calidad) con confianza estadística, asegurando que las decisiones de despliegue no se basen en estimaciones sesgadas por la selección.

En conclusión, PS-DME establece un nuevo estándar para la evaluación de modelos en entornos donde la incertidumbre distribucional y la selección de datos son inherentes, ofreciendo garantías de fiabilidad superiores a los métodos convencionales de división de datos.