Industrializing Prediction-Powered Inference: The GLIDE Library for Reliable GenAI and Agentic Systems Evaluation

Resumen Técnico: Industrialización de la Inferencia Basada en Predicciones con GLIDE

Planteamiento del Problema
La evaluación fiable de sistemas agénticos (por ejemplo, soporte de decisiones clínicas, asesoría financiera) enfrenta un compromiso fundamental. La anotación humana completa proporciona una verdad de referencia (ground truth) imparcial y fiable, pero es prohibitivamente lenta y costosa, especialmente para trayectorias de múltiples pasos. Por el contrario, utilizar Modelos de Lenguaje Extensos (LLMs) como jueces es rápido y barato, pero introduce un sesgo significativo, particularmente en tareas de alto conocimiento o específicas de un dominio. La literatura existente sobre la Inferencia Basada en Predicciones (PPI, por sus siglas en inglés)—un marco que combina un pequeño conjunto de etiquetas humanas con un gran conjunto de predicciones de proximidad (proxies) para producir estimaciones imparciales con intervalos de confianza válidos—ha madurado rápidamente. Sin embargo, estos métodos (incluyendo PPI++, Stratified PPI, Predict-Then-Debias y Active Statistical Inference) permanecen dispersos en artículos académicos con notaciones heterogéneas e implementaciones parciales. Los profesionales carecen de una herramienta unificada para aplicar estos métodos a la evaluación agéntica, donde la asimetría de costos es extrema, la estratificación natural existe y la cuantificación válida de la incertidumbre es crítica para el despliegue.

Metodología: El Marco GLIDE
Los autores presentan GLIDE (Generated Label Inference and Debiasng Engine), una biblioteca de Python de código abierto diseñada para unificar los estimadores y muestreadores de PPI de vanguardia bajo una API de estilo scipy especializada en la estimación de medias. El marco descompone la evaluación en tres pasos secuenciales:

1. Muestreo (Sampling): GLIDE implementa cuatro estrategias de muestreo distintas para seleccionar un subconjunto de trayectorias para la anotación humana a partir de un grupo más grande de datos etiquetados por proxies:

   • UniformSampler: Muestreo aleatorio estándar (línea base).
   • StratifiedSampler: Asigna muestras a través de estratos definidos por el usuario (por ejemplo, tipo de consulta, herramientas utilizadas) utilizando asignación proporcional o de Neyman para manejar la calidad heterogénea del proxy.
   • ActiveSampler: Muestrea basándose en la incertidumbre del proxy por muestra (por ejemplo, confianza verbalizada), concentrando el esfuerzo humano donde el proxy es menos fiable.
   • CostOptimalSampler: Optimiza las probabilidades de muestreo basadas en las relaciones de costo conocidas entre el proxy y la anotación, minimizando el costo total de evaluación.

2. Anotación (Annotation): Los expertos en el dominio proporcionan etiquetas de verdad de referencia para el subconjunto seleccionado. GLIDE trata esto como un paso externo y específico de la tarea, requiriendo únicamente una salida legible por máquina.

3. Estimación (Estimation): La biblioteca combina las etiquetas humanas y las predicciones del proxy para producir una estimación puntual sin sesgo y un intervalo de confianza. Implementa varios estimadores adaptados a diferentes regímenes estadísticos:

   • PPI++ y Stratified PPI++: Utilizan el ajuste de potencia (power tuning) para minimizar la varianza asintótica, garantizando un rendimiento no inferior al estimador clásico de solo etiquetas.
   • Predict-Then-Debias (PTD) y Stratified PTD: Proporcionan intervalos de confianza basados en bootstrap, diseñados específicamente para regímenes de muestras pequeñas donde la aproximación del Teorema del Límite Central (CLT) se degrada.
   • Active Statistical Inference (ASI): Utiliza el Pesaje de Probabilidad Inversa (IPW) para eliminar el sesgo de las muestras obtenidas mediante muestreo activo.
   • Líneas Base Clásicas: Incluyen medias de muestra estándar (con y sin estratificación) para servir como referencias para el cálculo del tamaño de muestra efectivo.

Un árbol de decisión guía a los usuarios en la selección del muestreador y el estimador apropiados basándose en la disponibilidad de estimaciones de costo, señales de incertidumbre del proxy, estratos naturales y el número de etiquetas humanas disponibles (específicamente, si $n \ge 50$ para métodos basados en CLT).

Contribuciones Clave

1. Biblioteca Unificada: GLIDE es la primera biblioteca que integra un conjunto exhaustivo de estimadores de PPI (PPI++, Stratified PPI, PTD, ASI) y muestreadores (uniforme, estratificado, activo, de costo óptimo) bajo una API única y consistente.
2. Suite de Validación Reproducible: El paquete incluye una suite de validación de Monte Carlo que verifica empíricamente tres propiedades en todos los estimadores: (i) la cobertura empírica coincide con el nivel nominal a través de diversas calidades del proxy, (ii) los intervalos no son más anchos que la línea base de solo etiquetas, y (iii) el tamaño de muestra efectivo crece con la correlación entre el proxy y la verdad de referencia.
3. Caso de Estudio de Evaluación Agéntica: Los autores demuestran la utilidad de la biblioteca en el benchmark R-Judge (568 trayectorias agénticas). Muestran que GLIDE logra una precisión equivalente al muestreo clásico con sustancialmente menos anotaciones humanas. Específicamente, combinar 100 etiquetas humanas con señales de proxy produjo tamaños de muestra efectivos de ~143–157 (una ganancia de 1.4x–1.5x) en comparación con el uso de 100 etiquetas humanas por sí solas, manteniendo una cobertura válida a pesar de un sesgo de ~13% en el proxy del LLM-as-judge.

Resultos
La validación empírica confirma que los métodos PPI en GLIDE proporcionan validez incondicional respecto al proxy: incluso con un proxy sesgado o débilmente correlacionado, los intervalos de confianza resultantes siguen siendo válidos (aunque potencialmente más amplios). El "Tamaño de Muestra Efectivo" ($n_{eff}$) sirve como la métrica principal de retorno de inversión, cuantificando a cuántas muestras totalmente etiquetadas por humanos es estadísticamente equivalente un estimador de PPI. En el caso de estudio de R-Judge, los protocolos de muestreo estratificado y activo redujeron las anchuras de los intervalos de confianza en un 16%–20% en comparación con el muestreo uniforme con el mismo presupuesto de humanos. El estudio destaca que, si bien el muestreo activo es competitivo, la estratificación en ejes semánticamente significativos (como dominios de aplicación) puede generar ganancias comparables con cero costo de ingeniería.

Significancia y Reivindicaciones
El artículo posiciona a GLIDE como un puente práctico entre los avances teóricos de PPI y la aplicación industrial. Su reivindicación principal es que invertir en un LLM-as-judge de mayor calidad se traduce directamente en un mayor presupuesto de anotación efectivo. Los autores enfatizan que mejores proxies no son un sustituto de la anotación humana, sino un multiplicador de esta. Al proporcionar una interfaz unificada, validada y fácil de usar, GLIDE permite a los profesionales ir más allá de la elección binaria entre "solo humanos costosos" o "solo proxies sesgados", facilitando el despliegue de pipelines de evaluación auditables y estadísticamente rigurosos para sistemas de IA conllevantes de consecuencias. La biblioteca limita explícitamente su alcance a la estimación de medias (cubriendo precisión, tasas de toxicidad, etc.), delegando la estimación de cuantiles y de M-estimación más amplia a la biblioteca fundacional ppi_py.