Resumen Técnico: Juez, Recuperar o Abstenerse: Evaluación de LLM con Incertidumbre Protegida y Garantías de Riesgo Probables

Planteamiento del Problema

El uso de Modelos de Lenguaje de Gran Escala (LLM) como jueces se ha convertido en un estándar para evaluar salidas de modelos a escala, particularmente para tareas subjetivas. Sin embargo, aplicar jueces LLM a tareas objetivas y fácticas (por ejemplo, QA de dominio abierto) presenta desafíos de fiabilidad distintivos. Sin una respuesta de referencia, los jueces dependen del conocimiento paramétrico, lo que conlleva el riesgo de alucinaciones o falta de conocimiento para entidades recientes o raras, o bien de la aumentación mediante herramientas, lo cual introduce costos computacionales y carece de un mecanismo para un uso fiable.

Crucialmente, los métodos existentes de cuantificación de la incertidumbre son a menudo heurísticos; aplicar un umbral a las puntuaciones de incertidumbre no proporciona ninguna garantía formal sobre la tasa de error entre los veredictos aceptados. Además, los métodos actuales de predicción selectiva controlada de riesgo están diseñados para filtrar respuestas de examinados en tareas de QA, en lugar de controlar errores en un entorno de meta-evaluación. Finalmente, los enfoques existentes tratan la "abstención" como el único recurso ante la incertidumbre, descartando instancias donde la incertidumbre del juez proviene de una brecha de conocimiento que podría resolverse con evidencia adicional.

Metodología

Los autores proponen un marco de evaluación selectiva controlada por riesgo que integra la recuperación adaptativa con garantías de riesgo formales. El marco opera en dos modos y utiliza un mecanismo de enrutamiento de dos umbrales calibrado en un conjunto de validación con etiquetas de verdad fundamental conocidas.

1. Formulación del Problema

El objetivo es seleccionar un umbral (o un par de umbrales) de tal manera que la Tasa de Falsos Descubrimientos (FDR) —la tasa de error entre las instancias que el juez decide evaluar— permanezca por debajo de un nivel de riesgo especificado por el usuario con una alta probabilidad ($1-\delta$).
$$\text{Pr}(R(t) \leq \alpha) \geq 1 - \delta$$
donde $R(t)$ es el FDR real.

2. Mecanismo de Enrutamiento de Dos Modos

El marco emplea un proceso de evaluación jerárquico:

• Modo 1 (Paramétrico): El juez evalúa la respuesta candidata utilizando únicamente su conocimiento interno, produciendo un veredicto $v_1$ y una puntuación de incertidumbre $U_1$.
• Modo 2 (Aumentado por Recuperación): Si $U_1$ excede el primer umbral calibrado $\hat{t}_1$, el sistema recupera los mejores-$k$ resultados de la web basados en la pregunta. El juez reevalúa la instancia con esta evidencia, produciendo $v_2$ y $U_2$.
• Abstención: Si $U_2$ excede el segundo umbral calibrado $\hat{t}_2$, la instancia se abstiene (se marca para revisión humana).

3. Calibración y Garantías Teóricas

Los umbrales se calibran utilizando límites superiores de confianza exacta de Clopper–Pearson en un conjunto de calibración de validación.

• Modo Único: Para un umbral fijo, el evento de selección es determinista dado el input, preservando la estructura de Bernoulli i.i.d. de los indicadores de fallo. Esto permite la aplicación del límite de Clopper–Pearson para garantizar el control del FDR.
• Extensión de Dos Modos: Los autores demuestran que esta estructura de Bernoulli se extiende al entorno de enrutamiento de dos umbrales. Dado que la decisión de enrutamiento es una función determinista de las puntuaciones de incertidumbre y los umbrales fijos, los indicadores de fallo de la subconjunto seleccionado siguen siendo i.i.d. Bernoulli. Por consiguiente, la garantía de FDR de muestra finita se mantiene para la política conjunta sin supuestos distributivos adicionales.

El proceso de calibración busca el par de umbrales $(\hat{t}_1, \hat{t}_2)$ que maximiza la cobertura (el número de instancias aceptadas) asegurando que el límite superior de confianza del FDR empírico sea $\leq \alpha$.

Contribuciones Clave

1. Evaluación Selectiva Controlada por Riesgo: El artículo formula la evaluación selectiva controlada por riesgo específicamente para el entorno de LLM-como-juez en QA fáctico.
2. Enrutamiento de Recuperación Adaptativa: Introduce un mecanismo de dos modos que dota al juez de recuperación web adaptativa para resolver la incertidumbre antes de recurrir a la abstención, convirtiendo efectivamente las potenciales abstenciones en evaluaciones informadas.
3. Extensión Teórica: Demuestra que la estructura de Bernoulli requerida para el límite de Clopper–Pearson se extiende al entorno de enrutamiento de dos umbrales, proporcionando una garantía de FDR de muestra finita para la política conjunta.
4. Validación Empírica: Los experimentos en diversos benchmarks de QA de dominio abierto y diferentes escalas de jueces muestran que el marco mantiene la tasa de error objetivo mientras logra una cobertura sustancialmente mayor que las líneas base de un solo modo.

Resultados

El marco fue evaluado en cuatro conjuntos de datos (TriviaQA, Natural Questions, HotpotQA, PopQA) utilizando varios modelos candidatos (Qwen3-8B, LLaMA-3.1-70B) y jueces (Qwen3-4B/8B/14B, LLaMA-3.1-8B).

• Control del FDR: En las 32 configuraciones, el FDR empírico se mantuvo en o por debajo del $\alpha$ objetivo, satisfaciendo la garantía de muestra finita. El FDR siguió de cerca a $\alpha$ con bandas de confianza estrechas.
• Ganancias de Cobertura: La recuperación adaptativa recuperó significativamente la cobertura que de otro modo se perdería por abstención.
  • En tareas intensivas en conocimiento (ej. HotpotQA, NQ-Open), el Modo 2 (recuperación) representó la mayoría de los veredictos no abstenidos.
  • Por ejemplo, en NQ-Open con un candidato Qwen3-8B, la cobertura aumentó del 7% (solo Modo 1) al 82% (marco conjunto) con $\alpha=0.20$.
  • En HotpotQA con LLaMA-8B, la cobertura aumentó del 40% al 85%.
• Impacto de la Recuperación: Aunque la recuperación expandió la cobertura, no siempre redujo la incertidumbre. Para el 14–29% de las instancias, la recuperación aumentó la incertidumbre (por ejemplo, debido a fuentes conflictivas). El segundo umbral enrutó con éxito estos casos hacia la abstención, asegurando que solo se aceptaran veredictos de alta confianza y fundamentados en evidencia.
• Robustez: El marco se mantuvo robusto ante la deriva de recuperación (cambios en los resultados de búsqueda web a lo largo del tiempo), preservando el control del FDR al aplicar umbrales calibrados a instantáneas de evidencia fresca.

Significancia

El artículo afirma que su principal significancia radica en proporcionar garantías de riesgo formales de muestra finita para jueces LLM en entornos de evaluación objetiva, una capacidad que faltaba en los enfoques de umbralización heurística. Al combinar la recuperación adaptativa con la selección controlada por riesgo, el marco aborda el compromiso entre fiabilidad y cobertura: permite que los jueces aprovechen herramientas externas para resolver brechas de conocimiento en lugar de simplemente abstenerse, todo ello mientras se limita matemáticamente la tasa de veredictos aceptados incorrectos. Esto permite el despliegue de jueces LLM en escenarios de alto riesgo o agentes autónomos donde la propagación incontrolada de errores es inaceptable.