Black-Box Reliability Certification for AI Agents via Self-Consistency Sampling and Conformal Calibration

1. Planteamiento del Problema

El artículo aborda una pregunta crítica en la implementación de sistemas de IA: ¿Con qué nivel de confianza puede un practicante confiar en la salida de un sistema de IA de caja negra para una tarea específica?

Los métodos de evaluación actuales presentan deficiencias fundamentales:

• Evaluación de una sola muestra: Es insesgada pero tiene una varianza extremadamente alta, especialmente en preguntas difíciles donde el agente es incierto.
• Autoconsistencia ingenua (selección de modo): Reduce la varianza, pero puede amplificar el sesgo. Si la respuesta más frecuente es incorrecta (alucinación estable), más muestras aumentan la confianza en el error.
• LLM-as-judge (Un LLM como juez): Introduce sesgos irreducibles (sesgo de posición, preferencia por respuestas verbosas, auto-preferencia) y carece de garantías formales de fiabilidad.

El objetivo es proporcionar un nivel de fiabilidad único (un número) por par agente-tarea, que sirva como una "puerta de despliegue" con garantías matemáticas exactas, finitas y libres de distribución, sin necesidad de acceder a los pesos internos del modelo.

2. Metodología Propuesta

El marco propuesto combina dos técnicas principales: Muestreo de Autoconsistencia y Calibración Conforme.

A. Muestreo de Autoconsistencia y Canonalización

1. Muestreo: Para cada pregunta de prueba, se consulta al sistema de IA $K$ veces (ej. $K=10$).
2. Canonalización: Las respuestas crudas se mapean a clases canónicas (ej. convertir "42", "42.0" y "cuarenta y dos" en el entero 42). Esto es crucial para agrupar respuestas semánticamente equivalentes.
3. Ranking por Frecuencia: Las respuestas se agrupan y se ordenan por frecuencia. La respuesta más popular es el "modo".
   • Teorema 4.4: Demuestra que la agregación reduce la varianza exponencialmente si la probabilidad de la respuesta correcta es mayor a 0.5.
   • Propiedad clave: La canonalización amplifica este efecto al consolidar la masa de probabilidad fragmentada.

B. Calibración Conforme (Conformal Prediction)

En lugar de confiar solo en el modo, el método genera un conjunto de predicción (un subconjunto de las respuestas más frecuentes) que garantiza contener la respuesta correcta con una probabilidad mínima.

1. Puntuación de No Conformidad: Se define como el rango de la respuesta correcta dentro de la lista ordenada por frecuencia de las muestras del agente. Si la respuesta correcta es la más frecuente, el rango es 1 (baja puntuación de no conformidad).
2. Conjunto de Calibración: Se utiliza un pequeño conjunto de datos ($n \approx 50-100$) donde un humano verifica rápidamente si la respuesta principal del agente es correcta.
3. Umbral Conformal: Se calcula un umbral $M^*$ basado en las puntuaciones de no conformidad del conjunto de calibración.
4. Conjunto de Predicción: Para una nueva pregunta, se devuelve el conjunto de las $M^*$ respuestas más frecuentes.

C. El Nivel de Fiabilidad (Reliability Level)

Se define como el nivel de confianza máximo ($1 - \alpha^*$) al cual el modo de autoconsistencia por sí solo (sin expandir el conjunto) es suficiente para garantizar la cobertura.

• Fórmula: $1 - \alpha^* = \frac{|\{i : s_i \le 1\}|}{n+1}$.
• Representa la probabilidad de que la respuesta más frecuente sea correcta, con una corrección conformal rigurosa.

3. Contribuciones Clave

1. Certificación de Fiabilidad para Despliegue: Proporciona un único número accionable (el nivel de fiabilidad) que responde directamente a "¿Puedo confiar en este agente al nivel X?". Valida esto en 5 benchmarks y 5 modelos.
2. Puntuación de No Conformidad de Caja Negra: Construye puntuaciones conformales basadas únicamente en la frecuencia de consenso externo, sin necesidad de logits internos o probabilidades del modelo. Esto lo hace aplicable a APIs comerciales y agentes de herramientas.
3. Teoremas de Fiabilidad:
   • Inmunidad al Sesgo: La garantía de cobertura es válida independientemente del perfil de sesgo del agente (Teorema 7.3).
   • Transparencia del Sesgo: Si el agente es débil o tiene sesgos, el tamaño del conjunto de predicción aumenta honestamente. No se oculta el error; se diagnostica mediante conjuntos más grandes.
   • Límite de Error: El error de cobertura está acotado por $1/(n+1)$, independientemente del tamaño del conjunto de datos de prueba.
4. Anatomía de Sesgo-Varianza: Formaliza por qué los métodos actuales fallan (varianza en una sola muestra, sesgo irreducible en LLM-as-judge, amplificación de sesgo en autoconsistencia simple) y cómo su método controla ambos.
5. Parada Secuencial Certificada: Un algoritmo basado en la desigualdad de Hoeffding que detiene el muestreo tan pronto como el consenso es claro, reduciendo los costos de API en ~50% sin perder cobertura.

4. Resultados Empíricos

El marco se validó en cinco benchmarks (HumanEval, TruthfulQA, BigBench, GSM8K, MMLU) y cinco modelos (familia GPT-4.1, Llama 4 Maverick, Mistral Small).

• Validez de la Cobertura:
  • La cobertura condicional en elementos "solubles" (donde el modelo tiene capacidad) supera el 0.93 en todas las configuraciones.
  • Cuando la cobertura marginal cae por debajo del objetivo, es debido a la incapacidad del modelo de resolver ciertos ítems (brecha de capacidad), no a un fallo de calibración.
• Niveles de Fiabilidad:
  • GPT-4.1: Logra un 94.6% de fiabilidad en GSM8K y 96.8% en TruthfulQA.
  • GPT-4.1-nano: Logra 89.8% en GSM8K y 66.5% en MMLU.
  • Los modelos más débiles obtienen niveles de fiabilidad más bajos (no puntuaciones engañosas), reflejando honestamente su capacidad.
• Comparación con Baselines:
  • En tareas ambiguas (como BigBench), el método conforme supera la precisión del "LLM-as-judge" (79.2% vs 73.6%) incluso con costos de API igualados.
  • El método de parada secuencial reduce el número promedio de muestras de 20 a ~10, ahorrando ~50% de costos sin sacrificar la calidad.
• Diagnóstico de Sesgo: El tamaño del conjunto de predicción ($|S|$) aumenta monótonamente a medida que disminuye la capacidad del modelo, sirviendo como un indicador transparente de la calidad del agente.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la evaluación de LLMs:

1. Garantías Formales para Caja Negra: Es la primera metodología que ofrece garantías de cobertura conformal estrictas para agentes accesibles solo vía API, sin depender de la transparencia interna del modelo.
2. Transparencia vs. Ocultamiento: A diferencia de los métodos que ocultan el error bajo una puntuación de precisión, este marco hace visible el sesgo y la incertidumbre a través del tamaño del conjunto de predicción. Un modelo débil no recibe una puntuación alta falsa; recibe un conjunto de predicción grande o un nivel de fiabilidad bajo.
3. Herramienta de Despliegue Práctica: El "nivel de fiabilidad" permite a los ingenieros tomar decisiones de despliegue basadas en datos ("¿Qué modelos cumplen con el requisito del 90% de fiabilidad?") sin necesidad de construir conjuntos de datos de oro masivos.
4. Eficiencia de Costos: La combinación de muestreo de autoconsistencia con parada secuencial certificada mitiga la sobrecarga computacional típica de estas técnicas, haciendo viable su uso en entornos de producción.

En resumen, el artículo propone un marco riguroso, transparente y eficiente para certificar la fiabilidad de agentes de IA, transformando la evaluación de una estimación estadística vaga a una garantía de despliegue cuantificable.