Screen Before You Interpret: A Portable Validity Protocol for Benchmark-Based LLM Confidence Signals

Resumen Técnico: Protocolo de Validez para Señales de Confianza de LLM

1. El Problema: La Falta de Validación Previa

Actualmente, la evaluación de modelos de lenguaje grandes (LLM) asume implícitamente que las señales de confianza (confianza metacognitiva) de los modelos contienen información útil sobre la corrección de sus respuestas. Estas señales se utilizan para decisiones críticas como la abstención (rechazar responder), el enrutamiento de tareas y la seguridad.

Sin embargo, ningún estudio verifica si la señal de confianza es interpretable antes de utilizarla. El artículo identifica que muchos modelos pueden producir patrones de respuesta sesgados (como "confianza ciega" en todas las respuestas o "retiro sistemático" de todas las respuestas) que carecen de información a nivel de ítem. Construir métricas de calibración o predicción selectiva sobre estos datos es metodológicamente incompleto y genera falsas seguridades, ya que los resultados derivados son ruido estadístico en lugar de información real.

El autor propone transferir un principio establecido en la evaluación clínica de personalidad (MMPI-3, PAI): la validación debe preceder a la interpretación sustantiva.

2. Metodología: Arquitectura de Dos Etapas

El protocolo propone una arquitectura de dos etapas que debe aplicarse a cualquier conjunto de datos de benchmark con etiquetas de corrección binaria (correcto/incorrecto) y una salida de confianza (binaria o binarizable).

Fase A: Screening de Validez (Obligatoria)
Determina si la señal de confianza es interpretable. Se basa en un tabla de contingencia 2x2 (Correcto/Incorrecto vs. Alta/Baja Confianza) y calcula cinco métricas clave:

1. Índices de Validez Núcleo (Derivados de la tabla):

   • L (Lack of Monitoring / Sub-reporting): $P(\text{Alta confianza} | \text{Incorrecto})$. Mide la tendencia a mantener alta confianza a pesar de cometer errores. Umbral de fallo: $L \ge 0.95$.
   • Fp (False Positives / Over-reporting): $P(\text{Baja confianza} | \text{Correcto})$. Mide la tendencia a dudar de respuestas correctas (retiro excesivo). Umbral de fallo: $Fp \ge 0.50$.
   • RBS (Response Bias Scale / Inversión): $Fp - (1 - L)$. Detecta si la señal está invertida (el modelo tiene más confianza en lo incorrecto que en lo correcto). Umbral de fallo: $RBS > 0$ (reliable).

2. Indicador Estructural:

   • TRIN (True/False Response Inconsistency): Proporción de respuestas que coinciden con la decisión modal. Indica respuesta fija (ej. responder "Sí" a todo). Se reporta como advertencia pero no clasifica automáticamente como inválido por sí solo.

3. Estadístico Diagnóstico:

   • $r(\text{confianza}, \text{correcto})$: Correlación punto-biserial entre la confianza y la corrección. Verifica si la señal sigue la corrección a nivel de ítem.

Clasificación de Tres Niveles:
Basada en tradiciones clínicas (MMPI-3, MCMI, Jacobson-Truax):

• Inválido (Invalid): Violación clara de umbrales. La señal no es interpretable. No se deben calcular métricas sustantivas.
• Indeterminado (Indeterminate): Violación en la estimación puntual pero el intervalo de confianza incluye valores válidos, o valores cercanos al umbral. Indica incertidumbre; las métricas pueden calcularse pero con advertencias explícitas.
• Válido (Valid): Sin violaciones. Se procede a la Fase B.

Fase B: Análisis Sustantivo
Solo se ejecuta si la Fase A clasifica el modelo como Válido. Aquí se calculan métricas como AUROC, calibración (ECE), métricas de predicción selectiva, etc.

3. Contribuciones Clave

1. Protocolo Portátil y Agnóstico al Benchmark: No requiere logits internos ni acceso al modelo, solo etiquetas de corrección y salidas de confianza. Funciona con cualquier benchmark.
2. Sistema de Clasificación de Tres Niveles: Introduce la categoría "Indeterminado" para manejar casos fronterizos con honestidad estadística, evitando clasificaciones binarias prematuras.
3. Tabla Mínima de Reporte (VRS Table): Establece un estándar de reporte obligatorio que debe acompañar cualquier métrica de metacognición, incluyendo los índices de validez y la justificación de la clasificación.
4. Demostración de Modo de Fallo: Prueba empíricamente que los modelos no filtrados producen métricas engañosas (ej. AUROC cercano a 0.5 o negativo) que simulan un funcionamiento de seguridad inexistente.
5. Validación Transversal: Confirma que la validez es una propiedad de la interacción Modelo-Prueba-Tarea, no una propiedad intrínseca del modelo. Un modelo puede ser "Inválido" en un formato binario pero "Válido" en uno verbal continuo.

4. Resultados Principales

El protocolo se validó en 20 modelos LLM de vanguardia (6 familias) sobre 524 ítems en 6 dominios cognitivos:

• Clasificación de Modelos:
  • Inválidos (4): DeepSeek-R1, Gemini 3.1 Pro, Qwen 80B Think, Gemma 3 1B. Estos mostraron patrones de "confianza ciega" o inversión total.
  • Indeterminados (2): GPT-5.4 nano, Gemma 3 12B.
  • Válidos (14): El resto de los modelos (incluidos Claude Haiku/Sonnet/Opus, Gemini 2.5/3 Flash/Pro, etc.).
• Evidencia Empírica:
  • Los modelos Válidos mostraron una correlación media positiva significativa entre confianza y corrección ($r \approx 0.18$).
  • Los modelos Inválidos mostraron correlaciones cercanas a cero o negativas ($r \approx -0.20$).
  • Diferencia de Grupos: La diferencia estadística entre grupos válidos e inválidos fue robusta ($d = 2.48, p = .001$).
• Impacto en Métricas Descendentes:
  • Los modelos inválidos produjeron un AUROC cercano al azar (0.499 - 0.509) o catastróficamente bajo (0.066 en DeepSeek-R1).
  • La ganancia de predicción selectiva fue cero o negativa para los modelos inválidos, demostrando que usar su confianza para abstenerse de responder degradaría el rendimiento en lugar de mejorarlo.
• Estabilidad: El análisis de remuestreo (subsampling) mostró que la clasificación es estable con 100-150 ítems para casos claros, pero inestable para modelos de muy alta precisión con pocos errores, lo que subraya la necesidad de reportar intervalos de confianza.

5. Significado e Implicaciones

• Cambio de Paradigma: El artículo establece que la validez de la respuesta es un requisito previo necesario para cualquier análisis de metacognición. Sin este filtro, la literatura actual sobre calibración y predicción selectiva podría estar interpretando ruido como señal.
• Analogía Clínica: Al igual que en la psicología clínica no se interpretan escalas de personalidad sin verificar primero las escalas de validez (para descartar respuestas aleatorias o de deseabilidad social), en la IA no se deben interpretar señales de confianza sin verificar que no estén dominadas por sesgos de respuesta (como la "confianza ciega" inducida por RLHF).
• Dependencia del Formato: Los resultados muestran que la validez no es una propiedad fija del modelo. Un modelo puede fallar el screening con una prueba binaria (KEEP/WITHDRAW) pero pasar con una escala verbal (0-100), lo que indica que el formato de elicitation modula la señal.
• Recomendación Práctica: El autor propone que el uso de este protocolo sea un paso obligatorio en la publicación de cualquier estudio que utilice señales de confianza de LLM. La tabla VRS debe ser parte estándar de los informes de resultados para garantizar la reproducibilidad y la defensa metodológica de las métricas derivadas.

En conclusión, el protocolo "Screen Before You Interpret" proporciona una herramienta minimalista pero rigurosa para separar las señales de confianza informativas de los artefactos de respuesta, protegiendo la integridad de la evaluación de LLMs y evitando la implementación de sistemas de seguridad basados en datos ilusorios.