Concurrent Criterion Validation of a Validity Screen for LLM Confidence Signals via Selective Prediction

Título: Validación Criterial Concurrente de una Pantalla de Validez para Señales de Confianza de LLM mediante Predicción Selectiva

1. El Problema

Dos estudios previos (Cacioli, 2026d, 2026e) establecieron un protocolo de "pantalla de validez" (validity screen) para datos de confianza de Modelos de Lenguaje Grande (LLM). Este protocolo clasifica los modelos en tres niveles: Inválido, Indeterminado o Válido, basándose en índices psicométricos clínicos (adaptados de escalas como PAI y MMPI-3).

Sin embargo, existía una limitación crítica identificada en la literatura anterior: la ausencia de un criterio orientado a la implementación. Las clasificaciones de niveles no habían sido calibradas contra resultados operativos reales. No se sabía si un modelo clasificado como "Inválido" realmente fallaría en tareas de despliegue donde la confianza es crucial, ni si un modelo "Válido" tendría éxito. Este artículo busca cerrar esa brecha validando si la pantalla psicométrica predice el rendimiento en un escenario de uso real: la predicción selectiva.

2. Metodología

El estudio realiza una validación concurrente utilizando el mismo conjunto de datos de 20 modelos y 524 ítems que el estudio de derivación.

• Datos y Modelos: Se evaluaron 20 LLMs de vanguardia (de familias como Anthropic, OpenAI, Google, Qwen, DeepSeek y Zhipu) en la batería metacognitiva "Classical Minds". Cada modelo generó etiquetas de corrección y respuestas binarias de confianza (KEEP/WITHDRAW y BET/NO BET) en seis pistas cognitivas.
• Clasificación de Validez: Se ejecutó el script validity_screen.py para asignar cada modelo a un nivel (Inválido, Indeterminado, Válido) basándose en índices como $L$ (tasa de retención), $F_p$ (falsos positivos), $RBS$ (sesgo de respuesta) y la correlación $r(confianza, correcta)$.
  • Inválido (n=3): DeepSeek-R1, Gemini 3.1 Pro, Qwen 80B Think.
  • Indeterminado (n=3): GPT-5.4 nano, Gemma 3 12B, Gemma 3 1B.
  • Válido (n=14): El resto de los modelos.
• Criterio de Validación (Predicción Selectiva):
  • Se calculó el AUROC de Tipo 2: La capacidad de la confianza ordinal del modelo para discriminar entre respuestas correctas e incorrectas.
  • Se midió la Ganancia Selectiva: La mejora en la precisión al retener solo el $c\%$ de las respuestas con mayor confianza (abstención).
  • Se analizaron curvas de Riesgo-Cobertura para observar cómo cambia la precisión a medida que se reduce la cobertura.
• Análisis Estadístico: Se utilizaron ANOVA, pruebas U de Mann-Whitney, tamaños del efecto (Cohen's $d$, $\eta^2$) y validación cruzada split-half (1.000 divisiones aleatorias) para verificar la robustez.

3. Contribuciones Clave

• Puente de Validez de Constructo: Establece un vínculo empírico entre los índices de validez psicométrica clínica y las métricas de despliegue de aprendizaje automático. Demuestra que los principios clínicos de detección de respuestas inválidas se transfieren eficazmente a la evaluación de LLMs.
• Primera Validación Criterial Concurrente: Es el primer estudio que calibra las umbrales de la pantalla de validez contra resultados operativos (predicción selectiva), demostrando que la clasificación predice el comportamiento del modelo en tareas de abstención.
• Diagnóstico Mecanístico: No solo predice el fallo, sino que identifica por qué falla (ej. inversión catastrófica vs. confianza genérica), permitiendo un diagnóstico más fino que una simple métrica de precisión baja.

4. Resultados Principales

• Correlación Fuerte y Monótona: Existe una relación clara y monótona entre la clasificación de la pantalla y el rendimiento:
  • Modelos Válidos: Muestran un AUROC medio de .624 (superior al azar), con ganancias selectivas positivas y curvas de riesgo que mejoran al reducir la cobertura.
  • Modelos Inválidos: Muestran un AUROC medio de .357 (inferior al azar, indicando inversión).
  • Modelos Indeterminados: Se sitúan en el medio con un AUROC de .554.
• Diferencia de Grupos: La diferencia entre modelos Válidos e Inválidos es grande y estadísticamente significativa ($d = 2.81$, $p = .002$). La clasificación de tres niveles explica el 47.0% de la varianza en el AUROC ($\eta^2 = .470$).
• Casos Extremos:
  • DeepSeek-R1 (Inválido): Exhibe una inversión catastrófica. Al confiar en sus respuestas de mayor confianza, la precisión cae del 85.3% (cobertura total) al 11.3% (cobertura al 10%). El modelo retiene sistemáticamente errores.
  • Gemini 3.1 Pro y Qwen 80B Think (Inválidos): Muestran "confianza genérica" (blanket confidence), reteniendo casi todo sin discriminar entre aciertos y errores (AUROC $\approx$ 0.5).
• Robustez: La validación cruzada split-half (entrenar pantalla en la mitad de los ítems, probar en la otra) confirmó que la clasificación predice el rendimiento en datos no vistos ($d$ mediano = 1.77, $P(d>0) = 1.0$).
• Limitaciones de la Validez: Se observó que la validez agregada no garantiza validez en todos los dominios; algunos modelos "Válidos" fallaron en pistas específicas (ej. atención o regulación prospectiva).

5. Significado e Implicaciones

• Seguridad en el Despliegue: El estudio demuestra que utilizar la confianza de un LLM para sistemas de abstención (donde el modelo decide no responder si no está seguro) es peligroso sin una pantalla de validez previa. Usar un modelo "Inválido" para la abstención resultaría en que el sistema seleccione activamente los errores para presentarlos.
• Guía Práctica: Se recomienda implementar la pantalla de validez antes de cualquier despliegue que utilice señales de confianza. Si un modelo es clasificado como "Inválido" o "Indeterminado", sus señales de confianza no deben usarse para la toma de decisiones críticas o la escalada de seguridad.
• Interpretación de Métricas: Un AUROC de 0.52 por sí solo es ambiguo; la pantalla de validez proporciona el contexto necesario para saber si ese valor representa un fallo de discriminación o simplemente ruido.
• Advertencia sobre Modelos de Alta Precisión: Los modelos con tasas de retención (KEEP) extremadamente altas ($L > 0.90$) pueden tener dificultades para mostrar ganancia selectiva debido a la falta de varianza en los datos, lo que requiere precaución en la interpretación.

En conclusión, el artículo valida que los índices psicométricos pueden servir como un filtro eficaz y económico para determinar si un LLM es apto para tareas que requieren el uso de sus propias señales de confianza, evitando así fallos catastróficos en sistemas de IA autónomos.