Before You Interpret the Profile: Validity Scaling for LLM Metacognitive Self-Report

Resumen Técnico: Escalado de Validez para la Autoevaluación Metacognitiva de LLM

Título: Escalado de Validez para la Autoevaluación Metacognitiva de LLM (Validity Scaling for LLM Metacognitive Self-Report)
Autor: Jon-Paul Cacioli (Investigador Independiente, Melbourne, Australia)
Contexto: El artículo propone aplicar el marco de escalas de validez de la evaluación psicológica clínica (PAI y MMPI-3) a los datos de sondeo metacognitivo de Grandes Modelos de Lenguaje (LLM).

1. El Problema

Actualmente, las evaluaciones de metacognición en LLM asumen que las señales de confianza del modelo (por ejemplo, decidir si mantener una respuesta, retirarla o apostar por ella) son informativas y confiables. Estos sistemas se utilizan para la abstención, el enrutamiento y la toma de decisiones con intervención humana. Sin embargo, ningún estudio verifica si estas señales realmente rastrean la corrección de la respuesta antes de interpretarlas.

En la evaluación clínica, las escalas de validez detectan patrones de respuesta distorsionados (como la simulación o la minimización) antes de interpretar las escalas de contenido. Si la validez está comprometida, el perfil clínico se marca como "no interpretable". Este paso es obligatorio en contextos forenses y clínicos, pero falta en la evaluación de LLM. El problema central es determinar si la señal de confianza de un modelo contiene información a nivel de ítem sobre su corrección o si es simplemente un patrón de respuesta fijo (ruido).

2. Metodología

El estudio no afirma que los LLM tengan personalidades o estados psicológicos; más bien, establece un paralelismo estructural entre los datos de autoinforme humano y los datos de sondeo de LLM. Ambos comparten el formato de datos (respuestas binarias a ítems estructurados) y el problema (patrones dominados por una estrategia general en lugar de información específica del ítem).

• Muestra: Se analizaron 120 archivos CSV de la batería de monitoreo metacognitivo "Classical Minds", evaluando 20 modelos de vanguardia de 6 familias (Anthropic, Google-Gemini, Google-Gemma, Qwen, DeepSeek, OpenAI, Zhipu) a través de 524 ítems en 6 dominios cognitivos.
• Procedimiento: Tras cada respuesta, se administraron dos sondas: "MANTENER" (KEEP) o "RETIRAR" (WITHDRAW) la respuesta, y "APOSTAR" (BET) o "NO APOSTAR" (NO BET) que es correcta.
• Operacionalización de Índices de Validez: Se definieron seis índices mapeados desde el PAI y el MMPI-3:
  1. L (Subregistro): $P(\text{KEEP} | \text{incorrecto})$. Mantiene confianza a pesar de errores.
  2. K (Subregistro): $P(\text{BET} | \text{incorrecto})$. Confianza fuerte injustificada.
  3. F (Sobrerregistro): $P(\text{WITHDRAW} | \text{ítems de consenso})$. Retira ítems que la mayoría de los modelos mantiene.
  4. Fp (Sobrerregistro): $P(\text{WITHDRAW} | \text{correcto})$. Retira respuestas correctas.
  5. RBS (Monitoreo invertido): Diferencia entre retirar correctos e incorrectos. Un valor positivo indica monitoreo invertido.
  6. TRIN (Respuesta fija): Dominancia de una respuesta (KEEP o WITHDRAW) sobre la otra.
• Clasificación en Niveles:
  • Nivel 1 (Umbral teórico): Identifica perfiles inválidos estructuralmente (ej. $L \ge 0.95$ o $F \ge 0.50$).
  • Nivel 2 (Referencia de muestra): Identifica perfiles elevados ($M + 1.5 SD$) dentro de la distribución restante.
• Validación Sintética: Se generaron 8 políticas de respuesta sintéticas (desde "siempre mantener" hasta "monitoreo perfecto") para verificar que el sistema de clasificación detectara correctamente las políticas no informativas.

3. Contribuciones Clave

1. Marco de Validez para LLM: Introducción de seis índices de validez formalmente mapeados desde la psicometría clínica.
2. Sistema de Clasificación: Un sistema en dos niveles validado contra políticas sintéticas para filtrar datos no interpretables.
3. Evidencia Empírica: Demostración de que los modelos con perfiles válidos producen confianza sensible al ítem, mientras que los inválidos no.
4. Efecto del Entrenamiento CoT: Evidencia de que el entrenamiento con "Cadena de Pensamiento" (Chain-of-Thought) produce dos distorsiones opuestas: sobre-retirada sistemática (DeepSeek-R1) o confianza blanket (Qwen Think).
5. Nueva Métrica de Consistencia: Identificación de la contradicción "RETIRAR + APOSTAR" como un indicador único de desacoplamiento de señales.
6. Inconsistencia Prospectiva/Retrospectiva: Hallazgo de que 12 de 20 modelos muestran perfiles de validez inconsistentes entre sondas retrospectivas y prospectivas.
7. Screener de Corta Duración: Identificación de 161 ítems que discriminan significativamente entre perfiles válidos e inválidos.

4. Resultados

• Propiedades Psicométricas: Los índices muestran alta consistencia interna y validez convergente (ej. correlación $L-K = .82$, $F-Fp = .99$) y discriminante adecuada ($L-F = -.10$).
• Estructura Factorial: Un análisis de componentes principales (PCA) reveló dos dimensiones latentes que explican el 94.6% de la varianza: un bloque de "subregistro" (L, K) y un bloque de "sobrerregistro" (F, Fp), paralelos a la estructura clínica.
• Clasificación de Modelos:
  • Inválidos (Nivel 1, n=4): DeepSeek-R1, Gemini 3.1 Pro, Qwen 80B Think y Gemma 1B. Estos modelos producen señales de confianza que no contienen información sobre la corrección.
  • Elevados (Nivel 2, n=2): GPT-5.4 nano y Gemma 12B.
  • Válidos (n=14): El resto de los modelos.
• Sensibilidad al Ítem (Prueba Central):
  • Los modelos válidos muestran una correlación positiva significativa entre la decisión de "MANTENER" y la corrección ($r = .18$).
  • Los modelos inválidos muestran correlaciones negativas o nulas ($r = -.20$).
  • La diferencia entre grupos es grande y robusta ($d = 2.17, p = .001$).
• Distorsiones Específicas:
  • DeepSeek-R1: Muestra una contradicción masiva (37% de los ítems correctos tienen "RETIRAR + APOSTAR"), indicando un monitoreo invertido.
  • Qwen Think: Muestra un índice L extremadamente alto ($0.974$), indicando confianza ciega.
• Impacto del Entrenamiento: El entrenamiento con CoT no mejora uniformemente la validez; en R1 causa sobre-retirada, mientras que en Qwen causa sobre-endoso.

5. Significado e Implicaciones

• Paralelismo Estructural, no Antropomórfico: El estudio demuestra que la metodología de validez clínica es transferible a los LLM no porque tengan "personalidad", sino porque el problema de medición (detectar si un patrón de respuesta binario contiene información) es estructuralmente idéntico.
• Filtro antes de la Interpretación: La conclusión principal es que se debe realizar un escaneo de validez antes de interpretar cualquier métrica metacognitiva. Interpretar la confianza de un modelo inválido es inútil y peligroso.
• Riesgos de Despliegue: Un modelo con alta precisión pero confianza no informativa (inválido) es más peligroso que uno con menor precisión pero monitoreo genuino, ya que el primero ofrece una falsa seguridad en sistemas de seguridad basados en confianza.
• Política de Entrenamiento: El entrenamiento RLHF y el CoT pueden inducir "conjuntos de respuesta" (response sets) que suprimen la información a nivel de ítem, análogos a los efectos de "coaching" en evaluaciones forenses humanas.
• Herramienta Futura: El trabajo sienta las bases para un protocolo de screening portable que puede integrarse en futuras baterías de evaluación de LLM para descartar modelos cuyos datos de confianza no son utilizables para la toma de decisiones.

En resumen, el artículo establece un nuevo estándar metodológico para la evaluación de LLM: la confianza no es un dato por defecto; es una señal que debe validarse estadísticamente antes de ser utilizada.