💻 computer science

LLMs Show No Signs Of Individuated Metacognition

Este artículo sostiene que los modelos de lenguaje de gran escala carecen de metacognición genuina e individualizada, ya que su confianza declarada refleja principalmente la dificultad compartida de los elementos y los umbrales de decisión, en lugar de una verdadera capacidad específica del modelo para evaluar sus propias competencias.

Autores originales: M. Moran, Mark Whiting

Publicado 2026-05-26

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: M. Moran, Mark Whiting

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Pregunta: ¿Saben los Modelos de IA lo que No Saben?

Imagina que estás en una fiesta con 20 personas diferentes (los modelos de IA). Les haces una serie de preguntas de cultura general. Antes de que respondan, les preguntas: "¿Estás seguro de que puedes acertar esto?"

El artículo investiga si estas personas están evaluando realmente su propio conocimiento específico (metacognición) o si simplemente están adivinando basándose en lo difícil que parece la pregunta para todos.

La Respuesta Corta: Los investigadores descubrieron que los modelos de IA no tienen un "instinto" interno único sobre sus propias capacidades. En cambio, todos reaccionan a la dificultad de una pregunta de casi exactamente la misma manera. Si una pregunta es difícil, todos dicen "No estoy seguro". Si es fácil, todos dicen "Esto lo tengo". No conocen sus propias fortalezas y debilidades específicas mejor de lo que conocen la dificultad general de la tarea.

La Analogía: El "Medidor de Dificultad" vs. El "Autorretrato"

Para entender los hallazgos, imagina dos tipos de medidores:

El Medidor de Dificultad (Lo que la IA tiene realmente): Esta es una herramienta compartida. Cuando aparece una pregunta, todos los modelos de IA la miran y ven una "Puntuación de Dificultad". Si la puntuación es alta, todos dudan. Si es baja, todos se lanzan. Todos están leyendo el mismo informe meteorológico.
El Autorretrato (Lo que esperábamos que tuvieran): Esto sería un espejo único para cada modelo. Mostraría: "Soy bueno en matemáticas pero malo en historia", o "Tengo confianza en este tipo específico de acertijos lógicos".

El Hallazgo: Los investigadores descubrieron que los modelos de IA solo tienen el Medidor de Dificultad. Carecen del Autorretrato. Cuando un modelo dice "Tengo un 80% de seguridad" y otro dice "Tengo un 40% de seguridad", no es porque tengan conocimientos internos diferentes sobre sus propias habilidades. Es principalmente porque un modelo es naturalmente más "optimista" (dice "sí" con más frecuencia) y el otro es más "pesimista" (dice "no" con más frecuencia), aunque ambos estén mirando el mismo medidor de dificultad.

Cómo lo Probaron (La Analogía del "Tetris" y la "Carrera")

Los investigadores sometieron a 20 modelos de IA diferentes a seis tipos de pruebas distintas (como cultura general, razonamiento legal y matemáticas).

1. La Prueba de "Dificultad Compartida" (Bloques de Tetris):
Observaron el patrón de quién dijo "sí" y quién dijo "no" en cada pregunta.

El Resultado: El patrón fue casi perfectamente unidimensional. Era como apilar bloques de Tetris donde cada modelo simplemente desplazaba toda la pila hacia arriba o hacia abajo.
La Metáfora: Imagina a 20 corredores en la línea de salida. Si todos dejan de correr exactamente al mismo tiempo porque la pista parece embarrada, eso es una señal compartida. Si el Corredor A se detiene porque su zapato está desatado, y el Corredor B se detiene porque su rodilla le duele, eso es conocimiento individualizado. Los modelos de IA se detuvieron todos porque la pista parecía embarrada. No se detuvieron debido a sus propias lesiones únicas.

2. La Carrera de "Confianza vs. Rendimiento":
Verificaron si decir un modelo "Tengo confianza" significaba realmente que tenía razón.

El Resultado: En preguntas fáciles (donde todos aciertan) y preguntas imposibles (donde todos fallan), la confianza coincidía con el rendimiento. Pero en las preguntas difíciles, intermedias, donde los modelos discrepan, la confianza no tenía casi nada que ver con tener razón.
La Metáfora: Es como un grupo de personas adivinando el peso de una calabaza. Si la calabaza es diminuta, todos adivinan "ligera". Si es enorme, todos adivinan "pesada". Pero para una calabaza mediana, la persona que adivina "pesada" no es necesariamente la que realmente conoce mejor el peso; simplemente es la persona que tiende a adivinar "pesada" para todo.

3. La Trampa de la "Excepción Matemática":
Una prueba de referencia (Matemáticas) pareció diferente. Los modelos expertos en matemáticas parecían tener un mejor "autoconocimiento".

El Giro: Los investigadores profundizaron y descubrieron un truco. Los modelos "inteligentes" de matemáticas no estaban realmente pensando en su confianza. Estaban resolviendo el problema en tiempo real mientras respondían a la pregunta de confianza.
La Metáfora: Imagina a un estudiante al que se le pregunta: "¿Estás seguro de que puedes resolver esto?"
- Verdadera Metacognición: El estudiante piensa: "Normalmente tengo dificultades con el cálculo, así que no tengo confianza".
- El Truco de la IA: El estudiante piensa: "Tengo confianza", luego inmediatamente empieza a hacer las matemáticas en su cabeza, la resuelve y dice: "Sí, tengo confianza porque acabo de resolverlo".
- Los investigadores descubrieron que la IA hacía la segunda cosa. No estaba introspeccionando; simplemente estaba haciendo el trabajo e informando el resultado.

La Sorpresa de la "Información Sin Usar"

Aquí está la parte más sorprendente. Los investigadores tomaron el texto que la IA escribió mientras decidía si tenía confianza (su "rastro de razonamiento") y se lo dieron a un programa informático muy simple y tonto.

El Resultado: Este programa simple, que solo buscaba palabras como "quizás", "creo" o "atascado", podía predecir si la IA obtendría la respuesta correcta mejor que la propia respuesta de "Sí/No" de confianza de la IA.
La Metáfora: Imagina a una persona intentando adivinar si ganará una carrera. Dice: "¡Tengo un 100% de seguridad de que ganaré!" (La respuesta binaria). Pero si los escuchas murmurar: "Mis piernas se sienten pesadas, la pista está resbaladiza y no estoy seguro..." (El texto de razonamiento), un observador inteligente podría decir que en realidad van a perder.
La Conclusión: La IA tiene la información sobre su propia incertidumbre oculta en sus pensamientos, pero falla al usarla cuando da su respuesta final de "Sí/No". Es como tener una brújula interna perfecta pero negarse a mirarla cuando te piden direcciones.

Resumen de las Conclusiones Clave

Sin Autoconocimiento Único: Los modelos de IA no tienen una "autoconciencia" especial que distinga sus capacidades específicas de las de otros. Todos reaccionan a la dificultad de la tarea de la misma manera.
La Confianza es una Señal Compartida: Cuando una IA dice que tiene confianza, principalmente te está diciendo lo difícil que es la pregunta, no lo buena que es ese modelo específico en esa pregunta específica.
La Ilusión de las "Matemáticas": Cuando los modelos de matemáticas parecían conocer sus propios límites, en realidad estaban resolviendo el problema primero y luego reportando el resultado, no "conociendo" realmente sus límites de antemano.
Señales Ocultas: La IA genera pistas sobre su incertidumbre en su texto de razonamiento, pero ignora esas pistas cuando da su calificación final de confianza. Una herramienta externa simple puede leer esas pistas mejor de lo que la IA puede.

En resumen: Los modelos de IA son como un coro de cantantes que todos escuchan la misma partitura. Si la canción es difícil, todos dudan. Si es fácil, todos cantan fuerte. Pero ninguno de ellos sabe: "Soy yo el que es malo con las notas altas". Solo saben que la canción es difícil.

Resumen Técnico: Los LLM No Muestran Señales de Metacognición Individuada

Declaración del Problema

Las estrategias actuales de evaluación y despliegue de IA, como el enrutamiento ponderado por confianza, la abstención selectiva y la ponderación de conjuntos, se basan en la suposición de que la confianza declarada por un modelo es informativa sobre su capacidad específica en un elemento dado. Esto presupone una metacognición funcional: la capacidad de un modelo para evaluar sus propias capacidades sin necesariamente ejercerlas. Si bien la calibración agregada (la alineación de la confianza declarada con la precisión general) está bien estudiada, la estructura subyacente de la confianza elicitada en diferentes modelos sigue siendo poco comprendida. Específicamente, no está claro si las señales de confianza son privadas de cada modelo (individuadas) o si simplemente reflejan una comprensión compartida de la dificultad de la tarea.

Los autores definen la metacognición individuada como la capacidad de un modelo para evaluar sus propias capacidades a nivel de elemento de una manera específica de ese modelo, más allá de lo explicado por una señal compartida. El artículo investiga si los Modelos de Lenguaje de Gran Escala (LLM) de vanguardia poseen esta capacidad o si sus juicios de confianza son simplemente un reflejo de la estimación compartida de la dificultad y los sesgos de las tasas base.

Metodología

El estudio evalúa 20 LLM de vanguardia (de proveedores que incluyen Anthropic, OpenAI, Google, DeepSeek, Meta, Mistral y Qwen) a través de seis benchmarks diversos: SQuAD (modificado), MMLU-Pro, LegalBench, MathBench, Omni-MATH y SciCode. Estos benchmarks abarcan la recuperación de hechos, el razonamiento legal, las matemáticas y la generación de código científico.

El diseño experimental implica:

Elicitación de Confianza Binaria: Se pide a los modelos que proporcionen un juicio de confianza binario (sí/no) sobre si pueden resolver una tarea, ya sea prospectivamente (antes de intentarlo) o contrafactualmente (después de tener éxito, evaluando si podrían haberlo hecho sin contexto).
Análisis Factorial Tetracórico: Para manejar la naturaleza binaria de los datos, los autores utilizan matrices de correlación tetracórica para descomponer los juicios de confianza. Este método modela las respuestas binarias como señales continuas umbralizadas, permitiendo la extracción de estructuras de correlación latentes y valores propios para determinar la dimensionalidad intrínseca de las señales de confianza.
Calibración Pareada: Los autores miden la correlación de Kendall's $\tau$ -b entre la diferencia en la confianza y la diferencia en el rendimiento a través de pares de modelos. Esto prueba si un modelo que es más confiado que otro realmente supera al otro en elementos específicos.
Control de Tasas Base: Para distinguir entre la metacognición genuina y los artefactos de diferentes "tasas de sí" (tasas base), el análisis se condiciona a las diferencias en las tasas base de rendimiento y compara los resultados con distribuciones nulas donde las identidades de los elementos se permutan.
Análisis de Información No Utilizada: Para modelos representativos, los autores entrenan un clasificador de regresión logística trivial en características superficiales del texto de razonamiento del modelo (la cadena de pensamiento generada antes del juicio de confianza) para predecir la corrección. Esto prueba si el modelo genera información que no logra utilizar en su salida binaria final de confianza.

Hallazgos Clave

1. La Confianza se Reduce a un Eje Compartido de Dificultad

En los benchmarks de recuperación de hechos e información (SQuAD, MMLU-Pro, LegalBench), la matriz de confianza entre modelos es aproximadamente de rango uno. Un solo factor dominante captura la mayor parte de la varianza latente.

Los modelos coinciden en gran medida en qué elementos son difíciles.
Las diferencias entre los modelos se deben principalmente a sus umbrales de decisión a lo largo de este eje compartido de dificultad, no a un conocimiento propio distinto e individuado.
Las cargas factoriales siguen una relación parabólica con los umbrales de respuesta, lo que indica que los modelos con tasas base extremas (tasas de "sí" muy altas o muy bajas) contribuyen menos información discriminativa.

2. Baja Correlación entre los Ejes de Confianza y Rendimiento

Si bien tanto el rendimiento como la confianza son de bajo rango (aproximadamente de rango uno), sus ejes principales no están alineados en elementos controvertidos.

La correlación entre el eje de confianza latente y el eje de rendimiento latente es alta solo en elementos donde todos los modelos coinciden (elementos triviales de suelo o techo).
En elementos con desacuerdo inter-modelo (el subconjunto "controvertido"), la correlación disminuye significativamente (por ejemplo, de $r=0.591$ a $r=0.230$ en SQuAD).
Esto sugiere que las señales de confianza rastrean pistas superficiales (longitud, vocabulario) en lugar de la dificultad latente que determina el rendimiento real.

3. La Calibración Pareada es Estadísticamente Insignificante sin Diferencias de Tasas Base

La distribución de la calibración pareada ( $\tau$ ) entre modelos es apenas superior a la distribución nula empírica.

Cuando se controlan las diferencias en las tasas base de rendimiento (comparando modelos de capacidad similar), la señal de calibración pareada desaparece.
La pequeña señal estadísticamente significativa observada en el agregado se debe casi enteramente a las diferencias en las tasas base (por ejemplo, un modelo que se niega a responder frente a uno que responde todo), no a una autoevaluación individuada.
Crucialmente, la confianza de un modelo no es un mejor predictor de su propio rendimiento relativo que lo es del rendimiento de otro modelo.

4. La "Excepción del Razonamiento" es un Confundidor

Los benchmarks de razonamiento matemático (MathBench, Omni-MATH) inicialmente parecieron mostrar una calibración individuada más alta. Sin embargo, una estratificación posterior reveló que esto era un confundidor:

La señal se concentró enteramente en pares que consistían en un modelo entrenado en razonamiento y un modelo no entrenado en razonamiento.
Los modelos entrenados en razonamiento a menudo resuelven el problema en línea durante el proceso de elicitación de la confianza (utilizando su cadena de pensamiento para calcular la respuesta antes de juzgar la confianza).
Cuando ambos modelos en un par son capaces de resolver en línea, la diferencia de confianza no lleva ninguna señal estadísticamente significativa.
Esto indica que la señal surge de la computación simbólica (resolver el problema) en lugar de la metacognición subsimbólica (introspección sobre la capacidad sin resolver).

5. Los Modelos Generan Información No Utilizada

Un clasificador trivial de regresión logística entrenado en características superficiales del texto de razonamiento del modelo sobre su propio juicio de confianza (por ejemplo, palabras de cautela, marcadores de autocorrección, longitud) supera o iguala el propio juicio binario de confianza del modelo en tres de los seis benchmarks.

Esto demuestra que la información requerida para realizar autoevaluaciones precisas está presente en la traza de generación del modelo, pero no se utiliza de manera confiable en la salida binaria final.

Significado y Afirmaciones

El artículo concluye que no hay evidencia de metacognición individuada significativa en ningún dominio probado bajo sondas binarias.

Señal Compartida: La variación de la confianza a través de los modelos de vanguardia se reduce en gran medida a un eje compartido de estimación de dificultad con umbrales específicos del modelo.
Política vs. Capacidad: La expresión de la confianza parece ser una política a nivel de modelo que puede ser remodelada por intervenciones (como el Aprendizaje por Refuerzo a partir de Recompensas Verificables), en lugar de una capacidad emergente subsimbólica de auto-monitoreo.
Implicaciones para el Enrutamiento: La suposición de que la confianza declarada de un modelo es informativa sobre su capacidad específica en relación con otros modelos es en gran parte infundada. Las estrategias de enrutamiento ponderado por confianza que dependen de esta suposición pueden ser subóptimas, ya que la confianza de un modelo a menudo no es más predictiva de su propio éxito que un consenso genérico de la población.
Modelos de Razonamiento: Las aparentes capacidades metacognitivas de los modelos entrenados en razonamiento son en gran medida artefactos de que resuelven problemas en línea para determinar la confianza, en lugar de una verdadera introspección.

Los autores enfatizan que, si bien los modelos poseen conocimiento de lo que los modelos de lenguaje como clase son capaces de hacer, tienen poca comprensión de sus capacidades específicas a nivel de elemento. El estudio sugiere que los LLM actuales carecen de la autoconciencia "noética" requerida para la metacognición funcional tal como se define en la ciencia cognitiva.