🤖 AI

Evaluating Developmental Cognition Capabilities of LLMs

Este artículo introduce la Prueba de Completado de Oraciones del Desarrollo (DSCT) para evaluar la capacidad de los modelos de lenguaje grandes (LLM) de detectar etapas cognitivas del desarrollo basadas en la teoría de Robert Kegan, hallando que, aunque los modelos pueden identificar con precisión las etapas previstas en personalidades simuladas y mostrar patrones de desarrollo consistentes en sus propias respuestas, su acuerdo con las respuestas humanas reales sigue siendo moderado, lo que destaca que el principal desafío para la IA consciente de las etapas radica en la disponibilidad de la señal de desarrollo dentro del texto elicito y no en la precisión del clasificador por sí sola.

Autores originales: Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco

Publicado 2026-05-12

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: ¿Cómo "Pensamos" sobre el Pensamiento?

Imagina que estás hablando con un robot muy inteligente. Por lo general, intentamos hacer que el robot entienda qué quieres (tus objetivos) o qué sabes (tus hechos). Pero este artículo plantea una pregunta diferente: ¿Cómo das sentido al mundo?

Los autores utilizan una teoría psicológica de Robert Kegan para examinar esto. Piensa en la teoría de Kegan como una escalera de "construcción de significado".

Peldaños inferiores: Ves el mundo como una serie de reglas o como lo que otros esperan de ti. (Por ejemplo: "Hago esto porque mi jefe lo dijo".)
Peldaños superiores: Construyes tu propia brújula interna y puedes retroceder para observar tus propias creencias. (Por ejemplo: "Hago esto porque he analizado la situación y he decidido que se alinea con mis propios valores, incluso si mi jefe no está de acuerdo".)

El artículo intenta averiguar si la IA puede detectar en qué "peldaño" de la escalera se encuentra una persona simplemente leyendo su texto.

El Problema: Las Pruebas Antiguas Eran Demasiado Pesadas

Tradicionalmente, para determinar en qué lugar de esta escalera se encuentra alguien, los psicólogos deben sentarse para una entrevista larga y profunda (como una sesión de terapia de 90 minutos). Es como intentar pesar una ballena levantándola; es demasiado pesado y lento para hacerlo con miles de personas o para probar la IA.

También existen pruebas más cortas (completación de oraciones), pero a menudo son antiguas, privadas (tienes que comprarlas) o hacen preguntas muy personales sobre sexo y familia que se sienten invasivas.

La Solución: El "DSCT" (Una Nueva Prueba Más Ligera)

Los autores crearon una nueva prueba de 20 preguntas llamada Prueba de Completación de Oraciones del Desarrollo (DSCT).

La Analogía: Imagina un juego de "rellenar los espacios en blanco". En lugar de preguntar "¿Cuál es tu color favorito?", pregunta cosas como: "Cuando se rompe una promesa, me siento..." o "Cuando una persona tiene que elegir entre dos buenas opciones, ellos...".
El Objetivo: Las respuestas no se califican por ser "correctas" o "incorrectas". Se califican según la estructura del pensamiento. ¿Suena la respuesta como alguien que sigue a la multitud, o como alguien con su propio sistema interno?

Los Tres Experimentos: La "Prueba de Sabor"

Los investigadores realizaron tres "pruebas de sabor" diferentes para ver si la IA podía leer estas respuestas correctamente.

1. La Prueba del "Robot Actuando como Humano" (Personas Simuladas)

El Escenario: Pidieron a una IA superinteligente que fingiera ser diferentes tipos de personas (desde "seguidor de reglas" hasta "pensador independiente") y completara la prueba.
El Resultado: Los clasificadores de IA (los "calificadores") fueron increíblemente buenos en esto. Cuando la IA sabía exactamente qué personaje debía interpretar, las otras IAs podían adivinar el "estilo de pensamiento" con una precisión casi perfecta.
La Metáfora: Es como un actor leyendo un guion perfectamente. Los otros actores (los calificadores) podían decir fácilmente exactamente qué personaje se estaba interpretando.

2. La Prueba del "Humano Real"

El Escenario: Administraron la prueba a 83 humanos reales. Luego, pidieron tanto a expertos humanos como a la IA que calificaran las respuestas.
El Resultado: Esto fue más desordenado. La IA y los expertos humanos coincidieron aproximadamente en la mitad de las veces sobre el "peldaño" exacto, pero coincidieron mucho más a menudo en el vecindario general (por ejemplo, ambos dijeron "algo entre el peldaño 3 y el 4").
La Metáfora: Los humanos reales son desordenados. A veces escriben respuestas cortas, a veces largas, y a veces se contradicen. Es como intentar adivinar el estado de ánimo de alguien leyendo un mensaje de texto que enviaron mientras llegaban tarde; es más difícil que leer un guion. La IA fue un poco más conservadora (tacaña) que los expertos humanos, rara vez otorgando un "peldaño alto" a menos que estuviera segura.

3. La Prueba de la "IA Hablando Consigo Misma" (Respuestas Predeterminadas)

El Escenario: Pidieron a los modelos de IA que realizaran la prueba sin fingir ser nadie. Simplemente respondieron como ellos mismos.
El Resultado: Los modelos de IA más nuevos y grandes dieron respuestas que sonaban como si estuvieran en un peldaño más alto de la escalera que los modelos más pequeños y antiguos.
La Metáfora: Imagina pedirle a un niño pequeño y a un estudiante universitario que llenen la misma prueba de "rellenar los espacios en blanco". Las respuestas del estudiante universitario suenan naturalmente más complejas y autorreflexivas. El artículo encontró que a medida que los modelos de IA se vuelven más grandes y nuevos, su "voz predeterminada" suena más como la de un adulto autorreflexivo.

Las Conclusiones Principales

La IA es buena detectando patrones, pero la señal importa: Si el texto es limpio y estructurado (como la prueba simulada), la IA es excelente para determinar el "estilo de pensamiento". Si el texto es desordenado (como las respuestas humanas reales), es más difícil, pero aún es posible obtener una idea general.
La IA no está "pensando" como un humano: El artículo tiene cuidado de decir que la IA no tiene realmente una etapa de desarrollo. Es solo que las palabras que genera la IA suenan como si provinieran de una etapa específica.
La "Voz" de la IA importa: Los modelos de IA más grandes y nuevos tienden a hablar de una manera que suena más "autoescrita" (más alta en la escalera). Esto podría significar que interpretan a los usuarios humanos de manera diferente a como lo hacen los modelos más pequeños.

Qué Significa Esto para el Futuro (Según el Artículo)

El artículo sugiere que para que la IA sea verdaderamente personalizada, no debería aprender solo qué te gusta (por ejemplo: "Me gustan las películas de ciencia ficción"). Debería intentar entender cómo piensas (por ejemplo: "¿Necesitas que te dé las reglas, o quieres que desafíe tus ideas?").

Sin embargo, los autores advierten que no podemos adivinar esto a partir de una conversación aleatoria. Necesitamos formas estructuradas de preguntar (como esta prueba) para obtener una lectura confiable. No puedes determinar la "escalera de pensamiento" de alguien solo echando un vistazo a un mensaje de texto rápido; necesitas una conversación adecuada para ver la estructura.

En resumen: El artículo creó una nueva prueba más corta para medir cómo las personas dan sentido al mundo. Descubrieron que la IA puede leer esta prueba bien, especialmente cuando las respuestas son claras, pero las respuestas humanas reales son desordenadas. Además, los propios modelos de IA están "creciendo" en su estilo de escritura, sonando más complejos a medida que se vuelven más grandes.

Resumen Técnico: Evaluación de las Capacidades Cognitivas del Desarrollo de los LLM

Enunciado del Problema
Los sistemas de IA conversacional se personalizan cada vez más en función de las preferencias, historias y objetivos del usuario. Sin embargo, los enfoques actuales ignoran en gran medida cómo los usuarios interpretan y construyen significado a partir de las salidas del modelo. Basándose en la teoría del desarrollo constructivo de Robert Kegan, los autores postulan que los individuos difieren en su transformación "sujeto-objeto", específicamente en lo que están sujetos versus lo que pueden reflexionar como un objeto. Ignorar estas diferencias en las estructuras de construcción de significado puede conducir a modos de fallo como salidas homogeneizadas o refuerzo sycophántico de las creencias del usuario. El desafío central es que los métodos estándar para evaluar las etapas de desarrollo (por ejemplo, la Entrevista Sujeto-Objeto) están liderados por expertos, son intensivos en tiempo y no escalan para la evaluación comparativa de Modelos de Lenguaje Grande (LLM). Además, los instrumentos existentes de finalización de oraciones suelen ser propietarios, extensos o contienen preguntas invasivas inadecuadas para la evaluación automatizada.

Metodología
Para abordar estas limitaciones, los autores introducen la Prueba de Finalización de Oraciones de Desarrollo (DSCT), un instrumento de 20 ítems autoadministrado diseñado para elicitar texto lo suficientemente rico como para que evaluadores humanos entrenados o LLM asignen una etiqueta de desarrollo keganiana tentativa. La DSCT elimina ítems con sesgo de género y culturalmente invasivos encontrados en instrumentos más antiguos (como la Loevinger SCT) y utiliza un diseño de dos voces: 10 ítems en primera persona (autoevaluación) y 10 en tercera persona (evaluación abstracta de un otro genérico).

El estudio evalúa la recuperación de la señal de desarrollo a través de tres regímenes distintos:

Personas Simuladas: Los autores generaron 138 respuestas sintéticas de DSCT utilizando 23 perfiles de desarrollo descritos por expertos (etapas 2 a 5, incluidas las transiciones) anclados en literatura previa. Estas fueron generadas por un simulador (Gemini 3.1 Pro) condicionado a personas específicas. Luego, doce LLM de vanguardia y compactos recibieron la tarea de clasificar estas respuestas en etapas keganianas.
Respondentes Humanos Reales: La DSCT se administró a 83 participantes humanos. Tres evaluadores humanos entrenados en Kegan proporcionaron etiquetas de consenso para cada conjunto de respuestas. Luego, se pidió a dos LLM de mejor rendimiento (Claude Opus 4.6 y Gemini 3.1 Pro) que clasificaran las mismas respuestas humanas para medir el acuerdo con los evaluadores humanos.
Respuestas Predeterminadas Generadas por el Modelo: Se solicitó a un conjunto más amplio de 29 LLM (desde GPT-3.5 hasta modelos de vanguardia actuales) que respondieran a la DSCT sin ninguna condición de persona ni instrucciones de etapa objetivo. Las salidas resultantes fueron calificadas para analizar la estructura de desarrollo inherente a la generación de texto predeterminada de los modelos.

Contribuciones Clave

Desarrollo de Instrumentos: La introducción de la DSCT, una herramienta de 20 ítems, no invasiva y autoadministrada, diseñada específicamente para la evaluación coincidente de humanos y LLM de la estructura tipo etapa en el texto elicito.
Evaluación Comparativa de LLM: Una evaluación comparativa exhaustiva de doce LLM en la etiquetación keganiana. El estudio demuestra que los modelos de vanguardia superiores pueden recuperar las etiquetas previstas por el simulador con alta precisión bajo condiciones sintéticas controladas, mientras que el rendimiento en datos humanos reales es justo pero limitado por el ruido inherente en las respuestas humanas.
Análisis de la Estructura de la Salida del Modelo: Un análisis que revela que los LLM difieren no solo en su capacidad para clasificar la estructura de desarrollo, sino también en la estructura del texto que generan por defecto. Los modelos más grandes y nuevos tienden a producir texto calificado en etapas de desarrollo más altas que los modelos más pequeños o antiguos.

Resultados

Validación Sintética: Bajo condiciones sintéticas controladas, los modelos de vanguardia superiores (por ejemplo, Claude Opus 4.6, Gemini 3.1 Pro, Grok 4.2) alcanzaron un 100% de precisión en la recuperación de las etiquetas de etapa previstas por el simulador. Los modelos más pequeños/compactos mostraron una degradación significativa, particularmente en las etapas de transición (por ejemplo, 3/4, 4/5), y exhibieron un sesgo sistemático hacia arriba en sus clasificaciones.
Acuerdo Humano-LLM: En las respuestas reales de la DSCT de humanos, el acuerdo entre los evaluadores humanos y los clasificadores LLM fue "justo" ( $\kappa$ cuadrático ponderado = 0.49). El acuerdo exacto fue del 46.3%, pero el acuerdo dentro de $\pm0.5$ de etapa fue del 82.9%. A diferencia de los entornos sintéticos, los LLM fueron ligeramente más conservadores (asignando etapas más bajas) que los evaluadores humanos en texto estructurado. El estudio señala que los propios evaluadores humanos mostraron solo un acuerdo justo ( $\kappa = 0.31$ ), lo que sugiere que la "verdad fundamental" para las pruebas autoadministradas de 20 ítems es inherentemente probabilística.
Tendencias en la Salida del Modelo: Las respuestas predeterminadas de modelos más nuevos y grandes fueron calificadas en etapas de desarrollo más altas (etapa media 3.97 para modelos de vanguardia) en comparación con modelos más antiguos o compactos (etapa media 3.55). Se encontró una correlación positiva significativa entre la fecha de lanzamiento del modelo y la puntuación de desarrollo ( $R^2 = 0.698$ ).
Formato de Elicitación: El estudio encontró que la señal de desarrollo es "más limpia" en texto estructurado y elicito (como la DSCT) que en rastros conversacionales sin restricciones. La inferencia de etapas a partir del historial de chat no estructurado resultó en un fuerte sesgo hacia arriba y un acuerdo muy débil con los juicios de cuestionarios estructurados.

Significado y Afirmaciones
El artículo afirma que la señal de desarrollo es recuperable a partir de texto estilo DSCT, pero la recuperabilidad depende en gran medida de la fuente del texto. La restricción central para la IA conversacional consciente de la etapa se identifica no meramente como la precisión del clasificador, sino como la disponibilidad de la señal de desarrollo en el texto elicito.

Los autores argumentan que la elicita ción estructurada (como la DSCT) proporciona una base más fiable para la adaptación del desarrollo que la inferencia pasiva a partir de lenguaje arbitrario. Enfatizan que su trabajo no mide la etapa de desarrollo de un usuario como un rasgo estable o un hecho diagnóstico, sino que caracteriza la "estructura tipo etapa" presente en un conjunto específico de respuestas. Los hallazgos sugieren que, para que la IA conversacional se adapte eficazmente a las estructuras de construcción de significado de los usuarios, debe basarse en la elicita ción estructurada para acceder a señales de desarrollo recuperables, en lugar de intentar inferir etapas de desarrollo complejas a partir de rastros de interacción ruidosos y no estructurados.