Evaluating Developmental Cognition Capabilities of LLMs

Resumo Técnico: Avaliação das Capacidades Cognitivas de Desenvolvimento de LLMs

Declaração do Problema
Os sistemas de IA conversacional estão cada vez mais personalizados com base em preferências, históricos e objetivos do usuário. No entanto, as abordagens atuais ignoram em grande parte como os usuários interpretam e constroem significado a partir das saídas do modelo. Baseando-se na teoria construtivista-desenvolvimental de Robert Kegan, os autores postulam que os indivíduos diferem em sua transformação "sujeito–objeto" — especificamente, aquilo a que estão sujeitos versus aquilo que podem refletir como um objeto. Ignorar essas diferenças nas estruturas de construção de significado pode levar a modos de falha, como saídas homogeneizadas ou reforço sycophântico das crenças do usuário. O desafio central é que os métodos padrão para avaliar estágios de desenvolvimento (por exemplo, a Entrevista Sujeito–Objeto) são liderados por especialistas, consomem muito tempo e não escalam para a avaliação comparativa de Modelos de Linguagem de Grande Escala (LLMs). Além disso, os instrumentos existentes de completamento de frases são frequentemente proprietários, extensos ou contêm prompts invasivos inadequados para avaliação automatizada.

Metodologia
Para abordar essas limitações, os autores introduzem o Teste de Completamento de Frases Desenvolvimental (DSCT), um instrumento autoadministrado de 20 itens projetado para elicitar texto rico o suficiente para que avaliadores humanos treinados ou LLMs atribuam um rótulo desenvolvimental keganiano tentativo. O DSCT remove itens com viés de gênero e culturalmente invasivos encontrados em instrumentos mais antigos (como o Loevinger SCT) e utiliza um design de duas vozes: 10 itens na primeira pessoa (autoavaliação) e 10 na terceira pessoa (avaliação abstrata de um outro genérico).

O estudo avalia a recuperação de sinal desenvolvimental em três regimes distintos:

1. Personas Simuladas: Os autores geraram 138 respostas sintéticas do DSCT usando 23 perfis desenvolvimentais descritos por especialistas (estágios 2 a 5, incluindo transições) ancorados na literatura anterior. Estes foram gerados por um simulador (Gemini 3.1 Pro) condicionado a personas específicas. Em seguida, doze LLMs de fronteira e compactos foram encarregados de classificar essas respostas em estágios de Kegan.
2. Respondentes Humanos Reais: O DSCT foi administrado a 83 participantes humanos. Três avaliadores humanos treinados em Kegan forneceram rótulos de consenso para cada conjunto de respostas. Dois LLMs de melhor desempenho (Claude Opus 4.6 e Gemini 3.1 Pro) foram então solicitados a classificar as mesmas respostas humanas para medir a concordância com os avaliadores humanos.
3. Respostas Padrão Geradas por Modelo: Um conjunto mais amplo de 29 LLMs (variando de GPT-3.5 aos modelos de fronteira atuais) foi solicitado a responder ao DSCT sem qualquer condicionamento de persona ou instruções de estágio-alvo. As saídas resultantes foram avaliadas para analisar a estrutura desenvolvimental inerente à geração de texto padrão dos modelos.

Principais Contribuições

1. Desenvolvimento de Instrumento: A introdução do DSCT, uma ferramenta autoadministrada, não invasiva e de 20 itens, especificamente projetada para avaliação correspondente de humanos e LLMs da estrutura semelhante a estágios em texto elicito.
2. Benchmarking de LLMs: Um benchmark abrangente de doze LLMs em rotulagem keganiana. O estudo demonstra que os principais modelos de fronteira podem recuperar rótulos pretendidos pelo simulador com alta precisão sob condições sintéticas controladas, enquanto o desempenho em dados humanos reais é razoável, mas limitado pelo ruído inerente nas respostas humanas.
3. Análise da Estrutura da Saída do Modelo: Uma análise revelando que os LLMs diferem não apenas em sua capacidade de classificar a estrutura desenvolvimental, mas também na estrutura do texto que geram por padrão. Modelos maiores e mais recentes tendem a produzir texto avaliado em estágios desenvolvimentais mais altos do que modelos menores ou mais antigos.

Resultados

• Validação Sintética: Sob condições sintéticas controladas, os principais modelos de fronteira (por exemplo, Claude Opus 4.6, Gemini 3.1 Pro, Grok 4.2) alcançaram 100% de precisão na recuperação dos rótulos de estágio pretendidos pelo simulador. Modelos menores/compactos mostraram degradação significativa, particularmente em estágios de transição (por exemplo, 3/4, 4/5), e exibiram um viés sistemático de alta em suas classificações.
• Concordância Humano-LLM: Em respostas reais do DSCT de humanos, a concordância entre avaliadores humanos e classificadores LLM foi "razoável" ($\kappa$ quadrático ponderado = 0,49). A concordância exata foi de 46,3%, mas a concordância dentro de $\pm0,5$ estágio foi de 82,9%. Diferentemente dos ambientes sintéticos, os LLMs foram ligeiramente mais conservadores (atribuindo estágios mais baixos) do que os avaliadores humanos em texto estruturado. O estudo observa que os próprios avaliadores humanos mostraram apenas concordância razoável ($\kappa = 0,31$), sugerindo que a "verdade fundamental" para testes autoadministrados de 20 itens é inerentemente probabilística.
• Tendências de Saída do Modelo: Respostas padrão de modelos mais novos e maiores foram avaliadas em estágios desenvolvimentais mais altos (estágio médio 3,97 para modelos de fronteira) em comparação com modelos mais antigos ou compactos (estágio médio 3,55). Foi encontrada uma correlação positiva significativa entre a data de lançamento do modelo e a pontuação desenvolvimental ($R^2 = 0,698$).
• Formato de Elicitação: O estudo descobriu que o sinal desenvolvimental é "mais limpo" em texto estruturado e elicito (como o DSCT) do que em traços conversacionais não restritos. A inferência de estágio a partir de histórico de chat não estruturado resultou em forte viés de alta e concordância muito fraca com julgamentos de questionário estruturado.

Significado e Alegações
O artigo afirma que o sinal desenvolvimental é recuperável a partir de texto no estilo DSCT, mas a recuperabilidade depende fortemente da fonte do texto. A restrição central para a IA conversacional consciente de estágio é identificada não apenas como precisão do classificador, mas como a disponibilidade de sinal desenvolvimental no texto elicito.

Os autores argumentam que a elicitação estruturada (como o DSCT) fornece uma base mais confiável para adaptação desenvolvimental do que a inferência passiva a partir de linguagem arbitrária. Eles enfatizam que seu trabalho não mede o estágio desenvolvimental de um usuário como um traço estável ou fato diagnóstico, mas sim caracteriza a "estrutura semelhante a estágios" presente em um conjunto específico de respostas. As descobertas sugerem que, para que a IA conversacional se adapte efetivamente às estruturas de construção de significado dos usuários, ela deve recorrer à elicitação estruturada para acessar sinais desenvolvimentais recuperáveis, em vez de tentar inferir estágios desenvolvimentais complexos a partir de traços de interação ruidosos e não estruturados.