💬 NLP

Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach

Este artigo apresenta o Perfilamento de Diagnóstico Cognitivo (CDP), uma estrutura zero-shot que induz grandes modelos de linguagem a simular diversos perfis cognitivos de examinandos, melhorando significativamente seu alinhamento com examinadores humanos através de distribuições de habilidade, padrões de maestria e dificuldades de itens para permitir uma calibração psicométrica prática e de baixo custo.

Autores originais: Wenjie Zhou, Yunting Liu, Renjiao Tang, Mark Wilson

Publicado 2026-07-30

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wenjie Zhou, Yunting Liu, Renjiao Tang, Mark Wilson

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um professor tentando escrever uma nova prova de matemática. Antes de entregá-la aos alunos reais, você precisa saber: Esta questão é muito difícil? Aquela é muito fácil? Geralmente, a única maneira de descobrir é aplicar o teste a um grande grupo de crianças reais, corrigir as provas e processar os números. Isso é lento, caro e dá muito trabalho.

Entra o "estudante simulado". Cientistas têm tentado usar Inteligência Artificial (IA) para desempenhar o papel desses estudantes. A ideia é pedir a um computador superinteligente que faça a prova, gere respostas e, então, use essas respostas para descobrir o quão difíceis são as questões. Parece um atalho para economizar tempo e dinheiro. Mas aqui está o problema: esses estudantes de IA são perfeitos demais. Eles são como uma turma onde cada aluno é um gênio que nunca comete erros e responde a todas as perguntas exatamente da mesma maneira. Se você tentar avaliar uma prova baseada em uma classe de gênios perfeitos, pensará que todas as questões são fáceis e perderá os alunos que estão realmente com dificuldades. A IA é muito uniforme e precisa para ser um substituto realista de uma sala de aula real e caótica.

É aqui que entra um novo estudo de Wenjie Zhou e colegas. Eles fizeram uma pergunta simples: Podemos ensinar a IA a ser um aluno "ruim"? Não apenas um aluno ruim aleatório, mas um aluno com uma mistura específica e realista de habilidades — alguém que é ótimo em somar frações, mas terrível em simplificá-las? Eles desenvolveram um método chamado Perfilamento de Diagnóstico Cognitivo (CDP - Cognitive Diagnostic Profiling). Em vez de apenas pedir à IA para "fazer a prova", eles fornecem uma "ficha de personagem" detalhada descrevendo quais habilidades o estudante de IA domina e quais lhe faltam. Ao alimentar a IA com esses perfis específicos, eles conseguiram criar uma sala de aula simulada que realmente se parece e se comporta como uma real, com uma mistura de gênios, alunos medianos e aqueles que têm dificuldades com conceitos específicos.

O Problema dos Estudantes de IA "Perfeitos"

Os pesquisadores começaram testando o que acontece quando você apenas pede a um Modelo de Linguagem Grande (LLM) — o tipo de IA que alimenta os chatbots — para fazer uma prova. Eles usaram um conjunto de dados clássico: 536 alunos reais do ensino fundamental que fizeram um teste de 15 questões sobre subtração de frações. Este teste foi projetado para verificar cinco habilidades específicas, como "emprestar de um número inteiro" ou "converter números inteiros em frações".

Quando a IA fez a prova sem instruções especiais (a linha de base "sem perfil"), ela agiu como um super-humano. Ela acertou quase tudo. Os resultados eram de uma uniformidade entediante. Os estudantes de IA estavam todos agrupados no topo da faixa de pontuação e a prova parecia incrivelmente fácil. Os pesquisadores descobriram que as respostas da IA não correspondiam aos dados humanos reais de forma alguma. A IA era inteligente e consistente demais, criando uma "maldição da hiperprecisão", onde falhou em simular a diversidade de uma sala de aula real. Era como tentar prever o tempo olhando apenas para dias ensolarados; você perde a chuva, as tempestades e as nuvens.

A Solução: Dar à IA uma "Ficha de Personagem"

Para corrigir isso, a equipe introduziu o Perfilamento de Diagnóstico Cognitivo (CDP). Pense nisso como dar à IA uma biografia detalhada antes de ela começar a prova.

O Projeto: Primeiro, eles decomporam a prova em suas cinco habilidades principais (atributos).
O Perfil: Em vez de apenas dizer "seja um aluno", eles criaram um "perfil" para cada estudante simulado. Esse perfil é uma lista de interruptores binários: "Consegue fazer a Habilidade A? Sim. Consegue fazer a Habilidade B? Não."
A Tradução: Eles transformaram esses interruptores em linguagem natural. Por exemplo, um perfil poderia ler: "Você é um aluno que é muito bom em simplificar frações, mas tem dificuldade em emprestar de números inteiros. Você entende o básico, mas se confunde quando os números ficam complicados."
A Simulação: Eles forneceram essa descrição à IA junto com as questões da prova. A IA então respondeu às perguntas como se fosse aquele estudante específico.

Eles testaram duas formas de criar esses perfis. Na primeira forma (CDP Não Informativo), eles atribuíram habilidades aleatoriamente aos estudantes de IA, criando uma ampla mistura de capacidades. Na segunda forma (CDP Informativo), eles usaram dados dos alunos humanos reais para decidir quantos "gênios", alunos "medianos" e alunos "com dificuldades" criar, imitando a distribuição real de habilidades em uma sala de aula real.

Os Resultados: Do "Perfeito" ao "Real"

Os resultados foram transformadores. Quando os estudantes de IA receberam essas fichas de personagem, a simulação tornou-se subitamente realista.

A Distribuição: Na versão "sem perfil", os estudantes de IA estavam todos concentrados no topo. Com os perfis, as pontuações se espalharam. O método "CDP Informativo" criou uma curva de sino que era quase idêntica à dos estudantes humanos reais. A sobreposição entre a distribuição de habilidade da IA e a distribuição dos humanos reais saltou de um baixo de 0,36 para um alto de 0,83 (onde 1,0 significa que são idênticos).
Os Perfis: Os pesquisadores verificaram se a IA realmente agia como o personagem que estava interpretando. Se o perfil dizia "ruim em emprestar", a IA errava essas questões? Sim. A correlação entre o desempenho da IA e o desempenho humano esperado para aquele perfil de habilidade específico foi incrivelmente alta, variando de 0,92 a 0,98. Isso significa que a IA não estava apenas adivinhando; ela estava genuinamente simulando o estado cognitivo de um aluno com aquelas forças e fraquezas específicas.
A Dificuldade do Teste: Esta é a parte mais importante. O objetivo era ver se a IA poderia ajudar a descobrir o quão difíceis eram as questões da prova. Sem os perfis, a IA achava que as questões eram fáceis demais (o erro na estimativa de dificuldade foi enorme, com um "erro quadrático médio" de mais de 6). Com os perfis, as estimativas da IA tornaram-se muito mais precisas. Para o modelo de melhor desempenho (Gemini 3.0 Flash com o modo "Thinking" habilitado), o erro caiu de 6,31 para apenas 0,90. A IA passou de achar que cada questão era uma moleza para prever com precisão quais questões eram difíceis e quais eram fáceis, correspondendo quase perfeitamente aos dados humanos reais.

Por Que Isso Importa

O estudo sugere que não precisamos esperar que mil alunos reais façam uma prova para saber se ela é boa. Ao usar essa abordagem baseada em perfis, podemos gerar dados simulados realistas que ajudam educadores a calibrar testes de forma muito mais rápida e barata. A principal lição é que a IA precisa ser informada de quem ela está fingindo ser. Sem um perfil cognitivo específico, a IA retorna ao seu padrão de robô perfeito e irrealista. Com um perfil, ela se torna um estudante diverso, falho e realista.

Os pesquisadores descobriram que este método funciona melhor com modelos que possuem capacidades de "raciocínio" (como o modo "Thinking" em alguns modelos de IA), que parecem melhores em seguir a lógica complexa dos perfis de habilidades. No entanto, eles também observaram que isso é uma simulação. Embora as respostas da IA correspondam à matemática dos alunos humanos, não sabemos se a IA está realmente "pensando" da mesma forma que um humano ou apenas prevendo as palavras certas. Mas, para fins de design de melhores testes, a simulação é uma ferramenta poderosa que nos aproxima de um grande salto em direção a um futuro onde o desenvolvimento de testes é mais rápido, mais barato e mais inclusivo.

Resumo Técnico: Alinhando Examinandos Simulados por LLM e Humanos para Calibração Psicométrica

Declaração do Problema
A calibração psicométrica para avaliações educacionais depende tradicionalmente da coleta de dados dispendiosa e demorada de amostras humanas representativas. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma rota potencial para simular examinandos para calibração precoce de itens, a aplicação direta de LLMs como respondedores zero-shot provou ser insuficiente. A literatura identifica dois modos primários de falha na simulação não guiada de LLMs: "menos alinhamento", onde os modelos exibem um viés de localização induzido pelo treinamento (atuando como examinandos muito mais fortes que a população humana, frequentemente atingindo o percentil 95–99), e "menos variabilidade", onde as respostas simuladas se agrupam em uma faixa estreita, falhando em reproduzir a dispersão das distribuições de habilidade humana. Consequentemente, embora os LLMs possam preservar a ordenação relativa da dificuldade dos itens, eles falham em alinhar-se com as distribuições alvo em termos absolutos, tornando suas estimativas de parâmetros não confiáveis para uso operacional.

Metodologia: Perfil de Diagnóstico Cognitivo (CDP)
Para abordar essas limitações, os autores propõem o Perfil de Diagnóstico Cognitivo (CDP), uma estrutura zero-shot que utiliza Modelos de Diagnóstico Cognitivo (CDMs) para estruturar o prompting de LLMs. O CDP traduz padrões de maestria de atributos binários em declarações de habilidades em linguagem natural, que são então utilizadas para condicionar as respostas do LLM. A estrutura opera através de seis etapas sequenciais:

Decomposição do Constructo: Definir o constructo do teste como um conjunto de atributos binários discretos (ex: habilidades cognitivas específicas).
Formação de Padrões de Maestria: Representar cada examinando simulado como um vetor binário indicando atributos dominados (1) ou não dominados (0).
Renderização em Linguagem Natural: Converter o vetor binário em um perfil de linguagem natural descrevendo as capacidades e déficits específicos de habilidade do examinando.
Montagem do Pool Simulado: Amostrar padrões de maestria a partir de uma distribuição. O estudo avalia duas estratégias de amostragem:
- CDP Não Informativo: Amostragem uniforme através de todos os padrões possíveis ( $2^K$ ).
- CDP Informativo: Amostragem proporcional à prevalência de padrões em uma população humana alvo (derivada de um ajuste de CDM prévio).
Geração de Respostas: O LLM gera respostas para itens de teste condicionadas ao perfil de linguagem natural atribuído.
Análise Psicométrica: Modelos padrão (CTT e 1PL IRT) são aplicados aos dados gerados para estimar parâmetros.

O estudo utilizou o conjunto de dados de subtração de frações de Tatsuoka (536 examinandos humanos, 15 itens, 5 atributos) como a verdade fundamental (ground truth). Oito configurações de LLM (incluindo variantes de Gemini, DeepSeek, Qwen e Mistral, com e sem modos "Thinking") foram avaliadas sob três condições: uma linha de base sem perfil (C1), CDP não informativo (C2) e CDP informativo (C3).

Principais Resultados
A avaliação focou em três níveis de alinhamento: nível de distribuição, nível de perfil e nível de item.

Alinhamento de Nível de Distribuição: A linha de base sem perfil (C1) resultou em médias deslocadas e desvios padrão comprimidos (ex: SDs tão baixos quanto 0,03), com baixos coeficientes de sobreposição (OVL) contra os dados humanos (0,32–0,53). Tanto C2 quanto C3 melhoraram significativamente essas métricas. A condição informativa (C3) geralmente apresentou o maior sobreposição (ex: OVL subindo de 0,36 para 0,83 para o Gemini 3.0 Flash Thinking) e distribuições de habilidade mais próximas da referência humana (Média $\approx$ 0, SD $\approx$ 1).
Alinhamento de Nível de Perfil: Sob C2, os examinandos simulados atribuídos a perfis de maestria específicos alcançaram pontuações totais altamente correlacionadas com as expectativas humanas para esses perfis (correlações de Pearson ponderadas $r_w$ entre 0,92 e 0,98). Isso indica que, quando fornecidos com perfis cognitivos explícitos, os LLMs podem simular com precisão o desempenho de subgrupos cognitivos específicos. No entanto, o viés absoluto variou por modelo; por exemplo, o Gemini 3.1 Pro (Thinking) mostrou viés mínimo (+0,40), enquanto outros, como o Mistral Small 3.2, mostraram subestimação significativa (-4,20).
Recuperação de Nível de Item: O CDP melhorou substancialmente a recuperação dos parâmetros de dificuldade dos itens.
- Ordenação Relativa: As correlações de Spearman para a dificuldade 1PL melhoraram dramaticamente (ex: Gemini 3.0 Flash Thinking subiu de 0,24 em C1 para 0,90 em C3).
- Alinhamento Absoluto: O Erro Quadrático Médio (RMSE) para a dificuldade 1PL diminuiu significativamente (ex: de 6,31 para 0,90 para o Gemini 3.0 Flash Thinking).
- Diferenças de Modelo: Modelos "Thinking" geralmente superaram seus equivalentes não-"thinking", particularmente na recuperação de nível de item. A condição informativa (C3) proporcionou os ganhos mais significativos quando o alinhamento de nível de perfil subjacente era forte; em casos onde o alinhamento de nível de perfil era fraco (ex: DeepSeek V3.2 Thinking), a adição de priors populacionais por vezes degradou o desempenho.

Significância e Alegações
O artigo afirma que o CDP oferece um método estruturado, de baixo custo e zero-shot para trazer os examinandos simulados por LLM para um alinhamento psicométrico mais próximo dos examinandos humanos. Os autores argumentam que a estrutura valida o princípio de que a simulação de medição, assim como o design de medição, deve repousar sobre um modelo explícito de cognição. Ao utilizar artefatos de avaliação existentes (como matrizes Q e especificações de atributos), o CDP permite que programas de testes gerem dados de examinandos plausíveis sem a intensidade computacional do ajuste fino (fine-tuning) ou o custo de testes piloto humanos.

O estudo posiciona o CDP como uma ferramenta prática para:

Calibração Precoce de Itens: Fornecer estimativas de dificuldade aproximadas e rápidas para novos itens antes do teste de campo humano.
Aumento de Dados: Suplementar dados humanos escassos ou expandir a cobertura de perfis cognitivos raros.
Revisão de Equidade: Gerar respostas através de todo o espectro de perfis cognitivos para detectar possível viés de item antes da implantação operacional.

Os autores mantêm uma postura modesta, observando que, embora o CDP melhore o alinhamento psicométrico, ele não garante que os LLMs resolvam itens através de processos cognitivos semelhantes aos humanos. Eles enfatizam que o CDP serve como uma "primeira aproximação rápida" para complementar, em vez de substituir, a calibração humana, e que validações adicionais relativas à validade cognitiva do processo de simulação são necessárias.

O Problema dos Estudantes de IA "Perfeitos"

A Solução: Dar à IA uma "Ficha de Personagem"

Os Resultados: Do "Perfeito" ao "Real"

Por Que Isso Importa

Mais como este