📊 statistics

Human- vs. AI-generated tests: dimensionality and information accuracy in latent trait evaluation

Este estudo compara questionários gerados por IA com versões humanas validadas, revelando que, apesar de similaridades superficiais, surgem diferenças significativas na dimensionalidade e na distribuição de informação psicométrica, o que destaca a necessidade de rigorosas avaliações estatísticas para garantir a validade de ferramentas baseadas em IA.

Autores originais: Mario Angelelli, Morena Oliva, Serena Arima, Enrico Ciavolino

Publicado 2026-02-16

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mario Angelelli, Morena Oliva, Serena Arima, Enrico Ciavolino

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você precisa medir o quanto uma pessoa está "consciente do seu próprio corpo" (como se sente ao dormir, se percebe mudanças no ritmo do coração, etc.). Para isso, os cientistas usam um questionário chamado BAQ, que foi criado por humanos especialistas e testado por anos.

Agora, imagine que você pede a um robô superinteligente (o ChatGPT) para criar um novo questionário sobre o mesmo tema. O robô faz isso em segundos. A pergunta do estudo é: O questionário feito pelo robô é tão bom quanto o feito pelo humano?

Os autores deste estudo (Mario, Morena, Serena e Enrico) decidiram investigar isso. Eles não olharam apenas para as respostas das pessoas, mas usaram uma "lupa matemática" muito sofisticada para ver o que acontece "por dentro" das perguntas.

Aqui está a explicação do que eles descobriram, usando analogias do dia a dia:

1. A Ilusão da Superfície (A Casca do Ovo)

No início, tudo parecia perfeito.

O que aconteceu: O robô criou perguntas que soavam muito parecidas com as do humano. Se você lesse apenas o texto, pensaria: "Ah, são a mesma coisa!".
A Analogia: É como se o robô tivesse criado um carro de brinquedo que pintou exatamente igual a um carro de verdade. De longe, parece idêntico. A "confiabilidade" (a consistência interna) parecia boa em ambos.

2. O Motor Escondido (A Dimensionalidade)

Mas, quando os cientistas olharam para o "motor" (a estrutura matemática por trás das respostas), a história mudou.

O que aconteceu: O questionário humano funcionava como um único motor bem afinado que media uma coisa só: a consciência corporal. O questionário do robô, especialmente o que foi pedido de forma mais genérica, parecia ter dois motores ou estava um pouco "desalinhado".
A Analogia: Imagine que o questionário humano é uma bússola que aponta sempre para o Norte. O questionário do robô, às vezes, aponta para o Norte, mas às vezes oscila para o Nordeste ou Noroeste sem motivo. Ele não está medindo a mesma coisa de forma tão pura.

3. A Escada das Dificuldades (Ordem das Perguntas)

Os pesquisadores olharam para a ordem das perguntas: quais são as mais fáceis e quais são as mais difíceis de responder.

O que aconteceu: No questionário humano, as perguntas tinham uma ordem lógica (como subir uma escada). No do robô, essa ordem estava bagunçada. As perguntas que o humano achava "difíceis" o robô achou "fáceis", e vice-versa.
A Analogia: Pense em uma escada de 10 degraus.
- No questionário humano, o degrau 1 é fácil e o 10 é difícil.
- No questionário do robô, ele misturou os degraus. O "degrau 5" do robô pode ser tão difícil quanto o "degrau 10" do humano. Isso confunde a medição: você não sabe se a pessoa está no meio da escada ou no topo.

4. O Mapa de Precisão (Informação)

Este é o ponto mais importante. O estudo usou uma técnica chamada Teoria de Resposta ao Item (que é como um GPS de precisão para testes).

O que aconteceu: O questionário humano é como um foco de luz de lanterna: ele ilumina muito bem o centro da estrada (os valores médios de consciência corporal), onde a maioria das pessoas está. O questionário do robô é como uma lâmpada de quarto: ele ilumina tudo, mas de forma fraca e espalhada, sem focar bem em nenhum lugar específico.
A Conclusão: O robô consegue cobrir um pouco de tudo, mas não consegue dizer com precisão onde a pessoa está. O humano sabe exatamente o nível da pessoa. O robô tem uma "incerteza" maior.

Resumo da História

O estudo nos ensina que:

Não confie apenas na aparência: O robô pode escrever textos que parecem humanos, mas a "alma" matemática do teste pode ser diferente.
O "Prompt" (o comando) importa: Quando os cientistas deram instruções muito específicas ao robô, o resultado ficou melhor (mais parecido com o humano), mas ainda não era perfeito. Quando deram um comando vago, o resultado foi pior.
Precisão é tudo: Para medir coisas psicológicas (como saúde mental ou consciência), precisamos de ferramentas que sejam "focadas". O robô, por enquanto, é um pouco "espalhado".

A lição final: A Inteligência Artificial é uma ferramenta incrível para ajudar os humanos, mas não podemos simplesmente copiar e colar um teste gerado por IA e achar que é válido. Precisamos de "mecânicos" (cientistas e estatísticos) para abrir o capô, checar o motor e garantir que a bússola está apontando para o Norte certo antes de usá-la para tomar decisões importantes sobre a saúde das pessoas.

Título: Testes Gerados por Humanos vs. IA: Dimensionalidade e Precisão da Informação na Avaliação de Traços Latentes

Autores: Mario Angelelli, Morena Oliva, Serena Arima e Enrico Ciavolino (Universidade de Salento, Itália).

1. Problema e Contexto

O uso de Inteligência Artificial (IA), especificamente Modelos de Linguagem de Grande Escala (LLMs) como o ChatGPT, está a crescer na pesquisa social e psicológica para a geração, personalização e adaptação de instrumentos de medição (questionários e testes).

O Desafio: Embora os LLMs sejam eficientes na tradução e adaptação cultural, a sua capacidade de gerar novos instrumentos de medição baseados em teorias conceituais sólidas é questionável. Existe o risco de os modelos introduzirem vieses, alucinações (informações sintaticamente corretas mas factualmente inválidas) e, mais criticamente, de alterarem a estrutura latente subjacente do constructo que se pretende medir.
A Lacuna: Falta investigação sobre como distinguir estatisticamente questionários gerados por humanos daqueles gerados por IA, especialmente em termos de dimensionalidade (quantos traços latentes explicam as respostas) e precisão da informação (quão bem o teste mede o traço em diferentes níveis).

2. Metodologia

O estudo realizou uma investigação preliminar comparando três versões de um questionário sobre Consciência Corporal (Body Awareness Questionnaire - BAQ):

BAQ Original: A versão validada por humanos (18 itens, escala Likert de 7 pontos).
GPT.v1: Versão gerada pelo ChatGPT com um prompt altamente específico, solicitando reescrita item a item do BAQ original.
GPT.v2: Versão gerada pelo ChatGPT com um prompt genérico, solicitando a criação de um teste de 18 itens sobre o mesmo constructo, sem referência direta aos itens originais.

Procedimento de Coleta de Dados:

Amostra: $n = 178$ participantes, divididos aleatoriamente entre os três grupos ( $n_{BAQ}=56$ , $n_{GPT.v1}=57$ , $n_{GPT.v2}=65$ ).
Instrumentos: Formulários Google Forms com consentimento informado.

Análise Estatística:

Confiabilidade: Análise de consistência interna usando o Alfa de Cronbach, Alfa Ordinal, Coeficiente $\omega$ (condicional e hierárquico) e Confiabilidade Composta ( $\rho_C$ ).
Dimensionalidade Exploratória: Análise Fatorial Exploratória (EFA) utilizando correlações policóricas e o critério empírico de Kaiser.
Modelagem IRT (Teoria de Resposta ao Item):
- Uso do Modelo de Resposta Graduada (GRM) em uma abordagem Bayesiana Hierárquica.
- Estimação de parâmetros de dificuldade ( $\beta$ ), discriminação ( $\gamma$ ) e limiares de resposta ( $\delta$ ) via MCMC (Cadeias de Markov Monte Carlo).
- Verificação de unidimensionalidade essencial usando o método polyDETECT (índices DETECT, ASSI, RATIO).
Análise de Informação:
- Cálculo das Funções de Informação do Item (IIF) e Função de Informação do Teste (TIF).
- Definição de índices de Sobreposição (Overlap) e Domínio (Dominance) para comparar a precisão da informação entre os testes originais e os gerados por IA ao longo do traço latente ( $\theta$ ).

3. Principais Contribuições

Metodologia Comparativa: Propõe um quadro rigoroso baseado em IRT Bayesiano para avaliar a validade de constructo de questionários gerados por IA, indo além da simples comparação de confiabilidade.
Detecção de Divergências Ocultas: Demonstra que questionários com alta confiabilidade e similaridade superficial de palavras podem ter estruturas dimensionais e propriedades psicométricas fundamentalmente diferentes.
Análise de Incerteza Epistêmica: Introduz o conceito de que a IA pode introduzir "incerteza epistêmica" na medição, dispersando a informação do teste de forma diferente da ferramenta validada por humanos.

4. Resultados Chave

A. Confiabilidade e Dimensionalidade

Confiabilidade: Não houve diferenças estatisticamente significativas nos índices de confiabilidade (Alfa de Cronbach, $\omega$ , etc.) entre os três questionários. Todos apresentaram boa consistência interna.
Dimensionalidade (EFA):
- O BAQ Original e o GPT.v1 (prompt específico) sugeriram uma estrutura unidimensional.
- O GPT.v2 (prompt genérico) revelou uma estrutura bidimensional, indicando que a falta de especificidade no prompt alterou a natureza do constructo medido.
Unidimensionalidade Essencial: Quando analisados com o modelo GRM e índices polyDETECT, o BAQ e o GPT.v1 mostraram-se essencialmente unidimensionais, enquanto o GPT.v2 apresentou desvios, confirmando a dependência da estrutura do teste em relação ao prompt.

B. Parâmetros de Item e Co-monotonicidade

Falta de Co-monotonicidade: Embora o GPT.v1 fosse uma reescrita do BAQ, a ordem dos itens baseada na dificuldade ( $\beta$ ) e na discriminação ( $\gamma$ ) não foi preservada. Os itens mais difíceis no BAQ original não correspondem aos itens mais difíceis no GPT.v1.
Limiares de Resposta ( $\delta$ ): O GPT.v2 apresentou níveis de limiar mais altos que o original, sugerindo maior dificuldade em acessar as categorias de resposta superiores, possivelmente devido a ambiguidades na formulação dos itens.

C. Funções de Informação (IIF e TIF)

Sobreposição vs. Domínio:
- Houve uma alta sobreposição de informação (cerca de 72-93% para itens individuais), indicando que os itens medem algo similar.
- No entanto, os índices de domínio revelaram divergências críticas: O BAQ Original concentra a informação de forma mais precisa em uma faixa central do traço latente.
- O GPT.v1 espalha a informação de forma mais ampla, sendo ligeiramente mais informativo para valores extremos do traço latente, mas menos preciso na região central.
Conclusão sobre Precisão: O teste gerado por IA, mesmo com prompt específico, possui uma "precisão" diferente, caracterizada por uma maior dispersão da informação, o que pode comprometer a validade do constructo em aplicações clínicas ou de pesquisa que exigem precisão em faixas específicas.

5. Significado e Conclusões

O estudo conclui que, embora os LLMs possam gerar questionários com alta confiabilidade estatística superficial, eles falham em replicar fielmente a estrutura dimensional e a distribuição da informação dos instrumentos validados por humanos.

Implicações Práticas: O uso de IA para criar ou adaptar testes sem supervisão rigorosa pode levar a medições que, embora pareçam válidas, capturam o constructo de maneira distorcida ou com incerteza epistêmica não detectada.
Recomendações:
1. A validação de instrumentos gerados por IA deve incluir análises de IRT (especialmente funções de informação e dimensionalidade), não apenas confiabilidade.
2. O design de prompts é crucial; prompts genéricos tendem a gerar estruturas dimensionais instáveis.
3. É necessária supervisão humana para garantir que a estrutura latente e a precisão da medição sejam preservadas.
Futuro: Os autores sugerem o uso de métricas de divergência (como Divergência de Kullback-Leibler) e a extensão do modelo para incluir covariáveis e funcionamento diferencial de itens (DIF) para detectar vieses mais sutis.

Em suma, a IA é uma ferramenta poderosa, mas os seus outputs em medição psicológica não são "caixas pretas" seguras; exigem validação estatística profunda para garantir que a informação extraída sobre os traços latentes seja precisa e interpretável.