Complex networks map test anxiety and wellbeing levels in students and ChatGPT

Este estudo utiliza redes de forma mentis comportamentais para mapear como estudantes de STEM e um modelo de linguagem (ChatGPT) enquadram semanticamente exames e bem-estar, revelando que, ao contrário dos especialistas e da IA, os estudantes humanos associam fortemente avaliações a emoções negativas e ansiedade, evidenciando uma diferença estrutural na forma como processam o estresse acadêmico.

O essencial

Imagine que a mente humana é como uma cidade gigante e vibrante, onde cada palavra é um bairro e as conexões entre elas são as ruas e pontes. Quando pensamos em uma palavra como "Exame", nossa mente não apenas acessa o significado do dicionário; ela acende luzes em vários bairros ao redor: "medo", "nota", "estresse", "falha", mas também "esforço" ou "aprendizado".

Este artigo é como um mapa de trânsito dessa cidade mental, desenhado por pesquisadores italianos para entender como os estudantes sentem e pensam sobre os exames e o bem-estar, e como isso se compara a uma "mente digital" criada por uma Inteligência Artificial (o GPT).

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Mapa da Cidade Mental (Redes de Forma Mentis)

Os pesquisadores usaram uma ferramenta chamada "Redes de Forma Mentis". Pense nisso como um GPS emocional.

• Eles pediram para estudantes e para o robô (GPT) dizerem o que vinha à mente quando ouviam palavras como "Exame", "Nota" ou "Ansiedade".
• Depois, eles mediram a "emoção" de cada palavra (se era boa, ruim ou neutra) e desenharam como essas palavras se conectam.
• O objetivo: Ver se a ansiedade por provas é apenas um sentimento solitário ou se ela está "presa" em um bairro específico da mente, cercada por outras palavras ruins.

2. O Que Eles Encontraram nos Estudantes (Humanos)

A descoberta principal foi que, para a maioria dos estudantes, a palavra "Exame" não é um bairro neutro. É um bairro sombrio e tempestuoso.

• O Clima: Quando um estudante pensa em "Exame", a mente dele imediatamente liga essa palavra a "medo", "pressão", "nota baixa" e "falha". É como se a palavra "Exame" estivesse cercada por nuvens cinzas.
• A Ansiedade é "Aterrissada": Para os humanos, a ansiedade não é algo abstrato. Ela está ligada a coisas concretas do dia a dia: "o professor", "o relógio correndo", "a sala de aula", "a prova de amanhã". É uma experiência vivida, como sentir frio na barriga antes de um show.
• O Paradoxo da "Nota": Curiosamente, a palavra "Nota" tem uma mistura estranha. Embora esteja cercada de coisas ruins, também tem um toque de "confiança" (como se os alunos achassem que o sistema é justo, mesmo que eles tenham medo dele). É como confiar que o semáforo vai mudar, mesmo tendo medo de ser atropelado.

3. O Que os "Especialistas" Pensam

Os pesquisadores compararam estudantes com especialistas (professores ou profissionais experientes).

• A Diferença: Para os especialistas, a palavra "Exame" é como um bairro industrial limpo e organizado. Não há tempestade, nem medo. Eles veem o exame como uma "tarefa", um "procedimento" ou um "resultado concreto".
• A Lição: Quando você se torna especialista e vê o exame como um processo de trabalho (algo concreto e controlável), a ansiedade desaparece. A abstração e o medo dão lugar à prática.

4. O Robô (GPT) vs. O Humano

Aqui está a parte mais divertida e reveladora. Eles criaram "gêmeos digitais" dos estudantes usando uma IA (GPT) e viram o que acontecia.

• O Robô Copia o Humor, Mas Não a Vida: A IA conseguiu copiar perfeitamente o clima sombrio dos exames. Ela também associou "Exame" a coisas ruins. Isso mostra que a IA aprendeu que, na nossa cultura, exames são estressantes.
• O Erro do Robô: A IA falhou em capturar a vida real.
  • Quando os humanos falavam de "Ansiedade", falavam de "provas", "professores" e "tempo".
  • Quando a IA falava de "Ansiedade", falava de termos clínicos e abstratos como "pânico", "psicopatologia" e "diagnóstico".
  • Analogia: Imagine que você pergunta a um humano e a um livro de medicina sobre "fome". O humano diz: "aquela hora que eu quero pizza e sinto o estômago roncar". O livro diz: "deficiência de glicose no sangue". A IA é o livro: ela sabe o que é a ansiedade teoricamente, mas não sabe o que é sentir ansiedade antes de uma prova.

5. Bem-Estar: Vida Real vs. Terapia

O mesmo padrão aconteceu com o conceito de "Bem-estar".

• Humanos: Pensam em bem-estar como coisas concretas: "dormir bem", "comer direito", "caminhar", "ver o sol". É o bem-estar do dia a dia.
• IA: Pensa em bem-estar como algo ligado a "terapia", "psicologia" e "tratamento". É um bem-estar de consultório, não de vida real.

Conclusão: O Que Isso Significa para Nós?

Este estudo nos ensina duas coisas importantes:

1. O Sistema de Notas Precisa Mudar: Como os exames são vistos como "bairros sombrios" cheios de medo, talvez precisemos mudar como avaliamos os alunos, tornando o processo mais concreto e menos ameaçador, para que a ansiedade diminua.
2. A IA é Útil, Mas Não é Humana: Podemos usar a IA para entender o que as pessoas dizem sobre o estresse, mas ela não consegue entender como o estresse se sente na pele. A IA sabe a teoria, mas não tem a experiência.

Em resumo, a ansiedade por provas não é apenas um "nervosismo"; é uma estrutura profunda na nossa mente, ligada a memórias concretas de escola e pressão. E embora a IA seja inteligente, ela ainda não tem o "frio na barriga" que nos faz humanos.

Resumo técnico

1. Problema e Contexto

A avaliação acadêmica em áreas STEM (Ciência, Tecnologia, Engenharia e Matemática) frequentemente elicia ansiedade, mas os sistemas de graduação tradicionais raramente capturam como os estudantes enquadram semanticamente exames e bem-estar. A ansiedade de teste não é apenas uma resposta a dificuldades de aprendizado, mas um estado psicológico complexo que envolve componentes cognitivos e emocionais-fisiológicos. Quando não detectada, pode levar a comportamentos de evitação e deterioração do desempenho.

O problema central abordado é a falta de frameworks que capturem a estrutura associativa e afetiva das mentes dos estudantes além de questionários psicométricos isolados. Além disso, há uma lacuna na compreensão de como os modelos de linguagem grandes (LLMs), como o ChatGPT, representam esses estados emocionais em comparação com humanos reais.

2. Metodologia

O estudo utilizou uma abordagem baseada em Ciência de Redes Cognitivas, especificamente através de Redes Comportamentais Forma Mentis (BFMNs).

• Participantes: O estudo envolveu um total de 994 participantes, divididos em grupos humanos e simulados:
  • Humanos (N=497): Especialistas em STEM (N=59), estudantes do ensino médio italianos (N=216, divididos entre Sul e Norte), estudantes de graduação em Física (N=10) e Psicologia (N=301, divididos em grupos de alta e baixa ansiedade matemática).
  • Simulados (N=497): Agentes baseados no modelo de linguagem GPT-OSS 20B, personificados com perfis demográficos e educacionais idênticos aos grupos humanos correspondentes.
• Procedimento Experimental:
  1. Escala de Ansiedade Matemática (MAS-IT): Aplicada para classificar os níveis de ansiedade.
  2. Tarefa de Associação Livre: Os participantes (humanos e LLM) receberam palavras-chave (cues) relacionadas a STEM, contexto acadêmico e saúde mental, e deveriam gerar até três associações por palavra.
  3. Avaliação de Valência: Os participantes classificaram a valência emocional (negativa, neutra, positiva) das palavras-chave e das associações geradas.
• Construção da Rede (BFMN):
  • As associações foram mapeadas como grafos não direcionados e não ponderados.
  • Os nós representam conceitos e as arestas representam associações de memória.
  • A estrutura foi enriquecida com dados de valência emocional e normas de concretude.
• Análises:
  • Quadros Semânticos (Semantic Frames): Análise das redes de conceitos conectados a palavras-chave como "Exame", "Nota", "Ansiedade" e "Bem-estar".
  • Métricas de Rede: Coeficiente de agrupamento, caminho mais curto, hubs e sobreposição (Índice de Jaccard).
  • Análise de Valência e Aura: Medição do contexto emocional ao redor de um conceito.
  • Análise de Concretude: Uso de normas de concretude (Brysbaert et al., 2024) para determinar se os conceitos são representados de forma concreta (experiencial) ou abstrata.
  • Flores Emocionais: Visualização da distribuição de emoções primárias (Plutchik) com base em escores-z.

3. Contribuições Principais

• Framework Quantitativo: Desenvolvimento e aplicação de BFMNs para mapear a ansiedade de teste como um padrão estrutural na rede semântica, em vez de um simples escore numérico.
• Comparação Humano-IA: Primeira comparação sistemática entre as redes cognitivas de estudantes reais e "gêmeos digitais" baseados em LLMs, utilizando o mesmo pipeline de construção de rede.
• Distinção Estrutural: Demonstração de que a ansiedade em humanos está estruturalmente ancorada em contextos acadêmicos concretos, enquanto os LLMs tendem a representá-la de forma abstrata e clínica.

4. Resultados Chave

A. Enquadramento de "Exame" e "Nota"

• Negatividade Pervasiva: Em todos os grupos humanos (exceto especialistas), os conceitos de "exame" e "nota" foram percebidos negativamente, conectados a memórias de falha, pressão e medo.
• Diferença nos Especialistas: Os especialistas em STEM apresentaram uma rede neutra e mais concreta para "exame", sugerindo que a experiência profissional despersonaliza o conceito, reduzindo a carga emocional.
• Viés dos LLMs: Os modelos GPT reproduziram a negatividade, mas com menos associações positivas do que os humanos, indicando um viés negativo ainda mais forte.

B. Ansiedade e Sobreposição Semântica

• Ancoragem Concreta vs. Abstrata:
  • Humanos: Associaram "ansiedade" fortemente a gatilhos acadêmicos concretos (escola, prova, nota, tempo). A sobreposição entre as redes de "ansiedade" e "exame" foi três vezes maior em humanos do que em GPT.
  • GPT: Associou "ansiedade" a termos clínicos e abstratos (pânico, estresse, psicopatologia), com pouca conexão estrutural com o contexto acadêmico.
• Emoções: Humanos exibiram uma gama afetiva mais ampla (incluindo tristeza), enquanto os LLMs focaram predominantemente no medo.

C. Concretude e Controle Percebido

• Abstração na Ansiedade: Grupos de alta ansiedade representaram conceitos de avaliação (como "nota") de forma significativamente mais abstrata do que o baseline aleatório. Isso sugere uma desconexão entre o conceito e ações acionáveis, aumentando a sensação de falta de controle.
• Concretude nos Especialistas: A representação concreta de "exame" pelos especialistas correlacionou-se com a neutralidade emocional, sugerindo que a concretude pode mitigar a ansiedade.

D. Bem-estar

• Humanos: Definiram bem-estar através de práticas de estilo de vida concretas (sono, dieta, exercício).
• GPT: Enquadraram o bem-estar através de constructos psicológicos negativos e intervenções clínicas (terapia), refletindo um discurso institucional/diagnóstico em vez de vivencial.

5. Significado e Implicações

• Natureza da Ansiedade de Teste: A ansiedade de teste é um fenômeno situado e dependente da experiência, estruturalmente embutido na rede semântica do estudante. Não é apenas uma atitude, mas uma configuração cognitiva onde conceitos de avaliação estão ligados a ameaças concretas.
• Limitações dos LLMs como Proxies Psicológicos: Embora os LLMs capturem narrativas culturais agregadas sobre a pressão acadêmica, eles falham em replicar a ancoragem experiencial da ansiedade. Eles sabem "o que se diz" sobre ansiedade, mas não "como a ansiedade é vivida" cognitivamente. Portanto, não devem ser usados como substitutos diretos para dados psicológicos humanos sem validação cuidadosa.
• Aplicações Educacionais: A descoberta de que a abstração dos conceitos de avaliação está ligada à alta ansiedade sugere que intervenções devem focar em tornar os critérios de avaliação mais concretos, transparentes e acionáveis para reduzir a distância psicológica e a sensação de falta de controle.
• Monitoramento: As BFMNs oferecem uma ferramenta quantitativa e interpretável para monitorar a eficácia de intervenções educacionais na reconfiguração das estruturas semânticas dos estudantes.

Em resumo, o estudo utiliza a ciência de redes complexas para revelar que a ansiedade acadêmica é uma estrutura cognitiva específica e experiencial que os modelos de IA atuais conseguem simular superficialmente (negatividade), mas falham em capturar em sua profundidade estrutural e contextual.