Comparing Semantic Navigation in Humans and Large Language Models using Natural Language Processing

Resumo Técnico: Comparando a Navegação Semântica em Humanos e Grandes Modelos de Linguagem

Definição do Problema
A recuperação da memória semântica é conceituada como um processo de navegação através do espaço conceitual. Embora pesquisas anteriores tenham utilizado a Tarefa de Fluência Verbal (VFT) para modelar a busca semântica humana — frequentemente enquadrando-a como um equilíbrio entre explotação local (agrupamento/clustering) e exploração global (alternância/switching) — avanços recentes em Grandes Modelos de Linguagem (LLMs) oferecem uma nova via de comparação. Embora os LLMs gerem linguagem coerente e suas representações internas mostrem algum alinhamento com a atividade cerebral humana, permanece incerto se sua dinâmica de busca subjacente espelha os processos cognitivos humanos. Trabalhos anteriores indicam que as redes semânticas derivadas de LLMs frequentemente exibem um agrupamento local mais fraco e uma integração global inferior às redes humanas. No entanto, existe uma lacuna na quantificação de como esses sistemas progridem pelo conteúdo semântico passo a passo, particularmente utilizando métricas que considerem o contexto acumulado do histórico de recuperação, em vez de tratar palavras como pontos estáticos independentes.

Metodologia
O estudo empregou um design comparativo utilizando dados comportamentais de 82 participantes humanos e saídas de três LLMs de última geração: GPT-4o, Gemini-2.5-Pro e Claude-Sonnet-4.5.

• Tarefa: Todos os agentes realizaram uma tarefa de fluência verbal semântica para a categoria "animais". Os dados humanos foram obtidos do banco de dados SNAFU (limite de 3 minutos). Os LLMs foram instigados por meio de uma indução de interpretação de papel (adotando personas ocupacionais específicas) para aumentar a diversidade das saídas. Para garantir a comparabilidade sem impor limites de tempo artificiais aos modelos, o comprimento das saídas dos LLMs foi pareado com a distribuição empírica das contagens de respostas humanas.
• Manipulação Experimental: Os LLMs foram testados em oito configurações de temperatura (0.0 a 1.0) para modular a estocasticidade da amostragem, variando de determinística a saídas altamente diversas.
• Métricas de PLN: O estudo aplicou uma estrutura baseada em trajetórias inspirada na física (Toro-Hernández et al., 2026) usando embeddings contextuais cumulativos (via text-embedding-3-large da OpenAI, validada com outros sistemas). Três métricas complementares foram calculadas:
  1. Distância para o Próximo (Distance to Next): A distância de cosseno entre estados semânticos cumulativos sucessivos, medindo a magnitude dos "saltos semânticos" entre itens consecutivos.
  2. Entropia: A entropia de Shannon da distribuição do tamanho do passo, quantificando a previsibilidade e a variabilidade da trajetória de busca.
  3. Distância ao Centróide (Distance to Centroid): A distância de cosseno média dos embeddings de itens não cumulativos em relação ao centróide dos itens únicos gerados, indexando a dispersão global ou o agrupamento.

Resultos Principais

• Humano vs. Baseline de LLM: Os humanos exibiram significativamente maior entropia (tamanhos de passo menos previsíveis), passos semânticos maiores (Distância para o Próximo) e maior dispersão global (Distância ao Centróide) em comparação com todos os três LLMs. Isso indica que a busca humana é mais variável e exploratória, enquanto os LLMs demonstram uma navegação mais rígida, localmente agrupada e conservadora.
• Diferenças entre Modelos: Entre os LLMs, o Claude-Sonnet-4.5 apresentou os menores tamanhos de passo e o agrupamento local mais apertado. O GPT-4o exibiu o agrupamento global mais forte (menor Distância ao Centróide).
• Efeitos da Temperatura: O ajuste da temperatura produziu apenas um alinhamento parcial com os perfis humanos.
  • Entropia e Distância para o Próximo: O alinhamento foi específico para cada modelo. O Claude aproximou-se dos níveis humanos em temperaturas alto-intermediárias (0.75–0.90), enquanto o Gemini e o GPT-4o mostraram convergência em pontos extremos (0.0, 1.0) e pontos intermediários específicos.
  • Distância ao Centróide: Esta métrica foi a mais difícil de igualar. Apenas bandas estreitas de temperatura para o Claude e o Gemini foram estatisticamente indistinguíveis dos humanos. O GPT-4o permaneceu persistentemente não humano em todas as configurações, mostrando consistentemente uma redução na dispersão global.
• Perfil Integrado: Nenhuma configuração de temperatura única permitiu que qualquer LLM reproduzisse o perfil humano completo nas três dimensões simultaneamente.

Significância e Alegações
O artigo argumenta que a busca semântica humana implementa um equilíbrio distinto entre explotação local e exploração global que os atuais arquiteturas de LLM falham em reproduzir, mesmo com o ajuste de parâmetros. Os achados desafiam a noção de que os LLMs são "participantes de silício" diretos na pesquisa cognitiva. Os autores sugerem que as desvios sistemáticos observados — especificamente a incapacidade de igualar simultaneamente a imprevisibilidade, a magnitude do passo e a dispersão global — provavelmente decorrem dos objetivos de treinamento dos LLMs modernos (ex: Aprendizado por Reforço com Feedback Humano - RLHF), que otimizam o desempenho de assistente em vez de uma replicação fiel dos processos cognitivos humanos.

O estudo conclui que, embora os LLMs possam imitar o comportamento humano em métricas isoladas sob condições específicas, eles carecem da assinatura comportamental integrada da navegação semântica humana. Consequentemente, pesquisadores devem exercer cautela ao utilizar LLMs como substitutos cognitivos sem validação extensa através de múltiplas dimensões teoricamente motivadas, pois calibrar para uma métrica pode distorcer outras. Os resultados destacam a necessidade de trabalhos futuros para explorar se objetivos de treinamento alternativos ou modificações arquiteturais poderiam capturar melhor os princípios computacionais subjacentes à busca da memória semântica humana.