Focus particles and scalar inferences across humans and language models

Resumo Técnico: Partículas de Foco e Inferências Escalares em Humanos e Modelos de Linguagem

Problema e Motivação
O estudo aborda uma questão central na ciência cognitiva e no processamento de linguagem natural: como humanos e sistemas artificiais interpretam o significado estruturado, especificamente no que diz respeito a partículas sensíveis ao foco, como até mesmo (even) e apenas (only). Essas partículas modificam o significado inferido de uma sentença ao introduzir expectativas sobre alternativas (por exemplo, até mesmo destaca alternativas de baixa probabilidade, enquanto apenas introduz exclusividade) sem alterar o conteúdo proposicional central.

Um debate teórico fundamental diz respeito ao mecanismo que impulsiona os julgamentos escalares associados a essas partículas. Uma explicação postula que os julgamentos são fundamentados na codificação espacial, onde magnitudes abstratas são mapeadas em dimensões espaciais (por exemplo, esquerda-direita ou cima-baixo), implicando que a orientação da escala de resposta deve influenciar sistematicamente os julgamentos (Dehaene et al., 1993). Uma explicação alternativa, baseada no princípio da correspondência de polaridade, sugere que os julgamentos são impulsionados pela estrutura avaliativa e linguística, significando que as diferenças entre as partículas devem permanecer estáveis, independentemente da configuração espacial (Proctor & Cho, 2006).

Com evidências recentes de que os Grandes Modelos de Linguagem (LLMs) desenvolvem representações internas estruturadas de informações linguísticas (Kryvosheieva et al., 2025), os autores investigam se os LLMs exibem padrões de julgamento escalar semelhantes aos humanos. Crucialmente, ao contrário dos humanos, cujas representações espaciais são moldadas pela interação incorporada, os modelos baseados em transformadores processam tokens simultaneamente via atenção bidirecional (Vaswani et al., 2017). Este estudo testa se julgamentos escalares semelhantes emergem de princípios representacionais compartilhados ou de mecanismos subjacentes distintos.

Metodologia
Os pesquisadores conduziram um estudo comparativo envolvendo participantes humanos e um LLM através de quatro configurações de escala de resposta.

• Estímulos: 60 sentenças descrevendo tarefas relevantes à habilidade (ex: "Mike consegue assar um bolo"). Trinta itens continham a partícula até mesmo e trinta continham apenas.
• Participantes Humanos: $N = 108$ participantes completaram um de quatro estudos no Qualtrics.
• Manipulações Experimentais: A configuração espacial da escala de resposta foi manipulada ao longo de duas dimensões:
  1. Formato Espacial: Horizontal vs. Vertical.
  2. Mapeamento de Rótulos: Padrão (baixa habilidade na esquerda/baixo, alta na direita/cima) vs. Reverso (rótulos invertidos).
     Isso resultou em quatro condições: horizontal-padrão, horizontal-reverso, vertical-padrão e vertical-reverso.
• Procedimento: Os participantes avaliaram a habilidade do indivíduo na sentença em uma escala Likert de 5 pontos.
• Coleta de Dados do LLM: Os dados foram coletados usando o Llama 3.3 70B via API da Groq. Cada estímulo foi apresentado em um prompt espelhando a estrutura do levantamento humano. O modelo foi instruído a produzir um único número inteiro (1–5). Para amostrar a distribuição de resposta do modelo, cada prompt foi executado 20 vezes com uma temperatura de 1.0, gerando 4.800 observações (60 sentenças $\times$ 4 condições $\times$ 20 amostras).

Resultados
As avaliações foram analisadas usando um modelo linear de efeitos mistos com Partícula, Fonte (Humano vs. LLM), Formato e Mapeamento como efeitos fixos.

• Efeitos de Partícula: Foi encontrado um efeito principal significativo de Partícula ($\beta= 2.20, p < .001$). Tanto humanos quanto o LLM atribuíram classificações mais baixas para sentenças com até mesmo e classificações mais altas para sentenças com apenas.
• Diferenças de Fonte: Uma interação Partícula $\times$ Fonte significativa ($\beta= 1.38, p < .001$) revelou que o LLM produziu julgamentos mais extremos.
  • Humanos: As médias foram 2.07 para até mesmo e 4.31 para apenas (Diferença: 2.20).
  • LLM: As médias foram 1.41 para até mesmo e 5.00 para apenas (Diferença: 3.58).
  • Notavelmente, para sentenças com apenas, o LLM atribuiu a classificação máxima (5) em 100% das observações em todas as condições.
• Efeitos Espaciais: Alterar a orientação ou o mapeamento de rótulos da escala de resposta não eliminou nem reverteu o padrão de julgamentos para nenhum dos grupos. Isso sugere que os julgamentos escalares são impulsionados pelo conteúdo semântico e avaliativo, e não pela organização espacial.
• Variabilidade: O LLM exibiu substancialmente menos variabilidade de resposta do que os humanos. Mesmo com uma amostragem de temperatura de 1.0, a amostragem repetida produziu respostas altamente consistentes. Uma varredura de temperatura de acompanhamento (0.0 a 2.0) confirmou que as respostas do modelo permaneceram estáveis, indicando que o aumento da temperatura por si só não foi suficiente para gerar variabilidade semelhante à humana.

Principais Contribuições

1. Mecanismo de Julgamento Escalar: O estudo fornece suporte empírico para uma explicação avaliativa dos julgamentos escalares sobre uma explicação de codificação espacial. A estabilidade dos julgamentos através de configurações espaciais sugere que a estrutura semântica de até mesmo e apenas impulsiona a interpretação mais fortemente do que a organização espacial das opções de resposta.
2. Cognição LLM vs. Humana: O artigo demonstra que, embora os LLMs possam reproduzir padrões comportamentais agregados humanos (tendências qualitativas), eles divergem significativamente na variabilidade de resposta. A tendência do LLM para julgamentos categóricos e extremos contrasta com as respostas graduadas e variáveis dos humanos.
3. Limitações de Amostragem: Os achados desafiam a suposição de que a amostragem repetida em altas temperaturas pode simular as diferenças individuais humanas. Os autores argumentam que a variabilidade entre as execuções do modelo reflete ruído em torno de um julgamento fixo, enquanto a variabilidade humana reflete diferenças individuais genuínas de interpretação.

Significância e Alegações
Os autores concluem que a falta de variabilidade de resposta no LLM levanta questões sobre a adequação dos atuais LLMs como modelos da cognição humana, dado que as diferenças individuais são uma característica definidora do comportamento humano. O artigo alinha-se com descobertas recentes (Qiu et al., 2025; Rodriguez et al., 2026) de que os LLMs contemporâneos falham em reproduzir a amplitude de variabilidade observada em populações humanas, mesmo quando o desempenho médio da tarefa é bem compatível. O estudo sugere modestamente que, embora os LLMs capturem a lógica estrutural das inferências escalares, eles ainda não modelam a natureza estocástica do julgamento humano.