Resumo Técnico: Os LLMs Interpretam Linguagem Figurativa como os Humanos?

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) gerem textos que se assemelham à produção humana, permanece incerto o quanto eles se alinham aos julgamentos humanos na interpretação de linguagem figurada e socialmente fundamentada. A literatura existente sugere que os LLMs podem corresponder aos humanos em julgamentos de nível superficial (ex: precisão gramatical ou sentimento básico), mas divergem em processos interpretativos mais profundos que envolvem pragmática, contexto e experiência subjetiva. Especificamente, não está claro se os LLMs possuem o embasamento cognitivo necessário para organizar o significado em um espaço semântico compartilhado com os humanos, particularmente para traços linguísticos complexos como idiomatismos, sarcasmo, humor, tom emocional e gírias da Geração Z. A pesquisa atual frequentemente se baseia em concordância agregada (similaridade de nível superficial), o que pode mascarar falhas em capturar as distinções refinadas exigidas por fenômenos pragmáticos matizados.

Metodologia

Para abordar isso, os autores conduziram um estudo comparando participantes humanos e quatro LLMs ajustados por instrução (GPT-4, Gemma-2-9B, Llama-3.2 e Mistral-7B) utilizando Análise de Similaridade Representacional (RSA).

Dados e Estímulos

• Estímulos: Um conjunto de dados de 240 sentenças baseadas em diálogos foi compilado, dividido em 120 sentenças "sensíveis" (contendo um traço linguístico específico) e 120 sentenças "não sensíveis" (estruturalmente similares, mas omitindo o traço principal).
• Categorias: As sentenças foram classificadas em seis traços linguísticos: Convencional, Idiomático, Emocional, Engraçado, Sarcástico e Gíria da Geração Z.
• Avaliação: Cada sentença foi pareada com 40 perguntas interpretativas (ex: "Isso é sarcástico?", "Isso é relevante para você?") projetadas para avaliar significado, tom e qualidade expressiva.
• Escala: Tanto humanos quanto modelos avaliaram as sentenças em uma escala Likert de 10 pontos, resultando em 9.600 pares de sentença–pergunta.

Participantes

• Humanos: 211 estudantes de graduação da Texas A&M University.
• Modelos: Quatro LLMs decodificadores apenas, ajustados por instrução, acessados via API ou Hugging Face.
• Condições: Dois estudos foram realizados. O Estudo 1 utilizou um prompt zero-shot padrão. O Estudo 2 introduziu restrições refinadas (limites estritos de classificação de 1 a 10 e justificativas de frase única) para avaliar a sensibilidade ao prompt.

Estrutura Analítica

O estudo distinguiu entre dois níveis de alinhamento:

1. Similaridade de Nível Superficial (SLS): Calculada via coeficientes de correlação de Pearson entre as avaliações humanas e dos modelos para categorias de sentenças específicas. Isso mede a concordância no nível de saída.
2. Similaridade Representacional (RSA): Este método examina a estrutura interna da interpretação.
   • Distâncias euclidianas pareadas foram calculadas entre todos os pares de sentenças baseadas em seus vetores de avaliação de 40 dimensões, criando uma Matriz de Dissimilaridade Representacional (RDM) para humanos e para cada modelo.
   • A RSA quantificou o alinhamento correlacionando as entradas do triângulo superior da RDM humana com as RDMs dos modelos.
   • Significância: Uma alta correlação de RSA indica que humanos e modelos organizam as sentenças de formas estruturalmente semelhantes dentro de seus espaços semânticos, mesmo que os valores absolutos das avaliações difiram. Baixa correlação de RSA sugere geometrias representacionais internas divergentes.

Resultados Principais

Similaridade de Nível Superficial (SLS)

• Alinhamento Geral: Os modelos, particularmente o GPT-4, mostraram forte alinhamento de nível superficial com os humanos (correlações $r \approx 0,60–0,90$ para sentenças sensíveis).
• Hierarquia de Modelos: O GPT-4 superou consistentemente os outros modelos. O Gemma e o Mistral mostraram alinhamento moderado, enquanto o Llama-3.2 exibiu o alinhamento mais fraco, especialmente para categorias figuradas.
• Diferenças de Categoria: Sentenças convencionais e emocionais geraram correlações mais altas do que humor, sarcasmo e gírias.
• Sensibilidade ao Prompt: O Estudo 2 (prompts refinados) mostrou melhorias modestas na SLS entre os modelos, mas as sentenças não sensíveis continuaram sendo um desafio.

Similaridade Representacional (RSA)

• Divergência: Apesar da alta concordância de nível superficial, a RSA revelou uma divergência sistemática entre os espaços representacionais de modelos e humanos.
• Linguagem Figurada: O alinhamento foi significativamente mais fraco para categorias pragmaticamente ricas (idiomatismos, sarcasmo, gírias da Geração Z) em comparação com sentenças convencionais ou emocionais.
  • O GPT-4 apresentou o alinhamento representacional mais forte ($r \approx 0,50–0,85$ para sentenças sensíveis), mas ainda ficou aquém da consistência humano–humano ($r \approx 0,75–0,85$).
  • Modelos menores (Llama, Mistral) mostraram um alinhamento representacional muito baixo ($r \approx 0,10–0,35$) para categorias figuradas.
• Sentenças Não Sensíveis: Os modelos tiveram dificuldade em distinguir variantes sensíveis de não sensíveis em suas representações internas, com as correlações caindo significativamente em relação às bases humanas.
• Impacto do Prompt: Embora os prompts refinados tenham melhorado as avaliações de nível superficial, eles não reestruturaram substancialmente a organização semântica interna dos modelos, particularmente para o Llama.

Principais Contribuições

1. Distinção Metodológica: O estudo separa explicitamente a concordância comportamental de nível superficial do alinhamento estrutural representacional, demonstrando que uma alta correlação nas avaliações não garante uma organização semântica interna compartilhada.
2. Evidência Empírica de Divergência: Fornece evidências de que os LLMs, mesmo os modelos de última geração como o GPT-4, falham em replicar plenamente as geometrias representacionais humanas para linguagem figurada, particularmente para traços dependentes de contexto como sarcasmo e gírias.
3. Hierarquia de Modelos: Estabelece uma hierarquia consistente onde o GPT-4 aproxima-se mais dos padrões representacionais humanos do que os modelos menores, embora nenhum modelo alcance a confiabilidade humano–humano.
4. Insight sobre Mecanismos: Os resultados sugerem que os objetivos de treinamento atuais (previsão do próximo token) são insuficientes para restringir a organização interna do significado para inferência pragmática, levando os modelos a depender de heurísticas de superfície em vez de um embasamento semântico estável.

Significância e Alegações

O artigo alega que, embora os LLMs possam aproximar julgamentos humanos em um nível superficial, eles ainda não possuem a estrutura representacional necessária para uma interpretação genuína, de forma humana, da linguagem figurada e socialmente fundamentada.

• Limitações dos Modelos Atuais: Os achados apoiam a visão de que os LLMs dependem de correspondência de padrões distributivos em vez de um embasamento semântico estável. A incapacidade de alinhar a geometria representacional para idiomatismos e gírias sugere uma falta de supervisão sensível ao contexto e de fundamentação social nas arquiteturas atuais.
• Implicações para Avaliação: Os autores argumentam que avaliar LLMs apenas pela precisão da saída ou correlações de nível superficial é insuficiente. Estruturas futuras devem investigar como o significado é organizado internamente (via métodos como RSA) em vez de apenas o que a saída gera.
• Escopo Modesto: Os autores reconhecem limitações, incluindo o tamanho relativamente pequeno do conjunto de dados, a falta de pistas contextuais ricas nos estímulos (que são cruciais para sarcasmo e humor) e a suposição de que humanos e LLMs compartilham estruturas internas comparáveis. Consequentemente, as alegações são delimitadas à interpretação pragmática independente de contexto, sugerindo que as lacunas observadas podem ser exacerbadas pela ausência de contexto de discurso do mundo real.

Em conclusão, o estudo postula que os LLMs atuais codificam a linguagem figurada em espaços representacionais que são apenas parcialmente alinhados com a organização semântica humana, destacando uma lacuna fundamental entre gerar texto semelhante ao humano e possuir o embasamento cognitivo humano para a linguagem pragmática.