Resumo Técnico: Sondagem de Alinhamento Semântico, Invariância Lexical e Influência Sintática no Processamento de Metáforas em LLMs

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) demonstrem um forte desempenho comportamental em tarefas de detecção e interpretação de metáforas, permanece incerto se esse sucesso reflete uma compreensão semântica profunda e integrada ou a dependência de heurísticas superficiais. Teorias linguísticas existentes, como a Violação de Preferência de Seleção (SPV) e a Teoria da Metáfora Conceitual (CMT), enfatizam que o processamento de metáforas envolve a identificação de mapeamentos implícitos entre domínios, em vez de simples substituições lexicais. O trabalho anterior focou amplamente em resultados de predição (ex: pontuações de acurácia) em vez dos mecanismos subjacentes que impulsionam esses comportamentos. Este artigo aborda essa lacuna investigando se o desempenho observado dos LLMs provém de um mecanismo semântico unificado ou de uma combinação heterogênea de associações lexicais, efeitos de palavras-gatilho e pistas sintáticas.

Metodologia

Os autores propõem uma estrutura de diagnóstico composta por três dimensões de sondagem complementares para analisar o comportamento do LLM sob condições controladas. Os experimentos utilizam o conjunto de dados Fig-QA para análise de interpretação e o Metaphor Understanding Challenge Dataset (MUNCH) para tarefas de geração e detecção.

1. Análise Espacial (Alinhamento de Atributos Semânticos)

Para avaliar se as interpretações geradas pelo modelo se alinham aos atributos semânticos pretendidos, os autores empregam uma estrutura de sondagem geométrica.

• Construção do Plano de Referência: Para uma metáfora alvo $m_i$, um plano de referência $\gamma_i$ é construído em um espaço de incorporação (embedding) compartilhado usando três pontos: duas interpretações anotadas por humanos ($R_i, R'_i$) que capturam o atributo semântico compartilhado, e uma paráfrase literal gerada pelo modelo ($S_i$) da sentença alvo.
• Medidas Geométricas: A interpretação gerada pelo modelo ($M_i$) é avaliada em relação a este plano usando duas métricas:
  • $d_p$ (Distância Perpendicular): Mede a magnitude do desvio geométrico de $M_i$ em relação ao plano de referência.
  • $\cos \theta$ (Similaridade de Cosseno): Mede a diferença de orientação entre o plano de interpretação (espelhado por $R_i, R'_i, M_i$) e o plano de referência.
• Validação: Esses sinais geométricos são correlacionados com uma pontuação de soma baseada em similaridade ($A_d$) e validados via avaliação humana para garantir que reflitam desvios semânticos significativos e não artefatos.

2. Imaginação Metafórica (Invariância Lexical)

Esta dimensão sonda a estabilidade das associações lexicais através de condições contextuais, investigando "efeitos de palavras-gatilho" onde os modelos podem depender de âncoras lexicais estáveis em vez do contexto.

• Design Experimental: O estudo compara a Geração Contextualizada (produzir palavras dentro de uma sentença) contra a Geração Descontextualizada (produzir palavras isoladamente).
• Tarefas:
  • Literal-para-Metáfora (LM): Gerar contrapartidas metafóricas para entradas literais.
  • Metáfora-para-Literal (ML): Gerar contrapartidas literais para entradas metafóricas.
• Métrica: Um Score de Âncora quantifica a sobreposição entre as saídas contextualizadas e descontextualizadas. Pontuações altas indicam a persistência de associações lexicais invariantes ao contexto.

3. Embaralhamento Sintático (Influência Sintática)

Esta dimensão examina a sensibilidade da detecção de metáforas a pistas estruturais, perturbando a sintaxe da sentença enquanto preserva amplamente o conteúdo lexical.

• Perturbações:
  • Embaralhamento Aleatório (Random Shuffle): Disrompe tanto a sintaxe quanto a coerência semântica.
  • Embaralhamento de POS (Part-of-Speech Shuffle): Substitui a palavra metafórica por um sinônimo de uma classe gramatical (POS) diferente, introduzindo irregularidade sintática enquanto mantém o significado lexical.
  • Reposicionamento de Palavra Metafórica: Move a palavra metafórica para o início, meio ou fim da sentença.
• Objetivo: Determinar se a detecção depende da estrutura integrada da sentença ou de pistas heurísticas rasas, como anomalias de POS.

Principais Contribuições

1. Estrutura de Sondagem Geométrica: Os autores introduzem um novo proxy comportamental usando medidas geométricas ($d_p$ e $\cos \theta$) para quantificar o alinhamento de atributos semânticos na interpretação de metáforas, oferecendo uma visão mais refinada do que métricas de acurácia discretas.
2. Análise de Invariância Lexical: Através das tarefas de Imaginação Metafórica, o estudo demonstra que os LLMs exibem associações lexicais persistentes e invariantes ao contexto, sugerindo uma dependência de âncoras lexicais estáveis que podem apoiar metáforas convencionais, mas enviesar as novas.
3. Avaliação de Sensibilidade Sintática: O artigo analisa o impacto de perturbações sintáticas controladas na detecção, revelando que os modelos são altamente sensíveis a irregularidades sintáticas (ex: embaralhamentos de POS), que podem inflar artificialmente a acurácia de detecção.
4. Perspectiva Diagnóstica: O trabalho desloca o foco da comparação de desempenho para uma análise diagnóstica de como os modelos processam metáforas, identificando padrões comportamentais consistentes e limitações entre diversos LLMs.

Resultados & Análise

• Deriva Semântica (Semantic Drift): A análise espacial revela que as interpretações geradas pelos modelos exibem consistentemente uma deriva semântica em relação aos atributos de referência. Embora as medidas geométricas correlacionem-se com julgamentos humanos (um $d_p$ baixo corresponde a pontuações de alinhamento humano mais altas), os modelos frequentemente falham em capturar o mapeamento pretendido, focando em atributos salientes, mas irrelevantes (ex: interpretar "O computador é uma tartaruga" como tendo uma "vida longa" em vez de "baixa velocidade").
• Ancoragem Lexical: Os Scores de Âncora são consistentemente altos (65%–80%) entre modelos e gêneros, indicando que as associações lexicais frequentemente persistem independentemente do contexto. Esse efeito é observado mesmo em metáforas novas (score de novidade > 0,3), embora de forma menos uniforme. Os autores interpretam isso como evidência de que os modelos podem depender de priors lexicais que podem enviesar a interpretação em contextos onde a integração é necessária.
• Sensibilidade Sintática: A acurácia da detecção de metáforas varia significativamente com as perturbações sintáticas. Notavelmente, os modelos frequentemente alcançam uma acurácia maior sob condições de embaralhamento de POS em comparação com as sentenças originais, sugerindo que a própria irregularidade sintática serve como uma pista heurística para detecção, em vez de evidência de uma integração semântica robusta. O embaralhamento aleatório atua como um teste de estresse, revelando um comportamento instável em alguns modelos (ex: DeepSeek-V3), enquanto outros (ex: LLaMA-3.1-8B) permanecem próximos ao nível do acaso.

Significância e Alegações

O artigo conclui que um forte desempenho comportamental em benchmarks de metáfora não implica necessariamente uma compreensão semântica robusta e integrada. Em vez disso, o sucesso dos LLMs parece advir de uma combinação heterogênea de:

1. Deriva Semântica: Uma tendência de desviar dos mapeamentos de atributos pretendidos.
2. Priors Lexicais: Dependência de associações lexicais estáveis e invariantes ao contexto que podem apoiar metáforas convencionais, mas dificultar o processamento de metáforas novas.
3. Heurísticas Sintáticas: Sensibilidade a interrupções estruturais superficiais (como anomalias de POS) que funcionam como pistas de detecção independentes da composição semântica profunda.

Os autores enfatizam a necessidade de cautela ao interpretar resultados de benchmarks como evidência de compreensão metafórica genuína. Eles argumentam por abordagens de avaliação que sondem o alinhamento de nível de atributo, o raciocínio contextual e a integração sintática além de pistas baseadas em padrões. O estudo é modesto em seu escopo, reconhecendo limitações como a dependência de regiões de referência construídas, o foco em metáforas de palavra única e o uso de conjuntos de dados em inglês, observando que a generalização para outras línguas e fenômenos de nível de discurso requer investigação adicional.