Surprisal and Metaphor Novelty Judgments: Moderate Correlations and Divergent Scaling Effects Revealed by Corpus-Based and Synthetic Datasets

Resumo Técnico: Surpresa e Julgamentos de Novidade de Metáforas

Problema
O artigo aborda o desafio de quantificar a criatividade linguística, especificamente a distinção entre metáforas convencionais e novas, utilizando Grandes Modelos de Linguagem (LMs). Embora a compreensão da metáfora envolva processos semânticos complexos e mapeamento entre domínios, separar metáforas novas de convencionais permanece difícil para anotadores humanos e raramente é considerado na análise computacional de metáforas. Os autores investigam se a surpresa (surprisal) — uma medida probabilística de previsibilidade definida como o logaritmo negativo da probabilidade de uma palavra no contexto ($-\log p(w_i | w_{<i})$) — pode servir como uma métrica confiável para a novidade da metáfora. Eles visam determinar se a surpresa de LMs correlaciona-se com as anotações humanas de novidade e compreender como o tamanho do modelo, o tipo de conjunto de dados (baseado em corpus ou sintético) e a modelagem de contexto afetam essa correlação.

Metodologia
O estudo emprega um design experimental sistemático envolvendo quatro conjuntos de dados e 16 variantes de LMs causais:

1. Conjuntos de Dados:

   • Baseados em Corpus: Dois subconjuntos do VU Amsterdam Metaphor Corpus (VUAMC).
     • VUA-ratings: Contém pontuações contínuas de novidade (-1 a +1) derivadas de escalonamento de melhor-pior (best-worst scaling) via crowdsourcing.
     • VUA-dictionary: Contém rótulos binários de novidade baseados em um método de dicionário, onde uma metáfora é considerada nova se seu significado contextual estiver ausente nas entradas do dicionário.
   • Sintéticos: Dois conjuntos de dados controlados.
     • Lai2009: Estímulos psicolinguísticos com estruturas fixas contendo usos literais, convencionais, novos e anômalos de palavras específicas.
     • GPT-4o-metaphors: Um conjunto de dados fictício gerado por meio de prompting ao GPT-4o para criar sentenças com sentidos convencionais e novos de verbos e substantivos específicos.

2. Modelos:

   • Três famílias de LMs causais do tipo decoder-only: GPT-2 (4 tamanhos), Llama 3 (3 tamanhos) e Qwen2.5 (3 tamanhos).
   • Tanto as variantes base quanto as ajustadas por instrução (instruction-tuned) foram avaliadas para analisar o impacto do alinhamento na surpresa.

3. Computação da Surpresa:

   • Surpresa direta (Direct-surprisal): Surpresa padrão da esquerda para a direita computada na palavra alvo dado o contexto precedente.
   • Surpresa de preenchimento (Cloze-surprisal): Um método inovador proposto pelos autores para incorporar o contexto à direita. A palavra alvo é substituída por um espaço em branco, a sentença completa (incluindo o alvo) é anexada como a conclusão, e a surpresa é medida para a palavra alvo na segunda ocorrência. Isso condiciona a probabilidade ao contexto da sentença completa.

4. Avaliação:

   • Métricas de correlação (Pearson's $r$, Spearman's $\rho$, Rank-biserial $r_b$ e AUC) foram computadas entre os escores de surpresa e as anotações de novidade.
   • As análises foram conduzidas através de diferentes tamanhos de modelos, tipos de conjuntos de dados e divisões de gênero (ficção, notícias, acadêmico, conversação).

Resultos Principais

• Correlações Moderadas: A surpresa dos LMs produz correlações significativas, positivas, porém moderadas, com as anotações de novidade de metáforas em todos os conjuntos de dados. Os resultados mais fortes foram observados com o GPT2-base no VUA-ratings ($r = .419$, $r_b = .638$).
• Efeitos de Escalonamento Divergentes: A relação entre o tamanho do modelo e a força da correlação depende do tipo de conjunto de dados:
  • Dados baseados em corpus: Exibem um efeito de escalonamento inverso. A força da correlação diminui conforme o tamanho do modelo aumenta. Os autores atribuem isso ao fato de modelos maiores atribuírem expectativas não humanas a palavras raras, que frequentemente correlacionam-se com a novidade em corpora naturais.
  • Dados sintéticos: Exibem uma hipótese de qualidade-potência (escalonamento positivo). A força da correlação aumenta com o tamanho do modelo, provavelmente porque os conjuntos de dados sintéticos controlam a frequência e identidade lexical, isolando o dimensão da novidade de forma mais eficaz.
• Surpresa de Preenchimento (Cloze-surprisal): O método de surpresa de preenchimento proposto pelos autores geralmente melhora as correlações, particularmente para modelos GPT-2 em dados baseados em corpus (por exemplo, elevando o $r_b$ para .687 no VUA-ratings). Ele desloca a distribuição dos valores de surpresa para longe de zero, capturando melhor o contexto total necessário para o processamento de metáforas. No entanto, ocasionalmente deteriora o desempenho em conjuntos de dados sintéticos.
• Ajuste por Instrução (Instruction-tuning): O ajuste por instrução não melhora consistentemente a correlação entre a surpresa e a novidade. Em muitos casos, particularmente para modelos Qwen e em conjuntos de dados sintéticos, o ajuste por instrução reduziu a correlação em comparação aos modelos base.
• Efeitos de Gênero: A força da correlação varia por gênero, mostrando uma relação com a densidade de metáforas e a perplexidade do modelo. Por exemplo, o gênero de conversação mostrou alta perplexidade, mas forte correlação com rótulos de novidade baseados em dicionário.

Significância e Alegações
O artigo conclui que, embora a surpresa possa explicar parcialmente as anotações de novidade de metáforas, ela permanece uma métrica limitada para a criatividade linguística por si só. Os autores argumentam que interpretar metáforas envolve integração semântica e mapeamento entre domínios, que se estendem além da simples previsibilidade.

A principal contribuição do estudo reside em revelar padrões de escalonamento divergentes baseados na natureza do conjunto de dados. Sugere que o "escalonamento inverso" observado em estudos de tempo de leitura em dados de corpus pode ser impulsionado por confundimentos de frequência lexical, enquanto dados sintéticos que controlam esses fatores revelam um efeito de escalonamento positivo. Os autores pedem novas medidas e conjuntos de dados que forneçam anotações sistemáticas de novidade de metáforas através de gêneros e contextos, observando que anotações de alta qualidade atuais são escassas. Eles posicionam a surpresa como uma ferramenta promissora, mas incompleta, sendo melhor utilizada em conjunto com outras métricas que visam diretamente interpretações e mapeamentos de domínios novos.