💬 NLP

Rethinking Metrics for Lexical Semantic Change Detection

Este artigo propõe novas métricas de detecção de mudança semântica lexical, a Distância Mínima Média (AMD) e a Distância Mínima Média Simétrica (SAMD), demonstrando que elas oferecem desempenho mais robusto e preciso do que as métricas tradicionais (APD e PRT) ao quantificar mudanças semânticas em embeddings contextualizados de linguagem.

Autores originais: Roksana Goworek, Haim Dubossarsky

Publicado 2026-02-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Roksana Goworek, Haim Dubossarsky

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um historiador tentando entender como a linguagem de uma cidade mudou ao longo de 100 anos. Você tem dois grandes livros de diários: um escrito em 1920 e outro em 2020. Você quer saber: "A palavra 'nuvem' significa a mesma coisa nos dois livros?"

No passado, os cientistas usavam métodos simples para responder a isso. Eles pegavam todas as vezes que a palavra aparecia, calculavam uma "média" (uma média de tudo) e comparavam as duas médias. É como se você pegasse a altura média de todos os moradores de 1920 e comparasse com a altura média de 2020. Se a média mudou, você diz que a cidade mudou.

O Problema:
Esse método de "média" é cego para detalhes. Se em 1920 todos tinham 1,70m, e em 2020 a maioria continua com 1,70m, mas alguns novos moradores têm 2,10m (uma nova "nuvem" de significado, talvez relacionada a tecnologia), a média quase não muda. O método antigo perde essas mudanças importantes e sutis.

A Solução do Artigo:
Os autores, Roksana e Haim, propuseram uma nova maneira de olhar para essas mudanças. Em vez de olhar para a média de tudo, eles propõem olhar para os vizinhos.

Eles criaram duas novas ferramentas (chamadas AMD e SAMD) que funcionam assim:

A Analogia do "Encontro de Velhos Amigos" (AMD):
Imagine que você pega cada pessoa que usou a palavra em 1920 e pergunta: "Quem é a pessoa em 2020 que mais se parece com você?"
- Se a maioria das pessoas de 1920 encontrar um "amigo muito parecido" em 2020, a palavra não mudou muito.
- Se muitas pessoas de 1920 não encontrarem ninguém parecido em 2020 (porque o significado delas desapareceu ou mudou drasticamente), a palavra mudou.
- Isso é o AMD (Distância Mínima Média). Ele mede o quão longe está o "melhor amigo" de cada uso da palavra.
A Analogia do "Baile de Máscaras" (SAMD):
Agora, imagine que você quer emparelhar todos os participantes de 1920 com todos os de 2020, um para um, sem repetir ninguém. É como um baile onde cada pessoa de um ano deve encontrar um parceiro único no outro ano.
- O SAMD faz isso de forma inteligente: ele tenta fazer os pares mais parecidos se encontrarem primeiro. Se, mesmo tentando o máximo, os pares ficarem muito diferentes, significa que a palavra mudou muito.

O Que Eles Descobriram?
Os autores testaram essas novas ferramentas em vários idiomas (Inglês, Alemão, Chinês, etc.) e com diferentes "cérebros" de computador (modelos de linguagem).

Resistência à "Neblina": Às vezes, os dados estão confusos ou simplificados (como quando você tenta ver uma foto em baixa resolução). As ferramentas antigas (que olhavam a média) ficavam cegas e não viam nada. As novas ferramentas (AMD e SAMD) conseguem ver as mudanças mesmo com a "foto" borrada.
Detalhes Importantes: Elas são ótimas para pegar mudanças pequenas e específicas, como o surgimento de um novo significado, que as ferramentas antigas ignoravam.
Interpretação: Quando eles usaram definições de dicionário para criar um espaço de comparação, a ferramenta AMD funcionou ainda melhor, mostrando que ela consegue entender não apenas se mudou, mas como mudou.

Resumo Simples:
Pense nas ferramentas antigas como um termômetro que mede a temperatura média de uma sala inteira. Se a sala está fria, mas uma janela aberta deixa entrar um vento gelado, o termômetro médio pode não perceber.

As novas ferramentas (AMD e SAMD) são como sensores de vento colocados em cada canto da sala. Elas detectam que, embora a temperatura média seja a mesma, o vento mudou de direção em um canto específico.

Conclusão:
O artigo diz que, para entender como as palavras evoluem, não devemos confiar apenas em médias globais. Precisamos olhar para os detalhes, para como cada uso específico de uma palavra se conecta com os usos do passado. As novas ferramentas são mais robustas, mais precisas e funcionam bem mesmo quando os dados não são perfeitos. Elas são um novo e poderoso "microscópio" para a linguística.

Título: Repensando Métricas para Detecção de Mudança Semântica Lexical

Autores: Roksana Goworek e Haim Dubossarsky (Queen Mary University of London, The Alan Turing Institute, University of Cambridge)

1. O Problema

A Detecção de Mudança Semântica Lexical (LSCD) visa quantificar automaticamente como os significados das palavras evoluem ao longo do tempo. Com o advento de modelos de linguagem contextualizados (como BERT e seus derivados), a abordagem mudou de representações estáticas de palavras para embeddings de nível de uso (cada ocorrência da palavra é codificada como um vetor).

No entanto, a maioria dos métodos atuais ainda depende de um conjunto limitado de métricas para quantificar a mudança, principalmente:

APD (Average Pairwise Distance): Distância média entre todos os pares de usos cruzados entre dois corpora.
PRT (Prototype Distance): Distância entre os centróides (protótipos) dos dois corpora.

Limitações Identificadas:

Agregação Global: Tanto APD quanto PRT agregam informações globalmente. Isso pode obscurecer fenômenos localizados, como o surgimento de um novo sentido, o desaparecimento de um sentido antigo ou mudanças que afetam apenas um subconjunto raro de usos.
Fragilidade em Espaços Reduzidos: Essas métricas globais tendem a degradar-se severamente quando os embeddings são projetados em espaços de dimensão reduzida ou quando se utilizam codificadores não especializados.
Viés de Descoberta: Métricas globais podem ser vulneráveis a confundidores em cenários de descoberta em larga escala, priorizando variações temáticas em vez de mudanças semânticas genuínas.

2. Metodologia

Os autores propõem duas novas métricas baseadas na correspondência local entre usos de palavras em diferentes períodos temporais, em vez da comparação de distribuições globais.

Novas Métricas Propostas:

AMD (Average Minimum Distance):
- Para cada ocorrência de uma palavra em um corpus, mede a distância até seu vizinho mais próximo (nearest neighbor) no outro corpus.
- Calcula a média dessas distâncias mínimas em ambas as direções (Corpus A $\to$ B e B $\to$ A).
- Permite uma decomposição direcional, ajudando a analisar mudanças assimétricas (ex.: alargamento ou estreitamento de sentido).
SAMD (Symmetric Average Minimum Distance):
- Uma variante que impõe um alinhamento um-para-um (one-to-one) entre as instâncias de uso dos dois períodos.
- Utiliza um algoritmo ganancioso (greedy) para selecionar os pares de menor distância, removendo linhas e colunas correspondentes após cada seleção, evitando que múltiplos pontos mapeiem para o mesmo vizinho (um problema comum em espaços dominados por "hubs").

Configuração Experimental:

Corpora e Idiomas: Avaliação em 7 idiomas (Inglês, Alemão, Sueco, Latim, Espanhol, Norueguês e Chinês) usando benchmarks padrão (SemEval-2020, LSCDiscovery, etc.).
Modelos (Encoders):
- Especializados: XL-LEXEME (fine-tuned para LSCD).
- Não Especializados: Codificadores multilíngues (XLM-RoBERTa, mmBERT, mE5) e codificadores monolíngues específicos por idioma.
Espaços de Representação:
- Embeddings completos (FULL).
- Espaço baseado em definições (DEF): Embeddings projetados em relação a definições textuais geradas por LLMs.
- Análise de Componentes Principais (PCA).
- Seleção aleatória de dimensões (RAND) para testes de estresse.

3. Principais Contribuições

Introdução de AMD e SAMD: Novas métricas que capturam mudanças semânticas através da correspondência local de usos, sendo mais sensíveis a alterações em subconjuntos de dados do que métricas globais.
Análise de Robustez: Demonstração de que métricas baseadas em correspondência local são significativamente mais robustas a reduções de dimensionalidade e ruído em espaços de representação do que APD e PRT.
Espaços Interpretáveis: Validação do uso de espaços baseados em definições (definidos por LLMs) para análise de mudança semântica, mostrando que a interpretabilidade não compromete a performance quantitativa quando se usam as métricas corretas.
Recurso de Código: Disponibilização de código, resultados e definições geradas para reprodução e construção de espaços baseados em definições.

4. Resultados Chave

Performance Geral: AMD e SAMD apresentaram as melhores correlações de Spearman (com os scores de mudança semântica anotados manualmente) e a menor variância em todos os tipos de espaços de embedding.
Resiliência à Redução de Dimensionalidade:
- APD e PRT sofreram degradação drástica (quase zero correlação) sob redução de dimensionalidade (PCA e seleção aleatória).
- AMD e SAMD mantiveram performance robusta (correlações próximas a 0.40) mesmo com apenas 4 dimensões restantes.
Codificadores Especializados vs. Não Especializados:
- Com o modelo especializado XL-LEXEME, o SAMD com PCA obteve o melhor resultado global.
- Com codificadores não especializados (monolíngues e multilíngues genéricos), o AMD no espaço baseado em definições (DEF) superou todas as outras combinações, sugerindo que a organização do espaço de embedding baseada em sentido beneficia a métrica de correspondência local.
Espaço Baseado em Definições: O AMD foi a única métrica que melhorou significativamente ao ser projetado no espaço de definições, indicando que a mudança semântica é melhor capturada pela diferença no alinhamento da forma global das distribuições de uso, e não apenas pela concentração da distribuição.

5. Significado e Conclusão

O artigo argumenta contra uma abordagem "tamanho único" para métricas de mudança semântica. As conclusões principais são:

Complementaridade: AMD e SAMD não devem substituir APD e PRT, mas sim complementá-los. Eles oferecem uma opção robusta, especialmente em cenários onde a qualidade dos embeddings é variável ou onde se trabalha com dimensões reduzidas.
Descoberta Realista: Para cenários de descoberta em larga escala (onde não há curadoria manual), métricas locais como AMD/SAMD são preferíveis, pois são menos suscetíveis a ruídos e variações temáticas que enganam métricas globais.
Interpretabilidade: A combinação de métricas de correspondência local com espaços de representação interpretáveis (como os baseados em definições) abre novas possibilidades para análise qualitativa e quantitativa de como e por que os significados mudam.

Em suma, o trabalho sugere que a comunidade de LSCD deve expandir seu conjunto de ferramentas metodológicas para incluir métricas que capturem a correspondência local de usos, garantindo maior robustez e interpretabilidade nas análises diacrônicas.