The LSCD Benchmark: a Testbed for Diachronic Word Meaning Tasks

Resumo Técnico: O Benchmark LSCD

Declaração do Problema
A Detecção de Mudança Semântica Lexical (LSCD) é uma tarefa complexa, em nível de lema, que automatiza a análise de deslocamentos de significado das palavras ao longo do tempo. Atualmente, o campo sofre de uma heterogeneidade significativa nas opções de modelagem, definições de tarefa, versões de conjuntos de dados, estratégias de pré-processamento e métricas de avaliação. A LSCD é tipicamente operacionalizada como um pipeline modular envolvendo três subtarefas sequenciais:

1. Palavra-em-Contexto (WiC): Determinação da proximidade semântica entre pares de usos de palavras.
2. Indução de Sentido de Palavra (WSI): Agrupamento desses usos em grupos de sentido com base na proximidade.
3. LSCD: Comparação de agrupamentos de sentidos entre períodos temporais para detectar mudança (Binária ou Graduada).

Essa modularidade, embora reflita o processo de anotação, levou à falta de condições de avaliação comparáveis. Os rankings existentes frequentemente carecem de implementações comuns de modelos, e repositórios abrangentes anteriores (por exemplo, Schlechtweg et al., 2019) focaram em modelos baseados em tipos, que desde então foram superados por embeddings contextualizados baseados em tokens e modelos ajustados para WiC. Consequentemente, é difícil reproduzir resultados, selecionar combinações ótimas de modelos ou avaliar a contribuição específica de componentes individuais do pipeline.

Metodologia
Os autores apresentam um repositório de benchmark projetado para padronizar a avaliação da LSCD em múltiplos idiomas e épocas históricas. A metodologia é construída sobre os seguintes pilares:

• Framework de Avaliação Modular: O benchmark suporta explicitamente a avaliação das três tarefas constituintes (WiC, WSI e LSCD) de forma independente e como um pipeline completo. Isso permite que pesquisadores isolem gargalos de desempenho e testem componentes específicos (por exemplo, um modelo WiC específico) em diferentes conjuntos de dados.
• Integração de Conjuntos de Dados: O repositório integra uma ampla gama de conjuntos de dados anotados por humanos (por exemplo, DWUG, NorDiaChange, RuSemShift, ChiWUG) cobrindo idiomas como alemão, inglês, sueco, espanhol, norueguês, chinês, italiano e russo. Esses conjuntos de dados são unificados sob um pipeline de pré-processamento comum (tokenização, lematização, normalização) e uma divisão padrão de treino/dev/teste (divisão CoMeDi).
• Implementação de Modelos de Estado da Arte (SOTA): O benchmark implementa abordagens baseadas em tokens, incluindo:
  • Geração de Embeddings: Usando BERT e XLM-R (com opções para agregação de camadas, como média ou concatenação).
  • Modelos WiC: Implementando tanto abordagens baseadas em distância (Euclidiana, Manhattan, Cosseno em embeddings) quanto classificadores neurais (DeepMistake, XL-LEXEME, XL-DURel).
  • Agrupamento: Suportando agrupamento por correlação em pontuações de pares e agrupamento padrão em embeddings.
  • Medidas de Agregação: Implementando métodos diretos de detecção de mudança que pulam o agrupamento, como Distância Média de Pares (APD), distância de Cosseno entre embeddings médios (COS) e DiaSense.
• Design Experimental: Os autores conduziram experimentos focados nas tarefas de Mudança Graduada e COMPARE, comparando modelos WiC de SOTA (DeepMistake, XL-LEXEME, XL-DURel) combinados com várias medidas de agregação. Eles também investigaram o impacto de versões de conjuntos de dados, pré-processamento (lematização, normalização) e a discretização de previsões WiC graduadas.

Principais Resultados
Os experimentos produziram várias descobertas significativas sobre o estado atual da LSCD:

1. Dominância do APD: Para as tarefas de Mudança Graduada e COMPARE, a métrica de Distância Média de Pares (APD) consistentemente superou outros métodos de agregação (COS, DiaSense), confirmando descobertas anteriores.
2. Novos Modelos SOTA: O modelo XL-DURel, publicado recentemente (ajustado para WiC ordinal), demonstrou desempenho superior em comparação com DeepMistake e XL-LEXEME, estabelecendo um novo SOTA.
3. Benefícios da Discretização: Discretizar previsões WiC graduadas em valores ordinais (via limiarização) melhorou o desempenho para o XL-DURel, alinhando-se melhor ao processo de anotação humana, embora tenha tido efeitos negligenciáveis ou negativos no XL-LEXEME.
4. WiC como Determinante: Há uma forte correlação entre o desempenho do WiC e o desempenho geral da LSCD; no entanto, a relação não é absoluta. Melhorias no ranking do WiC nem sempre garantem melhores resultados de LSCD, sugerindo que a distribuição de pontuações desempenha um papel crítico na agregação.
5. Confiabilidade dos Dados: Os rankings de modelos podem mudar significativamente dependendo da versão do conjunto de dados utilizada. Versões mais antigas e menos confiáveis de conjuntos de dados (com menos rodadas de anotação) levaram a escolhas de modelos ótimos diferentes em comparação com versões mais novas e de maior qualidade, destacando o risco de confiar em verdades fundamentais desatualizadas.
6. Robustez à Ortografia: Os embedders base atuais provaram ser robustos contra variações ortográficas históricas, com entrada bruta (sem pré-processamento) frequentemente produzindo os melhores resultados, contrariando a suposição de que a normalização é estritamente necessária.

Significância e Alegações
O artigo afirma que a principal significância deste trabalho reside na criação de um benchmark padronizado, transparente e reproduzível para LSCD. Ao unificar procedimentos de avaliação e conjuntos de dados, o repositório permite:

• Comparação Justa: Os pesquisadores agora podem comparar modelos sob condições idênticas, eliminando o ruído causado por variações no pré-processamento e versões de conjuntos de dados.
• Análise de Componentes: O design modular permite a avaliação cuidadosa de componentes de modelos cada vez mais complexos, facilitando a otimização direcionada.
• Reprodutibilidade: A implementação transparente garante que os resultados possam ser facilmente reproduzidos e estendidos.

Os autores concluem que seus resultados apoiam uma "tendência trivial, mas raramente reconhecida": modelos que imitam mais de perto o processo de anotação humana (por exemplo, usando julgamentos WiC ordinais e discretização) tendem a alcançar melhor desempenho. Eles enfatizam que o campo deve afastar-se de confiar em versões de conjuntos de dados desatualizadas e pouco confiáveis para evitar conclusões falsas sobre a eficácia dos modelos. Embora o benchmark atual foque em modelos baseados em tokens e pule abordagens baseadas em agrupamento por concisão, ele estabelece as bases para futuras comparações envolvendo modelos de agrupamento e conjuntos de dados adicionais.