Evaluating the Evaluator: Problems with SemEval-2020 Task 1 for Lexical Semantic Change Detection

1. Problema

O artigo identifica limitações críticas no SemEval-2020 Task 1, que é considerado o benchmark (padrão de referência) mais influente para a detecção de mudança semântica lexical (LSC). Os autores argumentam que, embora o benchmark tenha sido fundamental para o avanço do campo, ele apresenta falhas estruturais que comprometem a validade, a interpretabilidade e a generalização dos resultados dos sistemas de IA. O problema central reside na discrepância entre a complexidade teórica da mudança semântica e a simplificação excessiva adotada na operacionalização, qualidade dos dados e design do benchmark.

2. Metodologia

Os autores realizaram uma reavaliação crítica do benchmark através de uma estrutura avaliativa tripartite, analisando o dataset original e seus metadados sob três lentes analíticas:

1. Operacionalização: Análise teórica de como a mudança semântica foi definida e anotada (focada em ganho/perda de sentidos discretos).
2. Qualidade dos Dados: Investigação empírica dos corpora (Inglês, Alemão, Sueco e Latim) para identificar ruídos, erros de pré-processamento (OCR, lematização, POS-tagging) e inconsistências.
3. Design do Benchmark: Avaliação estatística e metodológica do tamanho das amostras, cobertura linguística e viéses de frequência.

A análise envolveu verificação qualitativa de amostras dos dados, uso de APIs (Google Gemini) para detecção automatizada de erros em subconjuntos de dados, e comparação de resultados de reanálise de dados (reparsing) usando parsers modernos (Stanza, UDPipe) versus as anotações originais.

3. Principais Contribuições e Resultados

A. Limitações na Operacionalização da Mudança Semântica

• Visão Excessivamente Discreta: O benchmark trata a mudança semântica apenas como ganho, perda ou redistribuição de "sentidos" discretos. Isso ignora mudanças graduais, construcionais, colocationais e de nível discursivo, que são fundamentais na linguística real.
• Construção Analítica vs. Observável: As "etiquetas de ouro" (gold labels) são produtos de decisões de anotação e procedimentos de clustering, não propriedades observáveis diretas. A concordância entre anotadores foi moderada (Kappa ~0.52-0.60), e casos de mudança metonímica (ex: o substantivo alemão Seminar) foram erroneamente classificados como "sem mudança".
• Restrição Temporal Binária: A tarefa compara apenas dois períodos (C1 e C2), ignorando a trajetória contínua, estágios intermediários ou reversões da mudança semântica.
• Indistinção de Direção: O dataset não distingue entre ganho e perda de sentidos, uma lacuna que limita a análise direcional da mudança.

B. Problemas de Qualidade dos Dados (Ruído e Pré-processamento)

Os autores descobriram inconsistências graves que distorcem o comportamento dos modelos:

• Ruído de OCR e Caracteres Estranhos: Especialmente nos corpora sueco (Kubhist) e alemão (BZ/ND), há erros de digitalização massivos (ex: bloqiiade-cillstZnd em vez de blockade-tillstånd), caracteres malformados e sentenças truncadas ou fundidas incorretamente.
• Erros de Lematização e POS-tagging (Inglês): O corpus inglês apresenta erros sistemáticos onde verbos são rotulados como substantivos e vice-versa (ex: land como substantivo em vez de verbo, face como substantivo em vez de gerúndio). Isso invalida as anotações de ouro baseadas em pares alvo-POS.
• Falta de Transparência: Não há documentação clara sobre os protocolos de limpeza de dados ou normalização ortográfica, dificultando a reprodutibilidade. A reanálise dos dados com parsers modernos resultou em conjuntos de dados diferentes e, em alguns casos, melhor desempenho dos modelos, sugerindo que os dados originais contêm viéses de anotação.

C. Deficiências no Design do Benchmark

• Incerteza Estatística: Os conjuntos de teste são muito pequenos (37 palavras em inglês, 48 em alemão, etc.). Isso torna a avaliação estatisticamente frágil; a mudança de um único item pode alterar a precisão em 2-3 pontos percentuais. As margens de erro (MoE) são vastas (até 17,6%), tornando difícil distinguir entre sistemas superiores e ruído de amostragem.
• Viés de Frequência: Muitos sistemas obtêm bom desempenho correlacionando-se com variáveis de frequência de palavras em vez de detectar mudança semântica real.
• Falta de Representatividade Linguística: O benchmark cobre apenas quatro línguas europeias (Inglês, Alemão, Sueco, Latim), limitando a generalização para línguas não europeias, com scripts não latinos ou com recursos limitados.

4. Significado e Implicações

O artigo conclui que o SemEval-2020 Task 1 deve ser tratado como um campo de teste útil, mas parcial, e não como uma medida definitiva de progresso na área.

Recomendações para Futuras Pesquisas:

1. Teorias Mais Amplas: Adotar definições de mudança semântica que incluam gradientes, mudanças de construção e padrões de uso, além de sentidos discretos.
2. Transparência de Dados: Documentar explicitamente protocolos de denoising, scripts de pré-processamento e correções de OCR para garantir reprodutibilidade.
3. Robustez Estatística: Utilizar conjuntos de teste maiores e cenários de descoberta em vocabulário completo para reduzir o ruído estatístico.
4. Diversidade Linguística: Expandir a cobertura para línguas tipologicamente diversas e não europeias para validar a independência linguística dos sistemas.
5. Modelagem Temporal Contínua: Mover-se além da comparação binária (C1 vs C2) para modelar a evolução semântica ao longo de múltiplos cortes temporais.

Em suma, o artigo serve como um alerta metodológico para a comunidade de Processamento de Linguagem Natural (PLN), enfatizando que a melhoria na detecção de mudança semântica exige uma base de dados mais limpa, teoricamente fundamentada e estatisticamente robusta.