In the LLM era, Word Sense Induction remains unsolved

Resumo Técnico: Indução de Sentido de Palavras (WSI) na Era dos LLMs

1. O Problema

A Indução de Sentido de Palavras (WSI - Word Sense Induction) visa descobrir automaticamente os diferentes sentidos de uma palavra (lemas) em um corpus, sem depender de um inventário de sentidos pré-definido (como o WordNet). Isso contrasta com a Desambiguação de Sentido de Palavras (WSD), que exige dados anotados manualmente e inventários fixos, muitas vezes inadequados para domínios específicos ou idiomas de baixos recursos.

Apesar do avanço dos Grandes Modelos de Linguagem (LLMs), o artigo argumenta que a WSI continua sendo um problema não resolvido. Os principais desafios identificados são:

• Viés nos Dados de Avaliação: Os conjuntos de dados padrão (como SemEval 2010 e 2013) super-representam lemas polissêmicos e frequentes, criando um cenário artificial que não reflete a distribuição natural de um corpus completo (onde a maioria dos lemas é monossêmica).
• Falha dos Métodos Atuais: Sistemas de ponta (SOTA) baseados em clustering de embeddings ou modelos supervisionados falham ao serem aplicados em cenários de "corpus completo" mais realistas.
• Limitações dos LLMs: Modelos de linguagem grandes têm dificuldade em realizar a tarefa de agrupamento (clustering) diretamente via prompting, frequentemente falhando em manter o contexto para grandes conjuntos de exemplos ou recusando a tarefa.

2. Metodologia

Os autores propõem uma reavaliação rigorosa da WSI através de uma nova abordagem experimental:

• Novo Framework de Avaliação (SemCor-WSI):

  • Em vez de usar os conjuntos de dados artificiais do SemEval, os autores extraíram um conjunto de dados do SemCor 3.0.
  • Este novo conjunto preserva a distribuição natural de frequência de ocorrências e níveis de polissemia do corpus original, incluindo tanto lemas monossêmicos quanto polissêmicos.
  • O objetivo é testar se os sistemas funcionam em um cenário de "corpus completo", onde a detecção de quais lemas são polissêmicos é parte do desafio.

• Avaliação de Modelos e Técnicas:

  • Baselines Simples: Comparação contra heurísticas simples, como "1 cluster por lema" (1cpl - assumir que a palavra tem apenas um sentido) e "1 cluster por exemplo".
  • Modelos de Embedding: Avaliação de clustering em embeddings contextualizados pré-treinados (BERT base/large) e modelos ajustados para a tarefa Word-in-Context (WiC), como MirrorWiC e BERT-Wikt.
  • Algoritmos de Clustering: Comparação entre Agglomerative Clustering com pontuação de silhueta (AGsilh) e X-Means (que determina o número de clusters dinamicamente).
  • LLMs Diretos: Teste de prompting direto em LLMs (GPT-4o, Llama 3.1, Llama 3.3) para agrupar instâncias de um lema.
  • Aumento de Dados (Data Augmentation): Investigação de fontes de dados não rotulados para enriquecer o conjunto de instâncias antes do clustering:
    • Corpora externos (Wikibooks).
    • Sentenças geradas por LLMs.
    • Exemplos do Wiktionary.
  • Aprendizado Semi-supervisionado: Uso de restrições must-link (obrigar exemplos do mesmo sentido do Wiktionary a ficarem no mesmo cluster) e ajuste fino (fine-tuning) de modelos BERT com dados do Wiktionary.

3. Principais Contribuições

1. Crítica Metodológica: Identificação de que a avaliação atual da WSI é falha devido a métricas heterogêneas e conjuntos de dados que não refletem a realidade linguística (viés de seleção de lemas polissêmicos).
2. Novo Benchmark: Criação e disponibilização do conjunto de dados SemCor-WSI, que serve como um teste mais rigoroso e realista para sistemas de WSI.
3. Descoberta sobre a Heurística 1cpl: Demonstração de que, em cenários realistas, a simples heurística de agrupar todas as ocorrências de um lema em um único cluster (1cpl) supera a maioria dos métodos complexos de clustering não supervisionado.
4. Limitações dos LLMs: Evidência de que LLMs, quando usados diretamente para clustering via prompting, têm desempenho inferior e instável, especialmente com grandes volumes de dados.
5. Solução via Aumento de Dados e Wiktionary: Demonstração de que o uso estratégico de dados do Wiktionary (para fine-tuning, aumento de dados e restrições de clustering) permite superar tanto a heurística 1cpl quanto os sistemas SOTA anteriores.

4. Resultados Chave

• Desempenho em SemCor-WSI: Nenhum método não supervisionado (incluindo os melhores modelos de clustering de embeddings e os LLMs) superou a baseline "1 cluster por lema" (1cpl) na métrica F-B3 ponderada.
  • Exemplo: A baseline 1cpl atingiu 73.6 de F-B3, enquanto o melhor modelo não supervisionado (BERT-large + AGsilh) atingiu 71.1.
• Variação por Classe Gramatical: O desempenho varia drasticamente entre substantivos, verbos e adjetivos. Verbos (mais polissêmicos) são os únicos onde métodos de clustering superam a baseline 1cpl.
• Desempenho dos LLMs: Modelos como Llama e GPT-4o tiveram desempenho globalmente baixo e alta variância. Eles tendem a "esquecer" a tarefa em conjuntos grandes ou gerar explicações desnecessárias que quebram o formato de saída.
• Impacto do Aumento de Dados:
  • Adicionar exemplos de corpora reais (Wikibooks) melhora consistentemente o desempenho.
  • O uso de Wiktionary foi o fator decisivo. O sistema semi-supervisionado que utilizou Wiktionary para fine-tuning, aumento de dados e restrições must-link alcançou 76.0 de F-B3, superando a baseline 1cpl (74.4 no teste) e o sistema SOTA anterior (PolyLM, 72.7).
• Métricas: A métrica F-B3 ponderada (baseada em instâncias) mostrou-se mais adequada para cenários de corpus completo do que métricas baseadas em pares ou clusters (como NMI), que tendem a favorecer classes grandes artificialmente.

5. Significância e Conclusões

O artigo conclui que a WSI não está resolvida na era dos LLMs. A aparente eficácia de sistemas anteriores era, em parte, um artefato de conjuntos de dados de avaliação enviesados.

• O Paradoxo da Simplicidade: Em dados naturais, a complexidade dos modelos de clustering não compensa a simplicidade de assumir um único sentido para a maioria das palavras.
• O Papel dos Lexicões: A integração de recursos lexicais estruturados (como o Wiktionary) é mais eficaz do que tentar extrair sentidos puramente de dados não supervisionados ou depender apenas da capacidade semântica bruta dos LLMs.
• Futuro: O trabalho sugere que o avanço na WSI requer uma melhor articulação entre lexicões eletrônicos e as capacidades semânticas dos LLMs, possivelmente através de abordagens semi-supervisionadas que utilizam dicionários existentes para guiar a indução de sentidos, em vez de tentar aprender do zero.

Em suma, o papel propõe um novo padrão de avaliação mais rigoroso e demonstra que, sem o uso inteligente de recursos lexicais externos (como o Wiktionary), os métodos atuais de WSI falham em cenários realistas, superados até mesmo por heurísticas triviais.