Resumo Técnico: CALE – Embeddings Alinhados a Conceitos para Diferenciação de Sentidos Tanto Intra-Lema Quanto Inter-Lema

Declaração do Problema

A pesquisa atual em semântica lexical computacional baseia-se fortemente em modelos de linguagem contextualizados (ex: BERT, XLM-R) para estudar o significado das palavras. No entanto, os modelos pré-treinados padrão são frequentemente utilizados sem um ajuste fino (fine-tuning) específico para semântica lexical devido à falta de dados anotados. As abordagens de ajuste fino existentes, como as para a tarefa de Palavra-no-Contexto (WiC - Word-in-Context), são limitadas porque comparam apenas ocorrências do mesmo lema. Consequentemente, esses modelos capturam a variação de sentido intra-palavra (polissemia), mas falham em modelar as relações semânticas inter-palavras (sinonímia) ou a estrutura mais ampla do significado lexical, onde diferentes palavras instanciam o mesmo conceito subjacente.

Os autores argumentam que, para alcançar uma perspectiva superior, o foco deve mudar de "sentidos de palavras" (usos convencionalizados de um lema específico) para "conceitos semânticos" (representações mentais de categorias, semelhantes a entradas da Wikipedia ou sinsetes do WordNet). Há uma necessidade de um modelo que possa gerar representações vetoriais de múltiplos propósitos onde as ocorrências que instanciam o mesmo conceito sejam semelhantes, independentemente de compartilharem o mesmo lema.

Metodologia

1. Definição da Tarefa: Diferenciação de Conceito

O artigo introduz a Diferenciação de Conceito, uma tarefa de classificação binária que generaliza a WiC. Dadas duas ocorrências de palavras, o modelo deve determinar se elas instanciam o mesmo conceito semântico.

• Escopo: Ao contrário da WiC, esta tarefa inclui pares intra-lema (mesma palavra, sentidos diferentes) e pares inter-lema (palavras diferentes, mesmos ou conceitos diferentes).
• Objetivo: Treinar modelos que aprendam a comparar usos em contexto, capturando distinções ou consistências semânticas sutis através do corpus.

2. Dataset: SPCD (SemCor Pairs for Concept Differentiation)

Para apoiar esta tarefa, os autores construíram um novo dataset derivado do SemCor (Miller, 1995), utilizando sinsetes do WordNet como rótulos de conceito.

• Construção: O dataset inclui 70,3 mil ocorrências para 1.902 lemas alvo cobrindo 5.899 conceitos.
• Estratégia de Pareamento: Os pares são amostrados para garantir uma avaliação rigorosa de generalização. O dataset é dividido por subconjuntos disjuntos de conceitos e lemas (5% para validação, 10% para teste) para evitar que os modelos memorizem associações palavra-conceito.
• Categorias: Os pares são rotulados com base em quatro categorias:
  • Mesmo Conceito / Mesmo Lema (SC/SL)
  • Mesmo Conceito / Lema Diferente (SC/DL)
  • Conceito Diferente / Mesmo Lema (DC/SL)
  • Conceito Diferente / Lema Diferente (DC/DL)
• Equilíbrio: O conjunto de teste contém 44 mil pares com uma distribuição de rótulos de aproximadamente 40% positivos (mesmo conceito).

3. Arquitetura do Modelo: CALE (Concept-Aligned Embeddings)

Os autores propõem o CALE, uma família de modelos de nível de token ajustados para Diferenciação de Conceito.

• Arquitetura: Baseada em uma arquitetura siamesa inspirada no SentenceBERT. Utiliza um modelo de linguagem contextualizado pré-treinado (ex: XLM-R, ModernBERT) seguido por uma camada de pooling para produzir vetores de dimensão fixa.
• Objetivo de Treinamento: Uma função de perda contrastiva (contrastive loss) é usada para maximizar a similaridade de cosseno para pares positivos (mesmo conceito) e minimizar para pares negativos (conceitos diferentes), impondo uma margem $m$ para pares dissimilares.
• Manipulação de Entrada: Para isolar o significado da palavra alvo dentro de uma frase, delimitadores especiais <t> e </t> são colocados ao redor da palavra alvo. O modelo aprende a basear o contraste no significado da palavra delimitada, garantindo que o embedding represente a ocorrência específica do alvo, e não a frase inteira.

Principais Contribuições

1. Tarefa de Diferenciação de Conceito: Uma nova tarefa supervisionada que unifica o estudo da polissemia (dentro do lema) e da sinonímia (entre lemas) sob um único framework de alinhamento conceitual.
2. Dataset SPCD: Um dataset rigorosamente construído com separação estrita de treino/validação/teste baseada em conceitos e lemas, permitindo a avaliação da generalização para significados e itens lexicais não vistos.
3. Modelos CALE: Um conjunto de modelos ajustados que demonstram que o treinamento para Diferenciação de Conceito produz representações lexicais eficientes e de múltiplos propósitos.
4. Análise do Espaço de Embedding: Evidência de que o ajuste fino do CALE desloca o espaço de representação de ser centrado no lema para ser centrado no conceito.

Resultados Experimentais

Os autores avaliaram os modelos CALE contra baselines (XLM-R, XL-LEXEME) em três tarefas de semântica lexical:

1. Diferenciação de Conceito (Teste SPCD)

• Desempenho: Os modelos CALE alcançaram a maior Acurácia Balanceada (79,3%), superando o forte baseline multilíngue XL-LEXEME (76,7%) e o XLM-R bruto (70,9%).
• Generalização: Os modelos CALE tiveram bom desempenho tanto em pares de Mesmo Lema (SL) quanto de Lema Diferente (DL), demonstrando a capacidade de lidar com polissemia e sinonímia.
• Transferência Multilíngue: Apesar de terem sido ajustados apenas em dados de inglês, os modelos CALE baseados em XLM-R performaram competitivamente em benchmarks não ingleses, aproveitando as capacidades cross-linguais do modelo base.

2. Detecção de Mudança Semântica Lexical (LSCD)

• Tarefa: Detectar mudanças de significado de uma única palavra através de períodos de tempo (Gráficos de Uso de Palavras Diacrônicos).
• Resultados: Os modelos CALE igualaram ou superaram ligeiramente o XL-LEXEME em 5 de 6 línguas (ex: inglês, alemão, sueco).
• Implicação: O objetivo mais amplo de Diferenciação de Conceito não degradou o desempenho na tarefa mais estreita e centrada no lema de LSCD; pelo contrário, parece ter potencializado a detecção de mudança semântica.

3. Similaridade Lexical em Contexto (CoSimLex)

• Tarefa: Predizer a similaridade de duas palavras distintas em contextos específicos.
• Resultados: Os modelos CALE alcançaram as pontuações de correlação mais altas em todas as línguas e subtarefas (Mudanças Contextuais e Avaliações de Similaridade), superando consistentemente o XLM-R e frequentemente igualando ou excedendo o XL-LEXEME.
• Significância: Isso confirma que o CALE captura efetivamente as relações semânticas inter-palavras, uma capacidade onde os modelos treinados para WiC (como o XL-LEXEME) anteriormente teriam dificuldade.

4. Análise de Organização Espacial

• Mudança Centrada no Conceito: A análise das distribuições de distância de cosseno revelou que o CALE consegue reverter a tendência dos modelos base onde pares polissêmicos (DC/SL) são mais próximos do que pares sinônimos (SC/DL). No CALE, pares sinônimos são mais próximos, indicando uma mudança para uma organização centrada no conceito.
• Alinhamento com WordNet: Os embeddings do CALE mostraram a maior correlação de Spearman (>0,50) com as similaridades Wu-Palmer do WordNet, indicando um alínio mais forte com as hierarquias conceituais estabelecidas do que outros modelos.
• Clustering: Os modelos CALE produziram os maiores scores de Silhueta, sugerindo um melhor agrupamento conceitual, embora os scores tenham permanecido baixos no geral devido à fina granularidade dos sinsetes do WordNet.

Significância e Alegações

O artigo alega que a Diferenciação de Conceito serve como um sinal de treinamento promissor e de propósito geral para a semântica lexical. A principal significância reside na demonstração de que um único objetivo de ajuste fino pode produzir representações eficazes para:

1. Aplicações de múltiplos propósitos: Lidar tanto com tarefas intra-lema (sentido) quanto inter-lema (conceito).
2. Transferência Cross-lingual: Alcançar um forte desempenho em tarefas não inglesas, apesar do ajuste fino exclusivo em inglês.
3. Alinhamento Estrutural: Organizar o espaço de embedding para refletir a estrutura conceitual de recursos como o WordNet de forma mais precisa do que os modelos de estado da arte anteriores.

Os autores concluem que mudar do foco em "sentido de palavra" para um foco em "conceito semântico" permite que os modelos capturem a estrutura mais ampla do significado lexical, tornando o CALE uma ferramenta valiosa para estudos que mapeiam formas de palavras para conceitos e várias aplicações de semântica lexical computacional.

Limitações

Os autores reconhecem algumas limitações:

• Escassez de Dados: O ajuste fino foi realizado exclusivamente em dados de inglês; a robustez em línguas de baixos recursos ou tipologicamente distantes não foi totalmente avaliada.
• Simplificação Binária: A natureza binária da tarefa pode simplificar demais a similaridade semântica, que é frequentemente graduada.
• Falta de Supervisão Ontológica: Os modelos não recebem supervisão direta sobre hierarquias ontológicas (ex: hiperonímia) ou relações finas além do correspondência binária de conceito.
• Escalabilidade: O estudo focou em modificações arquiteturais, em vez de escalar parâmetros do modelo ou dimensões de embedding.