Resumo Técnico: Classificação Binária de Nível de Token com DeBERTa para Identificação de MWE de Todos os Tipos

Declaração do Problema

As Expressões Multipalavras (MWEs - Multiword Expressions) representam um desafio significativo para sistemas de Processamento de Linguagem Natural (PLN) devido à sua flexibilidade sintática e não composicionalidade semântica. Uma dificuldade primária reside na detecção de MWEs descontínuas, onde os componentes são separados por material interveniente (ex: "look...up" em "look the information up"). Abordagens tradicionais frequentemente formulam a identificação de MWE como uma tarefa de rotulagem de sequência multi-classe (ex: conjuntos de etiquetas BIO ou BILOU), que atribui um único rótulo a cada token. No entanto, os métodos atuais de estado da arte frequentemente dependem de Grandes Modelos de Linguagem (LLMs) massivos com bilhões de parâmetros e carecem de integração sistemática de conhecimento linguístico. Além disso, embora a classificação binária tenha tido sucesso na Reconhecimento de Entidades Nomeadas (NER) baseada em spans, sua aplicação para a identificação de MWE de todos os tipos permanece inexplorada.

Metodologia

Os autores propõem uma abordagem leve e abrangente que reformula a identificação de MWE como uma tarefa de classificação binária de nível de token, integrando características linguísticas e aumento de dados (data augmentation).

1. Estrutura de Classificação Binária de Nível de Token

Em vez de atribuir um único rótulo de um conjunto de etiquetas multi-classe, o modelo faz três previsões binárias independentes para cada token $x_i$:

• START (INÍCIO): Este token é o início de uma MWE?
• END (FIM): Este token é o fim de uma MWE?
• INSIDE (INTERNO): Este token está estritamente entre o início e o fim de uma MWE?

Esta abordagem desloca a complexidade da enumeração quadrática de spans ($O(n^2)$) para o processamento linear de tokens ($O(n)$). Durante a inferência, os spans candidatos são reconstruídos emparelhando tokens onde $p_{start} \geq \tau_{start}$ e $p_{end} \geq \tau_{end}$, desde que os tokens intermediários satisfaçam $p_{inside} \geq \tau_{inside}$. Restrições são aplicadas para garantir que os spans reconstruídos correspondam às distribuições do conjunto de dados (ex: 2–6 membros, máximo de 13 tokens).

2. Integração de Características Linguísticas

O modelo DeBERTa-v3-large é aprimorado com duas formas de conhecimento sintático para auxiliar na detecção de padrões nominais e descontínuos:

• Características de Chunk de NP: Os tokens são rotulados como dentro ou fora de uma Frase Nominal (NP) usando spaCy. Essas etiquetas binárias são mapeadas para embeddings aprendíveis e concatenadas com estados de tokens contextualizados para melhorar o recall de MWEs nominais (ex: "stock market").
• Características de Dependência: O comprimento do caminho de dependência mais curto entre pares de tokens é computado (limitado a 5). Estes servem a dois propósitos:
  1. Codificação: As distâncias de dependência médias são mapeadas para embeddings de 32 dimensões.
  2. Restrições Rígidas: Durante a reconstrução, candidatos cujos membros consecutivos possuem uma distância de dependência $>4$ são rejeitados para filtrar combinações descontínuas implausíveis.

3. Aumento de Dados (Data Augmentation)

Para lidar com o severo desequilíbrio de classes nos dados de treinamento, duas estratégias foram avaliadas:

• Oversampling (Sobreamostragem): Replicar sentenças de treinamento que contêm MWEs.
• Substituição Lexical: Substituir tokens que não são MWE por palavras semanticamente similares.
  A estratégia ótima depende do tamanho do conjunto de dados: o oversampling provou ser superior para o conjunto de dados menor CoAM, enquanto a substituição lexical foi mais eficaz para o conjunto de dados maior STREUSLE.

4. Conjuntos de Dados

• CoAM: Um conjunto de dados curado de 1.301 sentenças em inglês cobrindo todos os tipos de MWE (NOUN, VERB, MOD/CONN, CLAUSE, OTHER), incluindo 11,3% de padrões descontínuos.
• STREUSLE: Um conjunto de dados maior usado para testes de generalização, com categorias mapeadas para tipos compatíveis com o CoAM.

Principais Contribuições

1. Reformulação da Tarefa: A primeira aplicação de classificação binária de nível de token (START/END/INSIDE) para identificação de MWE de todos os tipos, demonstrando sua eficácia sobre a rotulagem de sequência tradicional.
2. Eficiência vs. Performance: Um modelo DeBERTa-v3-large (aprox. 400M de parâmetros) alcança resultados de estado da arte, superando o Qwen-72B (72B de parâmetros) em 12 pontos de F1 enquanto utiliza 165× menos parâmetros.
3. Melhoria Linguística: Demonstrou que a integração de chunking de NP e características de dependência aumenta significativamente o desempenho, particularmente para MWEs descontínuas e nominais.
4. Generalização: Validou a abordagem no conjunto de dados STREUSLE, alcançando 78,9% de F1, confirmando que o método captura estruturas fundamentais de MWE em vez de artefatos específicos do conjunto de dados.

Resultados Experimentais

Os autores realizaram um estudo de ablação sistemático com 15 configurações de modelo:

• Desempenho no CoAM:

  • O melhor modelo (DLT+lo: DeBERTa-large + características linguísticas + oversampling) alcançou 69,8% de F1.
  • Isto supera o anterior melhor (Qwen-72B) em 12 pontos (57,8% F1).
  • MWEs Descontínuas: A abordagem dobrou o desempenho da linha de base para padrões descontínuos, alcançando 29,7% de F1 comparado aos 17,1% do Qwen-72B.
  • Recall Específico por Tipo: Melhorias significativas foram vistas em todos os tipos, notadamente em CLAUSE (85,7% de recall vs. 28,6% para Qwen) e MOD/CONN (84,7% de recall).

• Desempenho no STREUSLE:

  • O melhor modelo (DBT+la: DeBERTa-base + características linguísticas + substituição lexical) alcançou 78,9% de F1.
  • A abordagem de classificação binária de nível de token proporcionou uma melhoria massiva sobre a linha de base baseada em spans (19,8% F1), ganhando 53,5 pontos.

• Insights de Ablação:

  • A classificação binária de nível de token sozinha proporcionou um aumento de +5,2 F1 sobre a predição baseada em spans.
  • A atenção desentrançada (DeBERTa) provou ser superior às arquiteturas padrão BERT para detecção de MWE.
  • As estratégias de aumento foram dependentes do conjunto de dados: o oversampling funcionou melhor para conjuntos de dados pequenos e de alta qualidade (CoAM), enquanto a substituição lexical funcionou melhor para conjuntos de dados maiores (STREUSLE).

Significância e Alegações

O artigo afirma que modelos menores cuidadosamente projetados podem superar substancialmente os LLMs em tarefas estruturadas de PLN. Ao reformular o problema como classificação binária de nível de token e integrar conhecimento linguístico explícito, os autores demonstram que implementações com restrição de recursos podem alcançar alto desempenho sem o custo computacional de modelos massivos.

Os autores enfatizam que seu método lida com sucesso com a natureza "de todos os tipos" das MWEs, uma tarefa onde frameworks anteriores frequentemente focavam apenas em MWEs verbais ou idiomaticidade binária. Eles reconhecem limitações, incluindo a dependência de ferramentas de PLN upstream (spaCy) para características linguísticas, a dificuldade de dependências descontínuas de longo alcance e a incapacidade de computar precisão específica por tipo devido à formulação binária (que prevê fronteiras, mas não tipos). No entanto, os resultados sugerem que esta abordagem captura aspectos fundamentais da estrutura de MWE, oferecendo uma alternativa prática e eficiente às soluções atuais baseadas em LLM de estado da arte.