Bringing Emerging Architectures to Sequence Labeling in NLP

1. O Problema

O Rótulo de Sequência (Sequence Labeling - SL) é uma tarefa fundamental no Processamento de Linguagem Natural (NLP), onde cada elemento de uma sequência (token) recebe um rótulo de saída. Exemplos clássicos incluem Reconhecimento de Entidades Nomeadas (NER), Marcação de Partes do Discurso (PoS) e Análise Sintática (Parsing).

Atualmente, os codificadores Transformer pré-treinados são a abordagem dominante devido à sua capacidade superior de modelar relações de longo alcance entre palavras. No entanto, a pesquisa continua a explorar arquiteturas alternativas (como xLSTMs, modelos de espaço de estado estruturado, modelos de difusão e aprendizado adversarial) que mostraram sucesso em outras áreas (como modelagem de linguagem ou visão computacional).

A lacuna identificada pelos autores é que, embora essas arquiteturas emergentes tenham sido testadas em tarefas de SL simples (como NER ou PoS básico), não há uma avaliação sistemática de como elas se adaptam a tarefas com complexidade estrutural variável, espaços de rótulos grandes e dependências de longo alcance (como análise de constituintes, dependências e grafos). A questão central é: essas arquiteturas generalizam bem para cenários mais complexos e multilíngues, ou seu desempenho superior em tarefas simples não se sustenta?

2. Metodologia

Os autores realizaram um estudo empírico abrangente, avaliando quatro categorias de arquiteturas alternativas em comparação com uma linha de base baseada em Transformers (XLM-RoBERTa).

Arquiteturas Avaliadas:

1. Modelos de Difusão (Diffusion Tagging - DiT):
   • Adaptam o processo de difusão (originalmente para geração de imagens) para tarefas discriminativas.
   • Utilizam um conversor "Bit-Tag" para transformar rótulos discretos em sinais contínuos.
   • O modelo aprende a remover ruído adicionado iterativamente a uma representação latente dos rótulos, condicionada ao texto de entrada.
2. Aprendizado Adversarial (Adversarial Tagging - GaT):
   • Baseado em Redes Adversariais Generativas (GANs).
   • Consiste em um Gerador (que prevê a sequência de rótulos) e um Discriminador (que tenta distinguir entre rótulos reais e previstos).
   • O objetivo é que o gerador produza sequências que "enganem" o discriminador, melhorando a coerência estrutural da saída.
3. xLSTMs (Extended LSTMs):
   • Uma evolução das LSTMs tradicionais, introduzindo mecanismos de estabilização de fluxo de informação e paralelização (mLSTM e sLSTM).
   • Avaliados em configurações unidirecionais e bidirecionais (Bi-xLSTM).
4. Modelos de Espaço de Estado Estruturado (SSM / MAMBA-2):
   • Arquiteturas projetadas para modelagem de sequências com complexidade linear (substituindo a atenção quadrática dos Transformers).
   • Utilizados como codificadores alternativos para capturar dependências.

Configuração Experimental:

• Tarefas: Marcação PoS, NER, Análise de Constituintes, Análise de Dependências e Análise de Grafos.
• Dados: Benchmark multilíngue cobrindo 8 árvores de dependência Universal Dependencies (UD), Penn Treebank (PTB), Chinese Treebank (CTB), SPMRL e diversos datasets de NER (CoNLL, BioNLP, etc.).
• Linearizações: Para tarefas estruturadas (Parsing), utilizaram-se técnicas de linearização (como Relative Encoding, Tetratagging, Bracketing e Hexatagging) para transformar árvores e grafos em sequências de rótulos.
• Métricas: Acurácia (PoS), F1 (NER), UAS/LAS (Dependência) e F1 rotulado (Constituintes/Grafos).

3. Contribuições Principais

• Avaliação Unificada: Primeira comparação abrangente de arquiteturas emergentes (Difusão, GAN, xLSTM, SSM) contra Transformers em um espectro amplo de tarefas de SL, variando de tarefas "planas" a tarefas estruturadas complexas.
• Análise de Generalização: Investigação de como o desempenho varia conforme a complexidade do espaço de rótulos, a morfologia da língua e a dependência estrutural (curta vs. longa distância).
• Descoberta de Limitações e Potenciais: Demonstração de que o sucesso em tarefas simples não garante sucesso em tarefas complexas, exceto para uma arquitetura específica.
• Código Aberto: Disponibilização do código para reprodutibilidade e futuras pesquisas.

4. Resultados Chave

Desempenho em Tarefas Simples (PoS e NER):

• xLSTMs: A arquitetura Bi-xLSTM superou consistentemente as LSTMs tradicionais (BiLSTM) na maioria das tarefas, mas ainda ficou abaixo dos modelos baseados em Transformers.
• Aprendizado Adversarial (GaT): Obteve o melhor desempenho entre os modelos não-Transformer, rivalizando ou superando a linha de base Transformer em 20 de 22 experimentos de PoS e 6 de 12 em NER.
• Difusão e SSM: O modelo de difusão (DiT) teve desempenho misto, muitas vezes inferior a modelos não pré-treinados em datasets desbalanceados. Os modelos SSM (MAMBA-2) tiveram desempenho inferior à linha de base.

Desempenho em Tarefas Estruturadas Complexas (Parsing):

• Queda de Desempenho: Arquiteturas como SSM e Difusão tiveram dificuldade significativa em capturar dependências de longo alcance e estruturas hierárquicas complexas, ficando muito atrás dos Transformers.
• Resiliência do Adversarial: O Aprendizado Adversarial (GaT) foi a única arquitetura alternativa que manteve desempenho competitivo em tarefas complexas (Análise de Constituintes e Dependências), superando ligeiramente a linha de base em alguns casos e igualando-a em outros.
• Validade Estrutural: O GaT produziu uma porcentagem maior de sequências de rótulos "bem-formadas" (que correspondem a árvores válidas) em comparação com a linha de base, sugerindo que a perda adversarial ajuda a aprender restrições estruturais.

Análise de Espaço de Rótulos e Velocidade:

• Espaço de Rótulos: Todos os modelos sofreram degradação de desempenho à medida que o espaço de rótulos aumentava, mas os modelos não-Transformer (especialmente SSM e LSTMs) mostraram maior variabilidade. O GaT foi o mais estável.
• Velocidade: Os codificadores unidirecionais (LSTM, xLSTM, MAMBA) são rápidos, mas sofrem em tarefas de parsing. O GaT e a linha de base têm velocidades de inferência semelhantes, pois ambos dependem do mesmo número de parâmetros no decodificador.

5. Significado e Conclusão

O estudo conclui que, embora as arquiteturas alternativas (especialmente xLSTMs e modelos de difusão) sejam promissoras em tarefas de classificação de tokens simples, elas não substituem universalmente os Transformers para tarefas de NLP que exigem modelagem de estrutura complexa e dependências de longo alcance.

A principal descoberta é que o Aprendizado Adversarial (GaT) se destaca como uma abordagem robusta. Sua capacidade de utilizar modelagem generativa para refinar a previsão de rótulos permite que ele capture estruturas bem-formadas de maneira mais eficaz do que outras arquiteturas não padrão, rivalizando com os Transformers mesmo em cenários desafiadores.

Isso sugere que, para tarefas de estruturação complexa, a estratégia de treinamento (como o uso de perdas adversariais) pode ser tão crucial quanto a arquitetura do codificador em si. O trabalho oferece diretrizes claras para pesquisadores que desejam explorar alternativas aos Transformers, indicando que a escolha da arquitetura deve ser guiada pela complexidade estrutural da tarefa específica.