Resumo Técnico: Difusão Estruturada Aproximada para Rotulagem de Sequências

Definição do Problema

A rotulagem de sequências é uma tarefa fundamental de Processamento de Linguagem Natural (PLN) que envolve a atribuição de um rótulo a cada token em uma frase de entrada (ex: marcação de classes gramaticais/POS tagging, Reconhecimento de Entidades Nomeadas/NER). Embora abordagens modernas utilizem frequentemente Campos Aleatórios Condicionais de Cadeia Linear (CRFs) parametrizados por redes neurais, esses modelos enfrentam limitações inerentes. Os CRFs padrão geralmente restringem as interações a rótulos adjacentes (bigramas) para garantir a tratabilidade, o que limita sua expressividade ao modelar dependências de longo alcance. Por outro lado, embora os modelos de difusão tenham mostrado promessa na modelagem de linguagem ao condicionar a geração em contextos ilimitados, aplicar modelos de difusão a tarefas de predição estruturada como a rotulagem de sequências apresenta desafios. Especificamente, a inferência exata em CRFs (ex: via algoritmos Viterbi ou Forward-Backward) é computacionalmente dispendiosa e difícil de paralelizar, tornando o processo de amostragem iterativa exigido pelos modelos de difusão proibitivamente lento.

Metodologia

Os autores propõem um novo framework que une a predição estruturada e a difusão discreta para treinar um CRF condicionado a uma sequência inteira de rótulos, especificamente uma versão ruidosa dessa sequência.

1. Framework de Difusão Discreta

O modelo trata a rotulagem de sequências como uma tarefa de geração onde uma sequência de rótulos limpa $y_0$ é corrompida por um processo de difusão direta $q$ ao longo de $T$ passos para atingir uma sequência $y_T$ ruidosa. O objetivo é aprender um denoiser (reversor de ruído) $p_\theta$ que reverta este processo, prevendo a sequência limpa a partir das entradas ruidosas.

• Processo Direto (Forward Process): Em cada passo $t$, o ruído é adicionado aos rótulos de acordo com uma razão de corrupção $\beta_t$, resultando eventualmente em uma distribuição uniforme sobre todas as sequências de rótulos possíveis.
• Processo de Denoising (Denoising Process): O modelo aprende a prever a sequência limpa $y_0$ (ou seu valor esperado $\hat{y}_0$) dada uma sequência ruidosa $y_t$ e a frase de entrada $s$.

2. Denoising Estruturado com CRFs

Ao contrário dos modelos de difusão padrão que preveem tokens de forma independente, esta abordagem implementa o denoiser $p_\theta$ utilizando um CRF.

• Condicionamento: O CRF é condicionado não apenas na frase de entrada, mas também na sequência de rótulos ruidosa. Isso permite que o modelo considere interações de rótulos ilimitadas, mantendo a capacidade de impor preferências em rótulos adjacentes.
• Inferência Aproximada: Como a amostragem exata de uma distribuição CRF é custosa (complexidade $O(n)$ por passo) e dificulta a paralelização, os autores aproximam a distribuição do CRF usando Mean-Field (Campo Médio). Isso permite o cálculo independente por posição, recuperando a eficiência dos modelos unigramas enquanto mantém os benefícios estruturais.
• Objetivo de Treinamento: O modelo é treinado maximizando um limite inferior variacional da log-verossimilhança. A função de perda envolve a minimização da divergência de Kullback-Leibler (KL) entre a posterior real (condicionada à sequência ouro) e a posterior do modelo (condicionada à sequência denoisada). Uma perda de denoising (log-verossimilhança negativa) também é adicionada para melhorar a estabilidade.

3. Arquitetura Neural

A arquitetura emprega um Diffusion Transformer (Peebles e Xie, 2022) para o passo de denoising:

• Entrada: Embeddings de rótulos ruidosos (provenientes de uma tabela de consulta treinável) e embeddings contextuais de palavras (provenientes de um codificador Transformer ou CharLSTM).
• Contexto: O timestep $t$ é incorporado (embedded) e concatenado com os embeddings de palavras para guiar a normalização.
• Saída: Os blocos do Transformer produzem vetores que são convertidos via MLPs em escores unigramas e, para modelos estruturados, escores de transição de pares (bigramas).
• Decodificação: O processo de decodificação utiliza uma estratégia de metade (halving strategy), saltando de $t$ para $\lfloor t/2 \rfloor$ iterativamente até atingir o passo 0, reduzindo o número de chamadas do denoiser para ser logarítmico em $T$.

Principais Contribuições

1. Integração de Difusão e CRFs: O artigo introduz um método para treinar um CRF condicionado a uma sequência de rótulos ruidosa, combinando efetivamente as capacidades de contexto global da difusão com as restrições estruturais dos CRFs.
2. Inferência Estruturada Aproximada: Para resolver o gargalo computacional da amostragem de CRF nos loops de difusão, os autores utilizam a aproximação de Mean-Field. Isso permite treinamento e decodificação eficientes e paralelizáveis, preservando a capacidade de modelar dependências de longo alcance.
3. Escalabilidade: O método proposto demonstra propriedades de escalonamento superiores em comparação com os baselines de CRF. Enquanto os CRFs tradicionais frequentemente estagnam ou sofrem overfitting conforme o número de parâmetros aumenta, os modelos baseados em difusão continuam a melhorar com arquiteturas maiores.

Resultados Experimentais

Os autores avaliaram sua abordagem em quatro conjuntos de dados do Universal Dependencies v2.15 (Inglês, Alemão, Francês e Holandês) para marcação de classes gramaticais (POS tagging).

• Desempenho: O modelo de difusão estruturada com aproximação de Mean-Field (Diffusion-MF) alcançou os melhores resultados em todos os datasets. Comparado ao melhor baseline não-difusão (CRF padrão), o método proposto obteve uma redução média de 16,54% no erro.
• Comparação:
  • O Diffusion-MF superou o Diffusion-Uni (difusão não estruturada), indicando que a estrutura CRF adicionada melhora o desempenho em relação à difusão simples.
  • Ambas as variantes de difusão superaram os três baselines: Unigram, Mean-Field e o CRF padrão.
• Escalonamento: Experimentos variando os tamanhos dos modelos (de XS a XL) mostraram que os modelos de difusão escalam efetivamente com o aumento de parâmetros, enquanto os modelos baseline mostraram retornos decrescentes ou degradação de desempenho após um certo ponto.
• Eficiência: Embora a abordagem estruturada (Diffusion-MF) seja mais lenta durante a avaliação do que a difusão não estruturada devido ao processo iterativo de denoising, ela permanece comparável em velocidade de treinamento aos CRFs padrão. Os autores observam que a difusão estruturada exata (Diff-CRF sem aproximação) é proibitivamente lenta, validando a necessidade da aproximação de Mean-Field.

Significância e Alegações

O artigo alega que esta abordagem oferece um novo paradigma para a rotulagem de sequências que reconcilia a necessidade de evidências de longo alcance com restrições locais. Ao colocar um CRF dentro de um loop de denoiser de difusão, o modelo alcança:

1. Normalização Garantida: Garantindo distribuições de probabilidade válidas.
2. Contexto Global: Aproveitando a sequência ruidosa em evolução para informar as predições.
3. Paralelizabilidade: Alcançando eficiência através de atualizações de Mean-Field.

Os autores concluem que, embora o método incorra em custos computacionais mais elevados (memória e energia) em comparação com modelos mais simples, ele fornece uma solução robusta para tarefas que exigem interações complexas de rótulos. Eles sugerem que a abordagem é aplicável a outras tarefas de marcação de PLN, como Reconhecimento de Entidades Nomeadas (NER) e segmentação de palavras. O artigo reconhece modestamente que o aumento do desempenho vem às custas do consumo de energia e tempo de computação, e observa que a convergência da aproximação paralela de Mean-Field não é teoricamente garantida, embora tenha performado bem empiricamente.