WAVE++: Capturing Within-Task Variance for Continual Relation Extraction with Adaptive Prompting

Resumo Técnico: WAVE++

1. O Problema (Contexto e Desafios)

O artigo aborda a Extração de Relações Contínua (Continual Relation Extraction - CRE). O objetivo da CRE é treinar modelos para aprender novas relações entre entidades de forma sequencial, sem esquecer as relações aprendidas anteriormente.

Os métodos atuais dividem-se em dois grupos, ambos com falhas:

• Métodos baseados em Rehearsal (Replay): Armazenam amostras de tarefas passadas em um buffer de memória. Problemas: Alto custo de armazenamento e sérios riscos à privacidade dos dados.
• Métodos baseados em Prompting: Utilizam parâmetros auxiliares (prompts) para guiar o modelo sem armazenar dados. Problemas: Sofrem com o "esquecimento catastrófico" em parâmetros compartilhados, têm dificuldade em identificar a qual tarefa uma nova entrada pertence (erro de identificação de tarefa) e falham em capturar a variabilidade tanto entre tarefas (cross-task) quanto dentro de uma mesma tarefa (within-task).

2. Metodologia Proposta (WAVE++)

A principal inovação do WAVE++ é a interpretação de técnicas de prefix-tuning (ajuste de prompts) como uma arquitetura de Mistura de Especialistas (Mixture of Experts - MoE). Os autores propõem quatro pilares principais:

• Pools de Prompts Específicos por Tarefa (Task-specific Prompt Pools): Ao contrário de métodos que usam um único pool para todas as tarefas, o WAVE++ cria um pool dedicado para cada tarefa. Para manter a eficiência, cada prompt é configurado como um único "especialista" ($L=1$), permitindo que o modelo selecione especialistas de forma independente e adaptativa, capturando a variabilidade interna de cada tarefa e evitando a interferência entre tarefas distintas.
• Descrições de Rótulos (Label Descriptions) com Perda Contrastiva: Para melhorar a robustez, o modelo utiliza descrições detalhadas de cada relação (geradas via LLM, como o Gemini). O modelo é treinado para alinhar a representação da entrada com a representação semântica da descrição do rótulo correto, utilizando uma perda contrastiva ($L_{cl}$). Isso ajuda o modelo a distinguir relações que possuem contextos textuais muito semelhantes.
• Mecanismo de Votação em Cascata (Cascade Voting) para Predição de Tarefa: Para resolver o problema de identificar a qual tarefa um dado pertence durante a inferência (sem saber o rótulo da tarefa), o WAVE++ descarta classificadores MLP tradicionais e utiliza um sistema de votação entre os pools de prompts. O mecanismo avalia a probabilidade de uma entrada pertencer a uma distribuição de tarefa específica, usando distâncias de Mahalanobis, e resolve conflitos através de uma votação em cascata.
• Modelo Generativo para Mitigação de Esquecimento: Para evitar o esquecimento nos parâmetros compartilhados (como o classificador), o WAVE++ utiliza um modelo generativo que sintetiza representações latentes de tarefas passadas. Em vez de armazenar dados brutos, o modelo armazena apenas a média ($\mu$) e a covariância ($\Sigma$) das representações, permitindo um "replay" de dados sintéticos que preserva o conhecimento sem violar a privacidade.

3. Principais Contribuições

1. Nova Perspectiva Teórica: Demonstra que o prefix-tuning em modelos de linguagem pode ser formalizado como uma arquitetura de Mixture of Experts.
2. Arquitetura Adaptativa: Introdução de pools de prompts isolados por tarefa para aumentar a plasticidade e reduzir a interferência.
3. Enriquecimento Semântico: Uso de descrições de rótulos para fornecer contexto global e melhorar a capacidade discriminativa do modelo.
4. Inferência sem Supervisão de Tarefa: Proposta de um mecanismo de votação robusto que elimina a necessidade de um classificador de tarefas treinado explicitamente.
5. Eficiência de Memória e Privacidade: Substituição do armazenamento de dados brutos por modelos generativos de representações latentes.

4. Resultados Experimentais

Os experimentos foram realizados nos datasets FewRel e TACRED, comparando o WAVE++ com métodos de rehearsal (como RP-CRE e ACA) e métodos de prompting (como L2P e HiDe-Prompt).

• Desempenho Superior: O WAVE++ superou todos os métodos baseados em rehearsal (que possuem a vantagem de usar dados reais) e todos os métodos baseados em prompting.
• Resistência ao Esquecimento: No dataset FewRel, o WAVE++ manteve uma precisão significativamente maior nas tarefas iniciais à medida que novas tarefas eram adicionadas, demonstrando uma resistência superior ao esquecimento catastrófico.
• Eficácia dos Componentes (Ablação): Os testes de ablação confirmaram que o uso de pools de prompts, as descrições de rótulos e o replay generativo são essenciais para o sucesso do modelo. Sem o replay generativo, o desempenho caía drasticamente (mais de 22% no FewRel).

5. Significância

O trabalho é significativo por oferecer uma solução de estado da arte (SOTA) para a extração de relações em cenários de aprendizado contínuo que é, ao mesmo tempo, mais precisa, mais privada e mais eficiente em termos de memória do que as abordagens tradicionais. Ele resolve o dilema entre a necessidade de aprender novos conhecimentos e a preservação de conhecimentos antigos sem a dependência de grandes buffers de dados.