DOREMI: Optimizing Long Tail Predictions in Document-Level Relation Extraction

Resumo Técnico: DOREMI – Otimizando Predições de Cauda Longa em Extração de Relações ao Nível de Documento

Definição do Problema
A Extração de Relações ao Nível de Documento (DocRE) enfrenta dois desafios primários: a necessidade de contexto entre sentenças para identificar relações e a severa distribuição de cauda longa dos tipos de relações. Em conjuntos de dados padrão como DocRED e Re-DocRED, um pequeno número de relações frequentes domina os dados de treinamento, enquanto a maioria das relações (cauda longa) possui poucos exemplos de treinamento (frequentemente menos de 100 instâncias). Esse desequilíbrio de classes enviesa os modelos em direção às relações frequentes, degradando sua capacidade de identificar com precisão relações raras. Além disso, abordagens existentes para mitigar o ruído em conjuntos de dados de Supervisão Distante (DS), como o UGDRE, frequentemente falham em abordar especificamente relações de cauda longa ou dependem de dados ruidosos em larga escala que exacerbam o viés. Embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa, eles atualmente apresentam desempenho inferior aos modelos baseados em sequências de estado da arte para esta tarefa específica.

Metodologia: O Framework DOREMI
Os autores propõem o DOREMI (DOcument-level Relation Extraction optiMizing the long taIl), um framework iterativo, com participação humana (human-in-the-loop), projetado para aprimorar relações sub-representadas através de anotações manuais mínimas e direcionadas. Diferente de estratégias de denoising anteriores que dependem de filtragem heurística ou dados DS de larga escala, o DOREMI seleciona ativamente os exemplos mais informativos para melhorar a eficiência e a robustez do treinamento.

O framework opera através dos seguintes blocos computacionais:

1. Ensemble de Modelo Central: O DOREMI mantém um pool ($\Gamma$) de $n$ modelos centrais de DocRE diversos (especificamente modelos baseados em CNN, LSTM, BiLSTM, ContextAware e BERT). Esses modelos são inicialmente pré-treinados nos dados disponíveis de Anotação Humana (HA).
2. Computação de Desacordo: Os modelos predizem relações sobre o conjunto de dados DS ruidoso. Para cada par de entidades $(s, o)$, o sistema computa o desacordo ($\phi_\Gamma$) entre os modelos. O desacordo é calculado com base na probabilidade de os modelos predirem todos uma relação ou todos "nenhuma relação". Para lidar com a natureza multi-rótulo da DocRE, o desacordo geral é derivado do produto dos desacordos por relação. Uma transformação logarítmica é aplicada para amplificar pequenas diferenças e aumentar a interpretabilidade.
3. Amostragem e Anotação Iterativa: O sistema identifica exemplos "Difíceis de Classificar" selecionando os top-$k$ pares de entidades com as maiores pontuações de desacordo. Crucialmente, esta amostragem é restrita a triplas de cauda longa candidatas (onde pelo menos um modelo prediz uma relação de cauda longa) para garantir que os esforços de anotação visem o gargalo específico de desempenho.
4. Agregação de Rótulos: Uma vez que uma condição de parada é atingida (seja porque o desacordo médio cai abaixo de um limiar $\epsilon$ ou o orçamento de anotação $b$ é esgotado), as predições são agregadas para construir um conjunto de dados de Supervisão Distante Denoised (DDS). Um filtro orientado à precisão é aplicado: uma relação é mantida no DDS final apenas se pelo menos um modelo a predizer com alta confiança (acima de um limiar $\tau$).
5. Treinamento Iterativo: As amostras selecionadas são anotadas manualmente, adicionadas ao pool de treinamento e os modelos centrais são ajustados (fine-tuned) no conjunto de dados expandido. Este ciclo se repete até que a condição de parada seja alcançada.

Principais Contribuições

1. Framework DOREMI: A introdução de um novo sistema iterativo adaptado para relações de cauda longa que aprimora conjuntos de dados de supervisão distante através de anotações impulsionadas por desacordo.
2. Desacordo como um Proxy: A demonstração de que medir o desacordo entre múltiplos modelos é um proxy eficaz para identificar exemplos Difíceis de Classificar especificamente para DocRE, gerando melhorias substanciais de desempenho com esforço humano negligenciável.
3. Novos Conjuntos de Dados: O lançamento de dois novos Conjuntos de Dados de Supervisão Distante Denoised (DDSs) baseados em DocRED e Re-DocRED. Estes conjuntos de dados são explicitamente otimizados para relações de cauda longa e são projetados para serem agnósticos ao modelo, permitindo que qualquer modelo de DocRE subsequente se beneficie de uma cobertura de cauda longa aprimorada.

Resultados Experimentais
Os autores avaliaram o DOREMI usando baselines de estado da arte (ATLOP e DREEAM) tanto no conjunto de desenvolvimento do DocRED quanto no conjunto de teste do Re-DocRED.

• DocRED: Anotar meramente 0,001% do conjunto de dados DS (400 triplas) aumentou significativamente o desempenho do modelo. Comparado à técnica de denoising líder (UGDRE), o DOREMI aumentou a precisão geral em até +8,2% e o F1 em +0,7%. Para triplas de cauda longa (<100 exemplos), a precisão aumentou em +76,0% e o F1 em +5,0%. Notavelmente, para triplas de caulo longa envolvendo pares de entidades não vistos no treinamento, o DREMI impulsionou o F1 ignorado (ignF1) em até 28,7% e a Precisão ignorada (ignPrecision) em 137,6% em relação ao UGDRE.
• Re-DocRED: No maior conjunto de dados Re-DocRED, anotar 0,003% (1.200 triplas) resultou em um ganho de +16,2% na precisão de cauda longa e +19,2% na ignPrecision. Para triplas de "extrema cauda longa" (<100 exemplos), o DOREMI alcançou um aumento de +83,2% na precisão e um aumento de +207,9% na ignPrecision em comparação ao UGDRE, com um ganho de ignF1 de +33,5%.
• Abordagem Híbrida: Uma configuração híbrida, combinando DOREMI para relações de cauda longa e UGDRE para relações frequentes, demonstrou que o DOREMI complementa efetivamente as abordagens de denoising existentes, gerando ainda mais melhorias nas métricas gerais.

Significância e Alegações
O artigo afirma que o DOREMI oferece uma solução escalável e eficiente para o problema do viés de cauda longa em DocRE. Ao priorizar a precisão sobre o recall em seu design, o DOREMI garante a confiabilidade das relações extraídas, o que é crucial para tarefas de Construção de Base de Conhecimento (KBC) a jusante. Os autores enfatizam que sua abordagem alcança ganhos de desempenho significativos com um custo de anotação humana mínimo (aproximadamente 20 horas de anotador para o experimento Re-DocRED). O trabalho estabelece que o aprendizado ativo baseado em desacordo é uma estratégia viável e eficaz para adaptar conjuntos de dados para melhorar a generalização em relações raras, marcando o primeiro esforço de aplicar tal abordagem especificamente para DocRE. Os conjuntos de dados e a metodologia resultantes fornecem uma base para treinar modelos de DocRE arbitrários com capacidades aprimoradas no tratamento de distribuições de cauda longa.