DOREMI: Optimizing Long Tail Predictions in Document-Level Relation Extraction

Sintesi Tecnica: DOREMI – Ottimizzazione delle predizioni della "Long Tail" nell'estrazione di relazioni a livello di documento

Problematica
L'estrazione di relazioni a livello di documento (DocRE) affronta due sfide primarie: la necessità di un contesto inter-frase per identificare le relazioni e la severa distribuzione "long-tail" (coda lunga) dei tipi di relazione. In dataset standard come DocRED e Re-DocRED, un piccolo numero di relazioni frequenti domina i dati di addestramento, mentre la maggioranza delle relazioni (long-tail) presenta scarsi esempi di addestramento (spesso meno di 100 istanze). Questo squilibrio di classe induce i modelli verso le relazioni frequenti, degradando la loro capacità di identificare accuratamente le relazioni rare. Inoltre, gli approcci esistenti per mitigare il rumore nei dataset a supervisione distante (DS), come UGDRE, spesso non affrontano specificamente le relazioni long-tail o si affidano a dati rumorosi su larga scala che esacerbano il bias. Sebbene i Large Language Models (LLM) siano promettenti, attualmente sono meno performanti rispetto ai modelli sequenziali allo stato dell'arte per questo compito specifico.

Metodologia: Il framework DOREMI
Gli autori propongono DOREMI (DOcument-level Relation Extraction optiMizing the long taIl), un framework iterativo, human-in-the-loop, progettato per potenziare le relazioni sottorappresentate attraverso una minima e mirata annotazione manuale. A differenza delle precedenti strategie di denoising che si affidano al filtraggio euristico o a dati DS su larga scala, DOREMI seleziona attivamente gli esempi più informativi per migliorare l'efficienza e la robustezza dell'addestramento.

Il framework opera attraverso i seguenti blocchi computazionali:

1. Ensemble del Modello Core: DOREMI mantiene un pool ($\Gamma$) di $n$ diversi modelli core di DocRE (specificamente modelli basati su CNN, LSTM, BiLSTM, ContextAware e BERT). Questi modelli sono inizialmente pre-addestrati sui dati disponibili con annotazione umana (HA).
2. Computazione del Disaccordo: I modelli predicono le relazioni su un dataset DS rumoroso. Per ogni coppia di entità $(s, o)$, il sistema calcola il disaccordo ($\phi_\Gamma$) tra i modelli. Il disaccordo è calcolato sulla base della probabilità che tutti i modelli predicano una relazione o che tutti predicano "nessuna relazione". Per gestire la natura multi-label di DocRE, il disaccordo complessivo è derivato dal prodotto dei disaccordi per singola relazione. Viene applicata una trasformazione logaritmica per amplificare le piccole differenze e migliorare l'interpretabilità.
3. Campionamento Iterativo e Annotazione: Il sistema identifica gli esempi "Hard-To-Classify" selezionando le top-$k$ coppie di entità con i punteggi di disaccordo più elevati. Fondamentalmente, questo campionamento è limitato alle triple long-tail candidate (dove almeno un modello predice una relazione long-tail) per garantire che gli sforzi di annotazione prendano di mira il collo di bottiglia specifico delle prestazioni.
4. Aggregazione delle Etichette: Una volta soddisfatta una condizione di arresto (ovvero quando il disaccordo medio scende sotto una soglia $\epsilon$ o il budget di annotazione $b$ è esaurito), le predizioni vengono aggregate per costruire un dataset a Supervisione Distante Denoised (DDS). Viene applicato un filtro orientato alla precisione: una relazione viene mantenuta nel DDS finale solo se almeno un modello la predice con alta confidenza (sopra una soglia $\tau$).
5. Addestramento Iterativo: I campioni selezionati vengono annotati manualmente, aggiunti al pool di addestramento e i modelli core vengono sottoposti a fine-tuning sull'insieme di dati espanso. Questo ciclo si ripete fino al raggiungimento della condizione di arresto.

Contributi Chiave

1. Framework DOREMI: L'introduzione di un nuovo sistema iterativo su misura per le relazioni long-tail che potenzia i dataset a supervisione distante attraverso annotazioni guidate dal disaccordo.
2. Il Disaccordo come Proxy: La dimostrazione che misurare il disaccordo tra molteplici modelli è un efficace proxy per identificare esempi "Hard-To-Classify" specificamente per DocRE, producendo miglioramenti sostanziali delle prestazioni con uno sforzo umano trascurabile.
3. Nuovi Dataset: Il rilascio di due nuovi dataset a Supervisione Distante Denoised (DDS) basati su DocRED e Re-DocRED. Questi dataset sono esplicitamente ottimizzati per le relazioni long-tail e sono progettati per essere model-agnostic, permettendo a qualsiasi modello DocRE a valle di beneficiare di una migliore copertura della long-tail.

Risultati Sperimentali
Gli autori hanno valutato DOREMI utilizzando baseline allo stato dell'arte (ATLOP e DREEAM) sia sul set di sviluppo DocRED che sul set di test Re-DocRED.

• DocRED: Annotare appena lo 0,001% del dataset DS (400 triple) ha migliorato significativamente le prestazioni del modello. Rispetto alla principale tecnica di denoising (UGDRE), DOREMI ha aumentato la precisione complessiva fino a +8,2% e l'F1 di +0,7%. Per le triple long-tail (<100 esempi), la precisione è aumentata del +76,0% e l'F1 del +5,0%. In particolare, per le triple long-tail che coinvolgono coppie di entità non viste durante l'addestramento, DOREMI ha incrementato l'ignored F1 (ignF1) fino al 28,7% e l'ignored Precision (ignPrecision) del 137,6% rispetto a UGDRE.
• Re-DocRED: Sul dataset più ampio Re-DocRED, l'annotazione dello 0,003% (1.200 triple) ha prodotto un guadagno del +16,2% nella precisione long-tail e del +19,2% nella ignPrecision. Per le triple "extreme long-tail" (<100 esempi), DOREMI ha ottenuto un aumento della precisione del +83,2% e della ignPrecision del +207,9% rispetto a UGDRE, con un guadagno di ignF1 del +33,5%.
• Approccio Ibrido: Un setting ibrido, che combina DOREMI per le relazioni long-tail e UGDRE per le relazioni frequenti, ha dimostrato che DOREMI integra efficacemente gli approcci di denoising esistenti, portando ulteriori miglioramenti nelle metriche complessive.

Significatività e Claim
Il paper sostiene che DOREMI offra una soluzione scalabile ed efficiente al problema del bias della long-tail in DocRE. Prioritizzando la precisione rispetto al richiamo (recall) nel suo design, DOREMI garantisce l'affidabilità delle relazioni estratte, il che è cruciale per i compiti di costruzione di Knowledge Base (KBC) a valle. Gli autori sottolineano che il loro approccio ottiene guadagni di prestazione significativi con un costo di annotazione umana minimo (circa 20 ore di lavoro per l'esperimento Re-DocRED). Il lavoro stabilisce che l'apprendimento attivo basato sul disaccordo è una strategia valida ed efficace per personalizzare i dataset al fine di migliorare la generalizzazione sulle relazioni rare, segnando il primo sforzo nel dare applicazione di tale approccio specificamente a DocRE. I dataset e la metodologia risultanti forniscono una base per l'addestramento di arbitrari modelli DocRE con capacità potenziate nella gestione delle distribuzioni long-tail.