DOREMI: Optimizing Long Tail Predictions in Document-Level Relation Extraction

Technische Zusammenfassung: DOREMI – Optimierung von Long-Tail-Vorhersagen in der dokumentbasierten Relationsextraktion

Problemstellung
Die dokumentbasierte Relationsextraktion (Document-Level Relation Extraction, DocRE) steht vor zwei primären Herausforderungen: der Notwendigkeit eines kontextuellen Zusammenhangs über Sätze hinweg, um Relationen zu identifizieren, und der schweren Long-Tail-Verteilung der Relationstypen. In Standarddatensätzen wie DocRED und Re-DocRED dominieren eine kleine Anzahl häufiger Relationen die Trainingsdaten, während die Mehrheit der Relationen (Long-Tail) nur über wenige Trainingsbeispiele verfügt (oft weniger als 100 Instanzen). Diese Klassenimbalance führt dazu, dass Modelle zugunsten häufiger Relationen verzerrt werden, was ihre Fähigkeit zur genauen Identifizierung seltener Relationen verschlechtert. Bestehende Ansätze zur Minderung des Rauschens in distanzüberwachten (Distantly Supervised, DS) Datensätzen, wie etwa UGDRE, scheitern oft daran, gezielt Long-Tail-Relationen anzusprechen, oder verlassen sich auf groß angelegte, verrauschte Daten, die den Bias verstärken. Obwohl Large Language Models (LLMs) vielversprechend sind, schneiden sie für diese spezifische Aufgabe derzeit schlechter ab als aktuelle sequenzbasierte Modelle.

Methodik: Das DOREMI-Framework
Die Autoren schlagen DOREMI (DOcument-level Relation Extraction optiMizing the long taIl) vor, ein iteratives, Human-in-the-Loop-Framework, das darauf ausgelegt ist, unterrepräsentierte Relationen durch minimale, gezielte manuelle Annotationen zu verbessern. Im Gegensatz zu bisherigen Denoising-Strategien, die auf heuristischer Filterung oder groß angelegten DS-Daten basieren, wählt DOREMI aktiv die informativsten Beispiele aus, um die Effizienz und Robustheit des Trainings zu steigern.

Das Framework operiert durch die folgenden Rechenblöcke:

1. Kernmodell-Ensemble: DOREMI unterhält einen Pool ($\Gamma$) von $n$ diversen DocRE-Kernmodellen (speziell CNN, LSTM, BiLSTM, ContextAware und BERT-basierte Modelle). Diese Modelle werden zunächst auf verfügbaren menschlich annotierten (Human-Annotated, HA) Daten vortrainiert.
2. Berechnung der Diskrepanz (Disagreement): Die Modelle sagen Relationen über den verrauschten DS-Datensatz voraus. Für jedes Entitätspaar $(s, o)$ berechnet das System die Diskrepanz ($\phi_\Gamma$) zwischen den Modellen. Die Diskrepanz wird basierend auf der Wahrscheinlichkeit berechnet, dass alle Modelle entweder eine Relation oder "keine Relation" vorhersagen. Um der Multi-Label-Natur von DocRE gerecht zu werden, wird die Gesamtdiskrepanz aus dem Produkt der pro Relation berechneten Diskrepanzen abgeleitet. Eine logarithmische Transformation wird angewendet, um kleine Unterschiede zu verstärken und die Interpretierbarkeit zu erhöhen.
3. Iterative Stichprobenziehung und Annotation: Das System identifiziert "schwer klassifizierbare" (Hard-To-Classify) Beispiele, indem es die Top-$k$ Entitätspaare mit den höchsten Diskrepanzwerten auswählt. Entscheidend ist, dass diese Stichprobenziehung auf Kandidaten von Long-Tail-Triples beschränkt ist (bei denen mindestens ein Modell eine Long-Tail-Relation vorhersagt), um sicherzustellen, dass sich die Annotationsbemühungen auf den spezifischen Leistungsengpass konzentrieren.
4. Label-Aggregation: Sobald eine Abbruchbedingung erreicht ist (entweder sinkt die mittlere Diskrepanz unter einen Schwellenwert $\epsilon$ oder das Annotationsbudget $b$ ist erschöpft), werden die Vorhersagen aggregiert, um einen bereinigten, distanzüberwachten Datensatz (Denoised Distantly Supervised, DDS) zu erstellen. Ein präzisionsorientierter Filter wird angewendet: Eine Relation wird nur dann in den endgültigen DDS aufgenommen, wenn mindestens ein Modell sie mit hoher Konfidenz (über einem Schwellenwert $\tau$) vorhersagt.
5. Iteratives Training: Die ausgewählten Stichproben werden manuell annotiert, dem Trainingspool hinzugefügt und die Kernmodelle werden auf dem erweiterten Datensatz feinjustiert. Dieser Zyklus wiederholt sich, bis die Abbruchbedingung erreicht ist.

Wesentliche Beiträge

1. DOREMI-Framework: Die Einführung eines neuartigen iterativen Systems, das speziell auf Long-Tail-Relationen zugeschnitten ist und distanzüberwachte Datensätze durch diskrepanzgetriebene Annotationen verbessert.
2. Diskrepanz als Proxy: Der Nachweis, dass die Messung der Diskrepanz zwischen mehreren Modellen ein effektiver Proxy zur Identifizierung von schwer klassifizierbaren Beispielen speziell für DocRE ist, was erhebliche Leistungssteigerungen bei vernachlässigbarem menschlichem Aufwand ermöglicht.
3. Neue Datensätze: Die Veröffentlichung von zwei neuen bereinigten, distanzüberwachten Datensätzen (DDSs) basierend auf DocRED und Re-DocRED. Diese Datensätze sind explizit für Long-Tail-Relationen optimiert und so konzipiert, dass sie modellagnostisch sind, sodass jedes nachgeschaltete DocRE-Modell von einer verbesserten Long-Tail-Abdeckung profitieren kann.

Experimentelle Ergebnisse
Die Autoren evaluierten DOREMI unter Verwendung modernster Baselines (ATLOP und DREEAM) sowohl auf dem DocRED-Entwicklungsset als auch auf dem Re-DocRED-Testset.

• DocRED: Die Annotation von lediglich 0,001 % des DS-Datensatzes (400 Triples) verbesserte die Modellleistung signifikant. Im Vergleich zur führenden Denoising-Technik (UGDRE) steigerte DREMI die Gesamtpräzision um bis zu +8,2 % und die F1-Metrik um +0,7 %. Für Long-Tail-Triples (<100 Beispiele) stieg die Präzision um +76,0 % und die F1-Metrik um +5,0 %. Bemerkenswert ist, dass DREMI für Long-Tail-Triples, die Entitätspaare betreffen, die nicht im Training gesehen wurden, die ignorierte F1 (ignF1) um bis zu 28,7 % und die ignorierte Präzision (ignPrecision) um 137,6 % im Vergleich zu UGDRE steigerte.
• Re-DocRED: Auf dem größeren Re-DocRED-Datensatz führte die Annotation von 0,003 % (1.200 Triples) zu einem Gewinn von +16,2 % bei der Long-Tail-Präzision und +19,2 % bei der ignPrecision. Für "Extreme Long-Tail"-Triples (<100 Beispiele) erreichte DREMI eine Steigerung der Präzision um +83,2 % und der ignPrecision um +207,9 % im Vergleich zu UGDRE, mit einem Gewinn bei der ignF1 von +33,5 %.
• Hybrid-Ansatz: Ein hybrider Ansatz, der DREMI für Long-Tail-Relationen und UGDRE für häufige Relationen kombiniert, zeigte, dass DREMI bestehende Denoising-Ansätze effektiv ergänzt und weitere Verbesserungen der Gesamtmetriken erzielt.

Bedeutung und Ansprüche
Das Paper behauptet, dass DREMI eine skalierbare und effiziente Lösung für das Long-Tail-Bias-Problem in DocRE bietet. Durch die Priorisierung von Präzision gegenüber Recall in seinem Design stellt DREMI die Zuverlässigkeit der extrahierten Relationen sicher, was für nachgeschaltete Aufgaben der Wissensdatenbank-Konstruktion (Knowledge Base Construction, KBC) entscheidend ist. Die Autoren betonen, dass ihr Ansatz signifikante Leistungssteigerungen bei minimalem menschlichem Annotationsaufwand (ca. 20 Annotatorenstunden für das Re-DocRED-Experiment) erzielt. Die Arbeit etabliert, dass diskrepanzbasierte aktives Lernen eine lebensfähige und effektive Strategie ist, um Datensätze gezielt zur Verbesserung der Generalisierung auf seltene Relationen anzupassen, und markiert damit die erste Bemühung, einen solchen Ansatz spezifisch auf DocRE anzuwenden. Die resultierenden Datensätze und die Methodik bieten eine Grundlage für das Training beliebiger DocRE-Modelle mit verbesserten Fähigkeiten im Umgang mit Long-Tail-Verteilungen.