DOREMI: Optimizing Long Tail Predictions in Document-Level Relation Extraction

तकनीकी सारांश: DOREMI – डॉक्यूमेंट-लेवल रिलेशन एक्सट्रैक्शन में लॉन्ग टेल प्रेडिक्शन्स को अनुकूलित करना

समस्या विवरण
डॉक्यूमेंट-लेवल रिलेशन एक्सट्रैक्शन (DocRE) दो प्राथमिक चुनौतियों का सामना करता है: संबंधों की पहचान करने के लिए क्रॉस-सेंटेंस कॉन्टेक्स्ट (cross-sentence context) की आवश्यकता और रिलेशन प्रकारों का गंभीर 'लॉन्ग-टेल' वितरण (long-tail distribution)। DocRED और Re-DocRED जैसे मानक डेटासेट में, कुछ बार-बार आने वाले संबंध प्रशिक्षण डेटा पर हावी रहते हैं, जबकि अधिकांश संबंध (लॉन्ग-टेल) दुर्लभ प्रशिक्षण उदाहरणों (अक्सर 100 से कम उदाहरण) के साथ आते हैं। यह क्लास इम्बैलेंस (class imbalance) मॉडलों को बार-बार आने वाले संबंधों की ओर पक्षपाती बनाता है, जिससे दुर्लभ संबंधों को सटीक रूप से पहचानने की उनकी क्षमता कम हो जाती है। डिस्टेंटली सुपरवाइज्ड (DS) डेटासेट में शोर (noise) को कम करने के मौजूदा दृष्टिकोण, जैसे कि UGDRE, अक्सर विशेष रूप से लॉन्ग-टेल संबंधों को संबोधित करने में विफल रहते हैं या बड़े पैमाने पर शोर वाले डेटा पर निर्भर करते हैं जो पूर्वाग्रह को और बढ़ा देता है। हालांकि लार्ज लैंग्वेज मॉडल्स (LLMs) आशाजनक दिखते हैं, वे वर्तमान में इस विशिष्ट कार्य के लिए स्टेट-ऑफ-द-आर्ट सीक्वेंस-आधारित मॉडलों की तुलना में कम प्रदर्शन करते हैं।

कार्यप्रणाली: DOREMI फ्रेमवर्क
लेखक DOREMI (DOcument-level Relation Extraction optiMizing the long taIl) प्रस्तावित करते हैं, जो एक इटरेटिव (iterative), ह्यूमन-इन-द-लूप फ्रेमवर्क है जिसे न्यूनतम, लक्षित मैनुअल एनोटेशन के माध्यम से अल्पप्रतिनिधित्व वाले संबंधों को बढ़ाने के लिए डिज़ाइन किया गया है। ह्यूरिस्टिक फ़िल्टरिंग या बड़े पैमाने पर DS डेटा पर निर्भर करने वाली पिछली डिनोइज़िंग रणनीतियों के विपरीत, DOREMI प्रशिक्षण दक्षता और मजबूती को बेहतर बनाने के लिए सबसे सूचनात्मक उदाहरणों को सक्रिय रूप से चुनता है।

यह फ्रेमवर्क निम्नलिखित कम्प्यूटेशनल ब्लॉक्स के माध्यम से संचालित होता है:

1. कोर मॉडल एन्सेम्बल (Core Model Ensemble): DOREMI $n$ विविध DocRE कोर मॉडल्स (विशेष रूप से CNN, LSTM, BiLSTM, ContextAware, और BERT-आधारित मॉडल) का एक पूल ($\Gamma$) बनाए रखता है। ये मॉडल शुरू में उपलब्ध ह्यूमन-एनोटेटेड (HA) डेटा पर प्री-ट्रेन किए जाते हैं।
2. डिसएग्रीमेंट कंप्यूटेशन (Disagreement Computation): मॉडल शोर वाले DS डेटासेट पर संबंधों की भविष्यवाणी करते हैं। प्रत्येक एंटिटी पेयर $(s, o)$ के लिए, सिस्टम मॉडल्स के बीच डिसएग्रीमेंट ($\phi_\Gamma$) की गणना करता है। डिसएग्रीमेंट इस संभावना के आधार पर गणना किया जाता है कि मॉडल या तो सभी एक संबंध की भविष्यवाणी करते हैं या सभी "कोई संबंध नहीं" की भविष्यवाणी करते हैं। DocRE की मल्टी-लेबल प्रकृति को संभालने के लिए, समग्र डिसएग्रीमेंट को प्रति-रिलेशन डिसएग्रीमेंट के गुणनफल से प्राप्त किया जाता है। छोटे अंतरों को बढ़ाने और व्याख्यात्मकता (interpretability) को बेहतर बनाने के लिए एक लॉगरिदमिक ट्रांसफॉर्मेशन लागू किया जाता है।
3. इटरेटिव सैंपलिंग और एनोटेशन: सिस्टम उच्चतम डिसएग्रीमेंट स्कोर वाले टॉप-$k$ एंटिटी पेयर्स को चुनकर "हार्ड-टू-क्लासिफाई" (Hard-To-Classify) उदाहरणों की पहचान करता है। महत्वपूर्ण बात यह है कि यह सैंपलिंग उम्मीदवार लॉन्ग-टेल ट्रिपल्स (जहाँ कम से कम एक मॉडल लॉन्ग-टेल संबंध की भविष्यवाणी करता है) तक सीमित है ताकि यह सुनिश्चित हो सके कि एनोटेशन प्रयास विशिष्ट प्रदर्शन बाधाओं को लक्षित करते हैं।
4. लेबल एग्रीगेशन (Label Aggregation): एक बार जब स्टॉपिंग कंडीशन (या तो औसत डिसएग्रीमेंट $\epsilon$ से नीचे गिर जाता है या एनोटेशन बजट $b$ समाप्त हो जाता है) पूरी हो जाती है, तो भविष्यवाणियों को एकत्रित करके एक डिनोइज़्ड डिस्टेंटली सुपरवाइज्ड (DDS) डेटासेट बनाया जाता है। एक प्रिसिजन-ओरिएंटेड (precision-oriented) फ़िल्टर लागू किया जाता है: एक संबंध को अंतिम DDS में तभी रखा जाता है जब कम से कम एक मॉडल उच्च आत्मविश्वास (थ्रेशोल्ड $\tau$ से ऊपर) के साथ इसकी भविष्यवाणी करता है।
5. इटरेटिव ट्रेनिंग: चयनित नमूनों को मैन्युअल रूप से एनोटेट किया जाता है, उन्हें ट्रेनिंग पूल में जोड़ा जाता है, और विस्तारित डेटासेट पर कोर मॉडल्स को फाइन-ट्यून किया जाता है। यह चक्र तब तक दोहराया जाता है जब तक कि स्टॉपिंग कंडीशन पूरी न हो जाए।

प्रमुख योगदान

1. DOREMI फ्रेमवर्क: लॉन्ग-टेल संबंधों के लिए विशेष रूप से तैयार किए गए एक नवीन इटरेटिव सिस्टम का परिचय, जो डिसएग्रीमेंट-संचालित एनोटेशन के माध्यम से डिस्टेंटली सुपरवाइज्ड डेटासेट को बेहतर बनाता है।
2. डिसएग्रीमेंट एक प्रॉक्सी के रूप में: यह प्रदर्शन करना कि कई मॉडल्स के बीच डिसएग्रीमेंट को मापना विशेष रूप से DocRE के लिए 'हार्ड-टू-क्लासिफाई' उदाहरणों की पहचान करने के लिए एक प्रभावी प्रॉक्सी है, जो नगण्य मानवीय प्रयास के साथ पर्याप्त प्रदर्शन सुधार प्रदान करता है।
3. नए डेटासेट: DocRED और Re-DocRED पर आधारित दो नए डिनोइज़्ड डिस्टेंटली सुपरवाइज्ड डेटासेट्स (DDSs) का रिलीज। ये डेटासेट विशेष रूप से लॉन्ग-टेल संबंधों के लिए अनुकूलित हैं और मॉडल-एग्नोस्टिक (model-agnostic) होने के लिए डिज़ाइन किए गए हैं, जिससे किसी भी डाउनस्ट्रीम DocRE मॉडल को बेहतर लॉन्ग-टेल कवरेज का लाभ मिल सके।

प्रायोगिक परिणाम
लेखकों ने DocRED डेवलपमेंट सेट और Re-DocRED टेस्ट सेट दोनों पर स्टेट-ऑफ-द-आर्ट बेसलाइन्स (ATLOP और DREEAM) का उपयोग करके DOREMI का मूल्यांकन किया।

• DocRED: केवल 0.001% DS डेटासेट (400 ट्रिपल्स) को एनोटेट करने से मॉडल के प्रदर्शन में उल्लेखनीय वृद्धि हुई। अग्रणी डिनोइज़िंग तकनीक (UGDRE) की तुलना में, DOREMI ने समग्र प्रिसिजन में 8.2% तक और F1 में 0.7% तक की वृद्धि की। लॉन्ग-टेल ट्रिपल्स (<100 उदाहरण) के लिए, प्रिसिजन में 76.0% और F1 में 5.0% की वृद्धि हुई। विशेष रूप से, उन एंटिटी पेयर्स वाले लॉन्ग-टेल ट्रिपल्स के लिए जो ट्रेनिंग में नहीं देखे गए थे, DOREMI ने UGDRE के सापेक्ष ignF1 में 28.7% और ignPrecision में 137.6% तक की वृद्धि की।
• Re-DocRED: बड़े Re-DocRED डेटासेट पर, 0.003% (1,200 ट्रिपल्स) को एनोटेट करने से लॉन्ग-टेल प्रिसिजन में +16.2% और ignPrecision पर +19.2% की वृद्धि हुई। "एक्सट्रीम लॉन्ग-टेल" ट्रिपल्स (<100 उदाहरण) के लिए, DOREMI ने UGDRE की तुलना में प्रिसिजन में +83.2% और ignPrecision में +207.9% की वृद्धि हासिल की, जिसमें ignF1 में +33.5% की वृद्धि हुई।
• हाइब्रिड अप्रोच: एक हाइब्रिड सेटिंग, जो लॉन्ग-टेल संबंधों के लिए DOREMI और बार-बार आने वाले संबंधों के लिए UGDRE को जोड़ती है, ने प्रदर्शित किया कि DOREMI मौजूदा डिनोइज़िंग दृष्टिकोणों का प्रभावी ढंग से पूरक है, जिससे और अधिक सुधार हुआ।

महत्व और दावे
पेपर का दावा है कि DOREMI, DocRE में लॉन्ग-टेल बायस समस्या के लिए एक स्केलेबल और कुशल समाधान प्रदान करता है। अपने डिज़ाइन में रिकॉल (recall) के बजाय प्रिसिजन (precision) को प्राथमिकता देकर, DOREMI निकाले गए संबंधों की विश्वसनीयता सुनिश्चित करता है, जो डाउनस्ट्रीम नॉलेज बेस कंस्ट्रक्शन (KBC) कार्यों के लिए महत्वपूर्ण है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण न्यूनतम मानवीय एनोटेशन लागत (Re-DocRED प्रयोग के लिए लगभग 20 एनोटेटर-घंटे) के साथ महत्वपूर्ण प्रदर्शन लाभ प्राप्त करता है। यह कार्य स्थापित करता है कि डिसएग्रीमेंट-आधारित एक्टिव लर्निंग, दुर्लभ संबंधों पर सामान्यीकरण (generalization) में सुधार के लिए डेटासेट को अनुकूलित करने के लिए एक व्यवहार्य और प्रभावी रणनीति है, जो विशेष रूप से DocRE के लिए ऐसे दृष्टिकोण को लागू करने वाला पहला प्रयास है। परिणामी डेटासेट और कार्यप्रणाली किसी भी DocRE मॉडल को उन्नत क्षमताओं के साथ प्रशिक्षित करने के लिए एक आधार प्रदान करती है।