Double Triangle Annotation: A Scalable Human-in-the-Loop Framework for High-Precision Historical Document Annotation
यह शोध पत्र "डबल ट्राएंगल एनोटेशन" (Double Triangle Annotation) प्रस्तुत करता है, जो एक स्केलेबल ह्यूमन-इन-द-लूप फ्रेमवर्क है जो ऐतिहासिक दस्तावेज़ एनोटेशन कार्यों के 85% से अधिक को स्वचालित करने के लिए दो स्वतंत्र मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के बीच क्रॉस-मॉडल कंसेंसस का लाभ उठाता है, जबकि फ्रांसीसी मेडिकल "गाइड्स रोसेनवाल्ड" (Guides Rosenwald) कॉर्पस पर 0.003 का उच्च-परिशुद्धता वर्ड एरर रेट (Word Error Rate) प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप 1800 के दशक के पुराने, हस्तलिखित मेडिकल रिकॉर्ड्स का एक विशाल, त्रुटिहीन पुस्तकालय बनाने की कोशिश कर रहे हैं। कागज बहुत नाजुक है, स्याही फीकी पड़ गई है, और लिखावट बहुत उलझी हुई है। इस पुस्तकालय को कंप्यूटर के लिए उपयोगी बनाने के लिए, आपको हर एक नाम, तारीख और पता बिल्कुल सही-सही टाइप करना होगा।
इसे हाथ से करना धीमा, महंगा और थका देने वाला है। एक एकल कंप्यूटर प्रोग्राम (एक AI) के साथ करना तेज़ है, लेकिन कंप्यूटर अक्सर "भ्रमित" (hallucinate) हो जाता है—वह आत्मविश्वास के साथ गलत तथ्य बना देता है या धुंधले अक्षरों को गलत पढ़ लेता है।
लेखक इसके समाधान के रूप में डबल ट्राएंगल एनोटेशन (Double Triangle Annotation) का प्रस्ताव देते हैं। इसे एक "सुपर-एडिटर" सिस्टम के रूप में समझें जो काम पूरा करने के लिए AI की एक टीम और कुछ मानव विशेषज्ञों का उपयोग करता है।
यह कैसे काम करता है, इसके सरल चरण यहाँ दिए गए:
मुख्य विचार: "दो सिर एक से बेहतर हैं"
यह प्रणाली एक सरल नियम पर निर्भर करती है: यदि दो अलग-अलग, स्मार्ट कंप्यूटर किसी उत्तर पर सहमत होते हैं, तो वे संभवतः सही हैं।
यदि दो कंप्यूटर असहमत होते हैं, तो वे भ्रमित होते हैं, इसलिए एक इंसान को हस्तक्षेप करने की आवश्यकता होती।
लेयर 1: पहला ट्राएंगल (एक "AI बनाम AI" जांच)
कल्पना कीजिए कि आपके पास दो अलग-अलग AI रोबोट हैं, मान लीजिए कि वे रोबोट A और रोबोट B हैं। उन्हें अलग-अलग कंपनियों द्वारा बनाया गया है और वे अलग तरह से सोचते हैं।
- दौड़: आप उन्हें एक मेडिकल रिकॉर्ड की तस्वीर दिखाते हैं। दोनों रोबटेज एक ही समय में टेक्स्ट को पढ़ने की कोशिश करते हैं।
- सहमति: यदि रोबोट A और रोबोट B बिल्कुल एक ही नाम और तारीख लिखते हैं, तो सिस्टम कहता है, "बहुत बढ़िया! वे सहमत हैं। हम इस उत्तर को स्वीकार करेंगे।" किसी इंसान की आवश्यकता नहीं है।
- असहमति: यदि रोबोट A कहता है "डॉ. स्मिथ" और रोबोट B कहता है "डॉ. स्मिथ" (Dr. Smyth), तो सिस्टम एक लाल झंडी (red flag) लगा देता है। यह कहता है, "ओह! वे मेल नहीं खा रहे हैं। चलिए एक इंसान से पूछते हैं।"
- मानव जूरी: एक इंसान तस्वीर और दो अलग-अलग उत्तरों को देखता है। वे सही विकल्प को चुनते हैं।
जादू: क्योंकि रोबोट इतने स्मार्ट हैं, वे अधिकांश मामलों में (85% से अधिक समय) सहमत होते हैं। इसका मतलब है कि इंसानों को केवल कठिन हिस्सों को ठीक करना होगा, जिससे बहुत समय बचता है।
लेayer 2: दूसरा ट्राएंगल (एक "डबल-चेक")
लेयर 1 के साथ भी, इंसान थक सकते हैं या गलतियाँ कर सकते हैं। इसलिए, लेखकों ने एक दूसरा सुरक्षा जाल बनाया।
- दो टीमें: वे पूरे लेयर 1 की प्रक्रिया को दो बार चलाते हैं, जिससे दो अलग-अलग टीमें (टीम अल्फा और टीम बीटा) बनती हैं। प्रत्येक टीम के पास अपने रोबोटों का जोड़ा और अपना मानव चेकर होता है।
- अंतिम मुकाबला: अब, सिस्टम टीम अल्फा के अंतिम परिणामों की टीम बीटा के साथ तुलना करता है।
- यदि दोनों टीमों ने एक ही अंतिम उत्तर दिया है, तो सिस्टम इसे गोल्ड स्टैंडर्ड (पूर्ण) के रूप में स्वीकार करता है।
- यदि टीमें अभी भी असहमत हैं, तो इसका मतलब है कि मामला अत्यंत कठिन है।
- विशेषज्ञ: एक उच्च कुशल विशेषज्ञ (जैसे कि एक इतिहास का प्रोफेसर) केवल इन दुर्लभ, जिद्दी असहमतियों को देखता है ताकि अंतिम निर्णय लिया जा सके।
परिणाम: यह कितना अच्छा है?
लेखकों ने इसका परीक्षण 19वीं सदी की फ्रांसीसी मेडिकल डायरेक्टरीज (जिन्हें गाइड्स रोजनवाल्ड कहा जाता है) के एक वास्तविक संग्रह पर किया।
- गति: सिस्टम ने स्वचालित रूप से सभी डेटा के 85% से अधिक को बिना किसी मानवीय स्पर्श के स्वीकार कर लिया।
- सटीकता: अंतिम परिणाम अविश्वसनीय रूप से सटीक था। हजारों शब्दों में से, उन्होंने केवल 1,000 शब्दों पर 3 गलतियाँ (Word Error Rate 0.003) कीं।
- कुछ गलतियाँ: बची हुई गलतियों की बहुत कम संख्या तब हुई जब मूल कागज इतना क्षतिग्रस्त था कि एक इंसान और एक कंप्यूटर भी उसे देखकर अनुमान ही लगा सकते थे। उन मामलों में, "स्वतंत्रता" का नियम टूट गया क्योंकि खराब छवि ने सभी को समान रूप से भ्रमित कर दिया था।
यह क्यों महत्वपूर्ण है
यह ढांचा एक सत्य की असेंबली लाइन की तरह है।
- पारंपरिक तरीका: एक व्यक्ति सब कुछ करता है (धीमा, महंगा)।
- पुराना AI तरीका: एक रोबोट सब कुछ करता है (तेज़, लेकिन झूठ से भरा हुआ)।
- यह तरीका: दो रोबोट भारी काम करते हैं, इंसान केवल गड़बड़ियों को ठीक करते हैं, और एक दूसरी टीम इंसानों की दोबारा जांच करती है।
पेपर का दावा है कि यह विधि इन विशिष्ट ऐतिहासिक दस्तावेजों के लिए पहला "परफेक्ट" डेटासेट बनाती है, जो अन्य शोधकर्ताओं को इन दस्तावेजों को टाइप करने में वर्षों बिताए बिना इतिहास का अध्ययन करने में मदद करेगी। यह एक मशीन की गति को मानव की सटीकता के साथ जोड़ने का एक तरीका है, बिना टाइपिस्टों की सेना को काम पर रखने की उच्च लागत के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।