UTS at CheckThat! 2026: Cite-Frame Engineering for Generated Fact-Checking Articles

आधुनिक सूचना पारिस्थितिकी तंत्र में, किसी दावे को सत्यापित करना केवल आधी लड़ाई है; एक मानव पाठक को यह समझाना कि वह क्यों सत्य या असत्य है, दूसरी आधी लड़ाई है। यह स्वचालित तथ्य-जांच (ऑटोमेटेड फैक्ट-चेकिंग) का क्षेत्र है, जहाँ कंप्यूटर पत्रकारों के कठोर कार्य की नकल करने का प्रयास करते हैं। चुनौती न केवल सही साक्ष्य खोजने की है, बल्कि उस साक्ष्य को एक सुसंगत लेख में बुनने की भी है जिसे एक मानव विश्वास कर सके और एक कंप्यूटर सत्यापित कर सके। एक हालिया प्रतियोगिता, CheckThat! 2026 ने टीमों को इन तथ्य-जांच लेखों को स्वचालित रूप से बनाने वाले सिस्टम विकसित करने का कार्य सौंपा। इन सिस्टम्स को एक विशिष्ट दावा लेना था, वेब लिंक की एक सूची से सहायक साक्ष्य खोजने थे, और उन लिंकों का हवाला देते हुए एक संक्षिप्त रिपोर्ट लिखनी थी। इसका स्कोरिंग बेहद सख्त था: एक कंप्यूटर प्रोग्राम लेखों को इस आधार पर ग्रेड देता था कि वे मानव-लिखित उदाहरणों से कितनी अच्छी तरह मेल खाते हैं और, सबसे महत्वपूर्ण बात यह कि, क्या वास्तव में प्रत्येक वाक्य जिसने किसी स्रोत का हवाला दिया था, वह उस स्रोत के टेक्स्ट द्वारा समर्थित था। यदि किसी सिस्टम ने कोई विवरण बना लिया या किसी स्रोत को थोड़ा भी गलत उद्धृत किया, तो कंप्यूटर उसे भारी दंड देता था।

यूनिवर्सिटी ऑफ टेक्नोलॉजी सिडनी की एक टीम ने इस प्रतियोगिता में एक ऐसे सिस्टम के साथ भाग लिया जिसने अधिकांश टीमों से अलग रास्ता अपनाया। जबकि अन्य टीमों ने पूरे लेख को शून्य से लिखने के लिए शक्तिशाली आर्टिफिशियल इंटेलिजेंस का उपयोग करने की कोशिश की, सिडनी की टीम ने मुख्य टेक्स्ट के लिए एक कठोर, पूर्वानुमेय टेम्पलेट (साँचे) पर भरोसा करने वाला सिस्टम बनाया, जिसमें आर्टिफिशियल इंटेलिजेंस का उपयोग केवल स्रोतों की जाँच करने के लिए एक सख्त द्वारपाल के रूप में किया गया था। उनके दृष्टिकोण ने उन्हें ग्यारह टीमों में से दूसरे स्थान पर पहुँचाया। उनकी सफलता की कुंजी अधिक रचनात्मक गद्य उत्पन्न करने में नहीं, बल्कि यह समझने में थी कि कंप्यूटर जज वास्तव में कैसे काम करता है। उन्होंने पाया कि जज अविश्वसनीय रूप से रूढ़िवादी था, जो उन लेखों को पुरस्कृत करता था जो प्रदान किए गए तथ्यों से निकटता से चिपके रहते थे और किसी भी ऐसे वाक्य को खारिज कर देता था जो अतिरिक्त चमक-धमक या unverifiable (अपुष्ट) विवरण जोड़ता था। इन सख्त नियमों का सम्मान करने के लिए अपने सिस्टम को डिजाइन करके, उन्होंने एक ऐसी मशीन बनाई जो विश्वसनीय रूप से तथ्य-जांच लेख तैयार कर सकती थी, भले ही वे विशेष रूप से सुरुचिपूर्ण न हों।

शोधकर्ताओं ने सबसे स्पष्ट विचार का परीक्षण करके शुरुआत की: एक लार्ज लैंग्वेज मॉडल (एक प्रकार का आर्टिफिशियल इंटेलिजेंस जो प्रवाहपूर्ण टेक्स्ट लिखने में सक्षम है) को पूरा लेख ड्राफ्ट करने देने का। उन्होंने इसे विभिन्न आकार के मॉडल्स के साथ आज़माया, इस उम्मीद में कि मशीन एक पेशेवर तथ्य-जांचकर्ता की तरह बोलना सीख जाएगी। यह काम नहीं आया। इन मॉडल्स द्वारा उत्पन्न लेख लगातार कंप्यूटर के ग्रेडिंग सिस्टम में विफल रहे। समस्या संरचनात्मक थी। कंप्यूटर जज टेक्स्ट में विशिष्ट पैटर्न देखता था, विशेष रूप से इस बात पर कि स्रोतों का उल्लेख कैसे किया जाता है। जब आर्टिफिशियल इंटेलिजेंस स्वाभाविक रूप से लिखने की कोशिश करता था, तो वह अक्सर स्रोत के उल्लेख करने के तरीके को बदल देता था या ऐसे शब्द जोड़ देता था जिन्हें कंप्यूटर मूल साक्ष्य के विरुद्ध सत्यापित नहीं कर सकता था। एक छोटा सा बदलाव भी, जैसे कि किसी समीक्षक का नाम या ऐसी तारीख जोड़ना जो मूल स्रोत टेक्स्ट में नहीं थी, कंप्यूटर को उस वाक्य को खारिज करने के लिए मजबूर कर देता था। आर्टिफिशियल इंटेलिजेंस जितना अधिक सक्षम लेखन में होता था, वह उतना ही उन सख्त पैटर्नों से दूर भटक जाता था जिनकी जज को आवश्यकता थी। टीम को एहसास हुआ कि मशीन को "बेहतर लिखने" में सुधार करने की कोशिश करना वास्तव में उसके प्रदर्शन को खराब कर रहा था।

लेखन में सुधार करने के बजाय, टीम ने संरचना में सुधार करने का निर्णय लिया। उन्होंने एक ऐसा सिस्टम बनाया जो एक सरल, अपरिवर्तनीय टेम्पलेट के साथ शुरू होता था। यह टेम्पलेट एक हेडलाइन, प्रत्येक साक्ष्य के लिए एक एकल वाक्य और एक निष्कर्ष के साथ एक बुनियादी लेख बनाता था। यह "स्टब" (stub) ड्राफ्ट उबाऊ था, लेकिन यह सुरक्षित था। यह नियमों का पूरी तरह से पालन करता था। टीम ने इस सिस्टम में दो विशिष्ट उपकरण जोड़े, जो गुणवत्ता नियंत्रण निरीक्षक की तरह कार्य करते थे। पहला उपकरण, जिसे उन्होंने 'डोमेन-एट्रिब्यूशन फ्रेम' कहा, ने प्रत्येक साइटेशन (उद्धरण) को "[वेबसाइट के अनुसार], [तथ्य]" जैसे मानक वाक्यांश में लपेटा। इस छोटे से बदलाव ने वाक्यों को उन मानव-लिखित उदाहरणों की तरह अधिक ध्वनि दी जिनका कंप्यूटर उनसे तुलना कर रहा था, बिना तथ्यों को बदले। दूसरा उपकरण एक 'शैडो वैलिडेटर' (shadow validator) था। एक वाक्य को अंतिम रूप देने से पहले, सिस्टम ने एक छोटे आर्टिफिशियल इंटेलिजेंस मॉडल से पूछा कि क्या वह विशिष्ट वाक्य वास्तव में स्रोत लिंक द्वारा समर्थित है। यदि मॉडल ने 'नहीं' कहा, तो सिस्टम स्रोत टेक्स्ट के अगले वाक्य को आज़माता था। यदि वह भी विफल हो जाता, तो वह मूल सुरक्षित वाक्य पर ही रहता। इसने यह सुनिश्चित किया कि सिस्टम द्वारा किया गया प्रत्येक साइटेशन जिसे कंप्यूटर जज स्वीकार करेगा।

इस दृष्टिकोण के परिणाम स्पष्ट और मापने योग्य थे। प्रतियोगिता से पहले अपने सिस्टम का परीक्षण करने के लिए उपयोग किए गए वैलिडेशन डेटा पर, उनके तरीके ने बुनियादी टेम्पलेट की तुलना में समग्र स्कोर में एक छोटे लेकिन महत्वपूर्ण अंतर से सुधार किया। जब उन्होंने फ्रेमिंग टूल और शैडो वैलिडेटर को मिलाया, तो सुधार और भी अधिक था। सिस्टम ने चतुर होने की कोशिश नहीं की; इसने केवल यह सुनिश्चित किया कि प्रत्येक वाक्य सत्यापन योग्य हो और सही प्रारूप का पालन करे। अंतिम प्रतियोगिता में, उनके सिस्टम ने 0.484 का स्कोर प्राप्त किया, जिससे वे ग्यारह टीमों में दूसरे स्थान पर रहे। जीतने वाली टीम का स्कोर अधिक था, लेकिन उनके बीच का अंतर पूरी तरह से एक विशिष्ट मीट्रिक के कारण था: साइटेशन प्रिसिजन (उद्धरण सटीकता)। जीतने वाली टीम ने स्रोतों को बहुत अधिक सटीकता के साथ उद्धृत किया, संभवतः उन स्रोतों को छोड़ने का विकल्प चुनकर जिनके बारे में वे अनिश्चित थे, जबकि सिडनी की टीम ने उन्हें दिए गए लगभग सभी स्रोतों का हवाला दिया। सिडनी की टीम का सिस्टम इतना विश्वसनीय था कि उसने लगभग सभी उपलब्ध साक्ष्यों का हवाला दिया, लेकिन क्योंकि उसने अनिश्चित वाले स्रोतों को छोड़ा नहीं, इसलिए उसका प्रिसिजन स्कोर कम रहा।

टीम के काम ने भविष्य के ऑटोमेटेड फैक्ट-चेकिंग के लिए दो महत्वपूर्ण सबक प्रकट किए। पहला, जब एक कंप्यूटर जज सत्यापन के बारे में सख्त होता है, तो अतिरिक्त शब्द जोड़ना या टेक्स्ट को अधिक मानवीय बनाने की कोशिश करना अक्सर स्कोर को नुकसान पहुँचाता है। सबसे प्रभावी रणनीति टेक्स्ट को सरल रखना और साक्ष्य से सख्ती से बंधे रहना था। दूसरा, स्रोत से "सर्वश्रेष्ठ" वाक्य चुनने के लिए उपयोग किए जाने वाले उपकरण अक्सर भ्रामक होते थे। टीम ने पाया कि स्रोत से सबसे उपयुक्त वाक्य चुनने के मानक तरीके, जैसे कि सबसे लंबे वाक्य या दावे के लिए सबसे प्रासंगिक वाक्य की तलाश करना, अक्सर ऐसे वाक्य चुनते थे जिन्हें कंप्यूटर जज खारिज कर देता था। एकमात्र विश्वसनीय तरीका यह था कि जज से ही पूछा जाए। यह अंतर्दृष्टि बताती है कि उन कार्यों में जहाँ सटीकता को सख्त सत्यापन द्वारा मापा जाता है, सबसे अच्छा दृष्टिकोण नया कंटेंट जेनरेट करना नहीं, बल्कि मौजूदा कंटेंट को सावधानीपूर्वक क्यूरेट और सत्यापित करना है।

शोधकर्ताओं ने यह भी नोट किया कि उनके सिस्टम की एक सीमा थी। चूंकि उन्हें दिए गए प्रत्येक साक्ष्य का हवाला देना आवश्यक था, इसलिए वे जीतने वाली टीम की रणनीति को नहीं अपना सके, जो संभवतः उच्च सटीकता स्कोर बनाए रखने के लिए अनिश्चित स्रोतों को छोड़ देती थी। सिडनी की टीम ने परिकल्पना की कि यदि उन्होंने उस नियम को जोड़ा होता कि जज जिस पर आश्वस्त नहीं है उसे छोड़ दिया जाए, तो उनका स्कोर अधिक हो सकता था। हालाँकि, उन्होंने प्रतियोगिता के दौरान इसका परीक्षण नहीं किया। उनका कार्य इस बात का प्रमाण है कि उच्च-दांव वाले सत्यापन कार्यों में, एक सरल, नियत (deterministic) सिस्टम जो रचनात्मकता के ऊपर सटीकता को प्राथमिकता देता है, उन जटिल आर्टिफिशियल इंटेलिजेंस मॉडल्स से बेहतर प्रदर्शन कर सकता है जो मनुष्यों की तरह लिखने की कोशिश करते हैं। पेपर यह निष्कर्ष निकालता है कि इन सिस्टम्स की अगली पीढ़ी के लिए, ध्यान बेहतर गद्य उत्पन्न करने से हटकर यह तय करने के स्मार्ट तरीकों को विकसित करने पर होना चाहिए कि क्या शामिल करना है और क्या छोड़ना है, ताकि यह सुनिश्चित हो सके कि मशीन जो भी शब्द लिखती है उसे सच साबित किया जा सके।