Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution

तकनीकी सारांश: डीप-रिसर्च सोर्स एट्रिब्यूशन के लिए बेंचमार्किंग रूब्रिक एलएलएम (LLMs)

समस्या विवरण
जैसे-जैसे वर्िफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) उन कार्यों के लिए प्रमुख प्रतिमान (paradigm) बनता जा रहा है जिनमें प्रोग्रामेटिक वेरिफायर का अभाव होता है (जैसे, चिकित्सा सलाह, वैज्ञानिक लेखन), समुदाय प्रॉम्प्ट-विशिष्ट रूब्रिक्स को स्कोर करने के लिए एलएलएम जजों पर निर्भर रहता है। ये जज प्रभावी रूप से रिवॉर्ड मॉडल के रूप में कार्य करते हैं, जिसका अर्थ है कि प्रशिक्षण रूब्रिक का डिज़ाइन परिचालनित लक्ष्य (operationalized goal) के डिज़ाइन के समान है। हालांकि, एक महत्वपूर्ण अंशांकन (calibration) प्रश्न बना हुआ है: एक विश्वसनीय रिवॉर्ड सिग्नल प्रदान करने के लिए एक जज को कितना सक्षम होना चाहिए, और इसका अंतर्निहित पूर्वाग्रह (bias) डाउनस्ट्रीम प्रशिक्षण को कैसे प्रभावित करता है?

जबकि डीप-रिसर्च सिस्टम में साइटेशन (citation) की गुणवत्ता एक प्राथमिक लक्ष्य है, मौजूदा कार्य साइटेशन-विशिष्ट रूब्रिक कार्यों पर ऑफ-द-शेल्फ (सामान्य-उद्देश्य वाले) एलएलएम को जज के रूप में व्यवस्थित रूप से बेंचमार्क नहीं करते हैं। पिछले सिस्टम अक्सर यह मान लेते हैं कि एक एकल बड़े या समर्पित मॉडल की आवश्यकता होती है, या वे रिट्रीवल क्वालिटी के बजाय जज की प्रासंगिक और तथ्यात्मक रूप से सहायक स्रोतों के बीच अंतर करने की क्षमता पर ध्यान केंद्रित करते हैं। यह समझने में एक अंतराल है कि क्या सस्ते, छोटे मॉडल फ्रंटियर मॉडल्स की तरह विश्वसनीय रूप से लूप को बंद कर सकते हैं, और विशेष रूप से, कैसे उनके दिशात्मक पूर्वाग्रह (जैसे, फाल्स पॉजिटिव बनाम फाल्स नेगेटिव) प्रशिक्षण सिग्नल को उन तरीकों से आकार दे सकते हैं जिन्हें स्केलर सटीकता मेट्रिक्स (scalar accuracy metrics) छिपा देते हैं।

कार्यप्रणाली (Methodology)
लेखक डीप-रिसर्च साइटेशन बेंचमार्क पेश करते हैं, जो एक एडवर्सरियल, लॉन्ग-फॉर्म डेटासेट है जिसे साइटेशन गुणवत्ता मूल्यांकन का परीक्षण करने के लिए डिज़ाइन किया गया है।

• डेटासेट निर्माण: यह बेंचमार्क 25 विविध डोमेन (जैसे, क्वांटम कंप्यूटिंग, इतिहास, जीव विज्ञान) में फैला हुआ है। यह स्वच्छ, एट्रिब्यूटेड लॉन्ग-फॉर्म सारांशों से शुरू होता है, जिनमें से लगभग 60% को 19 रणनीतियों का उपयोग करके एडवर्सरियली एडिट किया गया है ताकि तथ्यात्मक त्रुटियां, अप्रासंगिक स्रोत, या प्रशंसनीय लेकिन असहाय (unsupporting) साइटेशन पेश किए जा सकें। इससे 624 एट्रिब्यूशन-साइटेशन जोड़े प्राप्त होते हैं।
• गोल्ड लेबल्स (Gold Labels): 6 एलएलएम जजों की एक काउंसिल ने दो आयामों पर जोड़ों का स्वतंत्र रूप से मूल्यांकन किया: सोर्स रेलेवेंस (विषयगत फिट) और फैक्टुअल सपोर्ट (स्रोत के सापेक्ष दावे की सत्यता)। एक मानव समीक्षक ने सभी 1,248 निर्णयों (624 जोड़े × 2 आयाम) को सत्यापित किया, जिसने गोल्ड-स्टैंडर्ड डेटासेट बनाने के लिए 378 मामलों में मध्यस्थता की जहाँ काउंसिल असहमत थी।
• मूल्यांकित जज: यह अध्ययन तीन परिवारों (एंथ्रोपिक, गूगल, ओपनएआई) से 8 ऑफ-द-शेल्फ एलएलएम को बेंचमार्क करता है, जो लो-कॉस्ट मॉडल्स (जैसे, GPT-OSS-120B, Gemini 3.1 Flash Lite) से लेकर फ्रंटियर मॉडल्स (जैसे, Claude Opus 4.6, GPT-5-mini) तक विस्तृत हैं।
• मेट्रिक्स: स्टैंडर्ड एक्यूरेसी (Pass-class F1 और कोहेन का $\kappa$) के अलावा, लेखक RLVR के लिए महत्वपूर्ण डायरेक्शनल बायस मेट्रिक्स को मापते हैं: पास-रेट ड्रिफ्ट, फाल्स पॉजिटिव रेट (FPR), और फाल्स नेगेटिव रेट (FNR)। ये मेट्रिक्स निर्धारित करते हैं कि क्या कोई जज व्यवस्थित रूप से खराब साइटेशन को अधिक रिवॉर्ड देता है या अच्छे साइटेशन को कम रिवॉर्ड देता है।

मुख्य परिणाम

1. लागत बनाम प्रदर्शन: सस्ते जज फ्रंटियर मॉडल्स के प्रतिस्पर्धी हैं।
   • सोर्स रेलेवेंस: GPT-5-mini (तीसरा सबसे सस्ता मॉडल) ने उच्चतम F1 (0.908) प्राप्त किया, जिसने Claude Opus 4.6 (F1=0.866) जैसे अधिक महंगे मॉडल्स को भी पीछे छोड़ दिया।
   • फैक्टुअल सपोर्ट: कोई भी एकल मॉडल सांख्यिकीय रूप से हावी नहीं था। हालांकि Claude Opus 4.6 का उच्चतम पॉइंट एस्टीमेट (F1=0.750) था, लेकिन इसका 95% कॉन्फिडेंस इंटरवल अन्य सभी मॉडल्स, जिसमें सबसे कम लागत वाला GPT-OSS-120B (F1=0.649) शामिल है, के साथ ओवरलैप करता था।
2. डायरेक्शनल बायस स्केलर मेट्रिक्स को छिपा देता है: समान F1 स्कोर वाले मॉडल्स ने पर्याप्त अंतर प्रदर्शित किए।
   • अधिकांश जज सोर्स रेलेवेंस पर गोल्ड लेबल्स की तुलना में अधिक सख्त थे, जिससे उच्च प्रिसिजन लेकिन मध्यम रिकॉल (व्यवस्थित अंडर-रिवॉर्डिंग) हुआ।
   • फैक्टुअल सपोर्ट पर, फाल्स नेगेटिव रेट में व्यापक भिन्नता थी (0.183 से 0.470 तक), जिसका अर्थ है कि कुछ जज वास्तव में समर्थित दावों के एक बड़े हिस्से को खारिज कर देते थे।
   • लेखक नोट करते हैं कि स्केलर F1 इन विषमताओं को छिपा देता है, जो महत्वपूर्ण हैं क्योंकि उच्च FPR मॉडल्स को उदार जजों का फायदा उठाने के लिए प्रशिक्षित करता है, जबकि उच्च FNR मॉडल्स को अत्यधिक हेजिंग या कम साइटेशन करने के लिए प्रशिक्षित करता है।
3. असहमति और कठिन मामले: उन 378 "हार्ड" मामलों में जहाँ प्रारंभिक काउंसिल असहमत थी, रैंकिंग महत्वपूर्ण रूप से बदल गई। कोई भी एकल जज उन 'हार्ड' मामलों के सब्सेट पर मानव-मध्यस्थता वाले लेबल से विश्वसनीय रूप से मेल नहीं खा सका, जो सुझाव देता है कि पूर्ण-सेट F1 विश्वसनीयता के लिए एक अधूरा प्रॉक्सी है।

महत्व और दावे
यह पेपर तर्क देता है कि जज को कैलिब्रेट करना RLVR में साइटेशन रूब्रिक्स को रिवॉर्ड सिग्नल के रूप में उपयोग करने के लिए एक पूर्व शर्त है। लेखक दावा करते हैं कि:

• फ्रंटियर मॉडल्स अनिवार्य रूप से आवश्यक नहीं हैं: सबसे महंगा उपलब्ध मॉडल प्रदर्शन में हावी नहीं है, और सस्ते मॉडल विशिष्ट आयामों (जैसे, सोर्स रेलेवेंस) पर तुलनीय या बेहतर परिणाम प्राप्त कर सकते हैं।
• कच्ची सटीकता (Raw Accuracy) से अधिक बायस मायने रखता है: जज का चयन केवल स्केलर F1 को अधिकतम करने के बजाय विशिष्ट दिशात्मक पूर्वाग्रह (डायरेक्शनल बायस) द्वारा संचालित होना चाहिए (जैसे, फाल्स नेगेटिव बनाम फाल्स पॉजिटिव को कम करना)।
• मानव मध्यस्थता आवश्यक है: चूंकि अस्पष्ट मामलों पर जज की रैंकिंग बदल जाती है और कोई भी एकल मॉडल कठिन उदाहरणों पर पूरी तरह से विश्वसनीय नहीं है, इसलिए मजबूत गोल्ड लेबल्स स्थापित करने के लिए मानव समीक्षा आवश्यक है।

अध्ययन निष्कर्ष निकालता है कि हालांकि कम लागत वाले जज प्रभावी ढंग से लूप को बंद कर सकते हैं, लेकिन जज का चयन प्रति-आयाम रूब्रिक फिट और बायस विशेषताओं के आधार पर एक विचारशील डिजाइन विकल्प होना चाहिए, न कि इस डिफ़ॉल्ट धारणा के आधार पर कि बड़े मॉडल्स बेहतर होते हैं।