Balanced Excerpt Regrouping in a Frozen Grounding Verifier

आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, मशीनों को स्मार्ट बनाने का एक सामान्य तरीका यह है कि उन्हें किसी प्रश्न का उत्तर देने से पहले दस्तावेजों के एक पुस्तकालय को पढ़ने दिया जाए। यह दृष्टिकोण, जिसे रिट्रीवल-ऑगमेंटेड जनरेशन (retrieval-augmented generation) कहा जाता है, कंप्यूटर को अपने उत्तर का समर्थन करने के लिए पाठ से विशिष्ट तथ्यों को निकालने की अनुमति देता है। हालांकि, यह सुनिश्चित करने के लिए कि मशीन वास्तव में उस पाठ का उपयोग कर रही है जो उसे मिला है और न कि केवल मनगढ़ंत बातें बना रही है, एक महत्वपूर्ण सुरक्षा जांच की आवश्यकता होती है। यहीं पर एक "ग्राउंडिंग वेरीफायर" (grounding verifier) काम आता है। इसे एक सख्त संपादक के रूप में समझें जो प्रश्न, उत्तर और स्रोत पाठ को पढ़ता है, और फिर साक्ष्य द्वारा उत्तर कितनी अच्छी तरह समर्थित है, यह दर्शाने के लिए एक स्कोर प्रदान करता है। शोधकर्ताओं के लिए बड़ा सवाल यह है कि क्या यह स्कोर वास्तव में तथ्यों पर आधारित है, या क्या इसे इस बात से छला जा सकता है कि पृष्ठ पर तथ्यों को कैसे व्यवस्थित किया गया है।

अब्देलमालेक एसादी विश्वविद्यालय के शोधकर्ताओं की एक टीम ने 'मिनीचेक' (MiniCheck) नामक एक विशिष्ट, फ्रोजन (frozen) वर्ज़न वाले वेरीफायर का उपयोग करके इस संवेदनशीलता का परीक्षण करने का निर्णय लिया। वे जानना चाहते थे कि क्या मशीन का स्कोर केवल इसलिए बदल जाएगा क्योंकि उन्होंने बिना कोई नई जानकारी जोड़े, स्रोत पाठ के टुकड़ों को नए स्थानों पर कॉपी और पेस्ट किया था। कल्पना कीजिए कि आपके पास तीन अलग-अलग समाचार लेख हैं। आप पहले लेख से एक वाक्य, दूसरे से एक वाक्य और तीसरे से एक वाक्य लेते हैं, और उन्हें दस्तावेज़ के अंत में पेस्ट करते हैं। फिर, आप इसे फिर से करते हैं, लेकिन इस बार आप पहले लेख से ही तीन वाक्य पेस्ट करते हैं। दोनों परिदृश्यों में, प्रत्येक लेख की कुल मात्रा बिल्कुल समान रहती है; केवल उनका समूह और क्रम बदला हुआ है। यदि वेरीफायर पूरी तरह से तार्किक है, तो स्कोर समान रहना चाहिए क्योंकि सूचना की सामग्री नहीं बदली है।

शोधकर्ताओं ने यह देखने के लिए एक सटीक प्रयोग तैयार किया कि क्या मशीन इस अंतर को नोटिस करेगी। उन्होंने प्रश्नों और उत्तरों का एक सेट लिया और पाठ को व्यवस्थित करने के दो अलग-अलग तरीके बनाए। एक व्यवस्था में, जिसे "कन्सेंट्रेटेड" (concentrated - केंद्रित) समूह कहा गया, उन्होंने एक ही स्रोत गद्यांश से तीन छोटे अंश लिए और उन्हें एक साथ पेस्ट किया। दूसरे अरेंजमेंट में, जिसे "डिस्ट्रीब्यूटेड" (distributed - वितरित) समूह कहा गया, उन्होंने तीन अलग-अलग स्रोत अनुच्छेदों में से प्रत्येक से एक-एक अंश लिया और उन्हें एक साथ जोड़ा। महत्वपूर्ण रूप से, उन्होंने यह सुनिश्चित किया कि प्रत्येक अंश परीक्षण के विविध रूपों के भीतर प्रत्येक संभावित स्थान पर दिखाई दे, ताकि किसी भी हिस्से को विशेष महत्व न मिले या अनदेखा न किया जाए। इसके बाद उन्होंने इन विविधताओं को वेरीफायर के माध्यम से चलाया ताकि यह देखा जा सके कि क्या स्कोर बदलता है।

परिणामों ने एक स्पष्ट और मापने योग्य अंतर दिखाया। जब अंशों को एक ही स्रोत से एक साथ समूहबद्ध किया गया था, तो वेरीफायर ने एक अलग स्कोर दिया, जबकि जब अंशों को विभिन्न स्रोतों में फैलाया गया था, तब भी स्कोर अलग था, भले ही प्रत्येक स्रोत से पाठ की कुल मात्रा पूरी तरह से संतुलित थी। अठारह विशिष्ट मामलों से जुड़े एक परीक्षण में, स्कोर में अंतर महत्वपूर्ण था, जिसमें केंद्रित समूह ने लगातार वितरित समूहों की तुलना में एक विशिष्ट परिणाम दिया। शोधकर्ताओं ने पाया कि यह लगभग हर मामले में हुआ जिसे उन्होंने टेस्ट किया था, जिससे पता चलता है कि मशीन केवल प्रत्येक वाक्य के मूल्य को स्वतंत्र रूप से नहीं जोड़ रही है। इसके बजाय, वाक्यों को जिस तरह से समूहबद्ध और दोहराया जाता है, वह इस तरह से उत्तर के समर्थन को देखने के तरीके को बदल देता है।

हालांकि, अध्ययन ने यह भी खुलासा किया कि यह प्रभाव केवल मशीन के अधिक आश्वस्त या अधिक विश्वास करने का मामला नहीं है। कुछ उदाहरणों में, वितरित वाले की तुलना में केंद्रित समूह ने वास्तव में स्कोर को कम कर दिया, जबकि अन्य में इसे बढ़ा दिया। इसका अर्थ यह है कि यह केवल आत्मविश्वास का एक समान उछाल नहीं है, बल्कि यह इस बात में एक जटिल बदलाव है कि मशीन पाठ की संरचना के आधार पर अपने निर्णय की गणना कैसे करती है। शोधकर्ताओं ने इसे दो अलग-अलग डेटा सेटों पर परखा: एक जो वास्तविक दुनिया के एआई प्रशिक्षण उदाहरणों से प्राप्त था और दूसरा जो एक विशिष्ट प्रश्न-उत्तर डेटासेट से था। दोनों सेटों ने एक ही पैटर्न की संवेदनशीलता दिखाई, जिससे पुष्टि हुई कि यह घटना विभिन्न प्रकार के प्रश्नों में भी मौजूद है।

इस स्पष्ट पैटर्न को खोजने के बावजूद, शोधकर्ता इस बात को नोट करने में सावधान रहे कि उन्होंने क्या सिद्ध नहीं किया। उन्होंने यह निर्धारित नहीं किया कि मशीन ऐसा क्यों करती है, और न ही उन्होंने यह दिखाया कि यह संवेदनशीलता वास्तविक दुनिया के उपयोग में बेहतर या बदतर उत्तरों की ओर ले जाती है। अध्ययन इस बात के परीक्षण तक नहीं पहुँचा कि क्या इस स्कोर परिवर्तन का उपयोग त्रुटियों को ठीक करने या सिस्टम को बेहतर बनाने के लिए किया जा सकता है। वास्तव में, यह देखने के लिए एक नियोजित फॉलो-अप टेस्ट कि क्या यह विधि उत्तरों की सटीकता में सुधार कर सकती है, संसाधन संबंधी बाधाओं के कारण शुरू होने से पहले ही रोक दिया गया था। निष्कर्ष केवल मशीन की स्कोरिंग ज्यामिति (scoring geometry) के एक विचित्र व्यवहार का वर्णन करते हैं: दोहराए गए पाठ की व्यवस्था मायने रखती है, भले ही पाठ की कुल मात्रा स्थिर रहे।

अध्ययन निष्कर्ष निकालता है कि हालांकि वेरीफायर इस बात के प्रति संवेदनशील है कि साक्ष्यों को कैसे पुनर्गठित किया जाता है, फिर भी यह संवेदनशीलता अभी तक तथ्य-जांच (fact-checking) में सुधार के लिए एक व्यावहारिक उपकरण में परिवर्तित नहीं हुई है। शोधकर्ताओं ने पहचान की है कि मशीन के सूचना प्रसंस्करण में एक विशिष्ट, मापने योग्य अंतर है, लेकिन इस अंतर का कारण और अधिक विश्वसनीय एआई बनाने के लिए इसकी उपयोगिता अभी भी अज्ञात है। यह कार्य एक एकल प्रणाली के व्यवहार के सटीक माप के रूप में कार्य करता है, जो यह रेखांकित करता है कि भले ही हम इनपुट को पूरी तरह से संतुलित कर दें, फिर भी इन मशीनों का आंतरिक तर्क उनके द्वारा पढ़े गए शब्दों के क्रम और समूह से प्रभावित हो सकता है।