आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, लार्ज लैंग्वेज मॉडल्स साधारण टेक्स्ट जनरेटर से बदलकर परिष्कृत रीजनिंग इंजन बन गए हैं। ये सिस्टम अब जटिल समस्याओं को सुलझाने, बाहरी टूल्स से परामर्श करने और उन कार्यों को पूरा करने के लिए कई डिजिटल एजेंटों के बीच समन्वय स्थापित करने में सक्षम हैं, जिनके लिए कभी मानवीय विशेषज्ञता की आवश्यकता होती थी। इन सिस्टम्स को अधिक विश्वसनीय बनाने के लिए, शोधकर्ता अक्सर 'रेडंडेंसी' (redundancy) नामक एक रणनीति पर भरोसा करते हैं: जिसमें कई एजेंटों को एक ही समस्या को हल करने के लिए कहा जाता है और फिर उनके उत्तरों की तुलना की जाती है। यदि एजेंट सहमत होते हैं, तो सिस्टम यह मान लेता है कि उत्तर सही है। यह दृष्टिकोण अक्सर एक सत्यापन (verification) चरण के साथ जोड़ा जाता है, जहाँ एजेंटों या टूल्स का एक दूसरा सेट अंतिम निर्णय लेने से पहले तर्क के मध्यवर्ती चरणों की जाँच करता है ताकि गलतियों को पकड़ा जा सके। इसके पीछे की मूल आशा यह है कि यदि एक एजेंट गलती करता है, तो दूसरा उसे पकड़ लेगा, और यदि एक सत्यापनकर्ता गलती करता है, तो दूसरा सत्यापनकर्ता उसे सुधार देगा। हालाँकि, यह संपूर्ण सुरक्षा जाल एक नाजुक धारणा पर टिका है: कि ये विभिन्न एजेंट और सत्यापनकर्ता एक-दूसरे से स्वतंत्र रूप से त्रुटियाँ करते हैं।

यह धारणा वास्तविक दुनिया में रक्षा करना तेजी से कठिन होता जा रहा है। अधिकांश आधुनिक AI सिस्टम कुछ ही मॉडल परिवारों द्वारा निर्मित होते हैं, जो एक ही प्रशिक्षण डेटा (training data), एक ही अंतर्निहित आर्किटेक्चर और एक ही प्रशिक्षण रेसिपी साझा करते हैं। इस साझा विरासत के कारण, वे एक ही तरह की गलतियाँ एक ही तरीके से करते हैं। जब एक ही परिवार के एजेंटों का एक समूह किसी गलत तथ्य पर सहमत होता है, तो यह सहमति का संकेत नहीं है; बल्कि यह एक 'साझा मतिभ्रम' (shared hallucination) का संकेत है। यदि एक सत्यापन प्रणाली इन समान, सह-संबंधित त्रुटियों को स्वतंत्र साक्ष्य के रूपियों में मान लेती है, तो वह गलत उत्तर के प्रति खतरनाक रूप से आश्वस्त हो सकती है। सिस्टम प्रभावी रूप से एक ही गलती को कई बार गिनता है, जिससे उसकी निश्चितता इतनी बढ़ जाती है कि वह एक falsehood (असत्य) के प्रतिв convinced (आश्वस्त) हो जाता है। यह घटना एक ऐसा 'ब्लाइंड स्पॉट' पैदा करती है जहाँ सुरक्षा सुनिश्चित करने वाले उपकरण ही त्रुटियों को पुख्ता करने लगते हैं।

शोधकर्ताओं की एक टीम ने CAVEAT नामक एक नए फ्रेमवर्क के माध्यम से इस महत्वपूर्ण भेद्यता (vulnerability) को संबोधित किया है, जिसका अर्थ है 'कोरिलेशन-अवेयर वेरिफिकेशन एलोकेशन' (Correlation-Aware Verification Allocation)। यह मानते हुए कि प्रत्येक एजेंट और सत्यापनकर्ता एक स्वतंत्र पर्यवेक्षक है, इसके बजाय यह सिस्टम स्पष्ट रूप से इस तथ्य को मॉडल करता है कि वे अक्सर संबंधित होते हैं और समान विफलताओं के प्रति प्रवृत्त होते हैं। शोधकर्ताओं ने सत्यापन प्रक्रिया को एक संसाधन प्रबंधन समस्या के रूप में देखा। उन्होंने पहचाना कि एक ऐसी दुनिया में जहाँ तर्क की श्रृंखला के प्रत्येक चरण की जाँच करना बहुत महंगा है, आपको यह तय करना होगा कि किन विशिष्ट दावों की जाँच करनी है, प्रत्येक जाँच के लिए किस सत्यापनकर्ता का उपयोग करना है, और जाँच कब रोकनी है। लक्ष्य उपलब्ध कम्प्यूटेशनल संसाधनों के सीमित बजट का सबसे प्रभावी तरीके से उपयोग करना था, जिससे यह सुनिश्चित हो सके कि अंतिम उत्तर उतना ही विश्वसनीय हो जितना कि बजट अनुमति देता है।

CAVEAT सिस्टम का मूल एक तर्क प्रक्रिया का मानचित्र (map) है। जब कई एजेंट एक समस्या को हल करते हैं, तो सिस्टम उनके आउटपुट को व्यक्तिगत दावों में तोड़ देता है और उन्हें एक डिपेंडेंसी ग्राफ (dependency graph) में जोड़ देता है। यह मानचित्र दिखाता है कि कौन से तथ्य किन निष्कर्षों का समर्थन करते हैं। कुछ दावे एक पेड़ की जड़ों की तरह होते हैं; यदि वे गलत हैं, तो पूरा उत्तर ढह जाता है। अन्य पत्तियों की तरह होते हैं; यदि वे गलत हैं, तो प्रभाव न्यूनतम होता है। सिस्टम प्रत्येक दावे को एक भार (weight) देता है जो यह दर्शाता है कि अंतिम उत्तर उस पर कितना निर्भर है। फिर यह प्रत्येक उपलब्ध सत्यापनकर्ता की विश्वसनीयता का अनुमान लगाने के लिए एक सांख्यिकीय मॉडल का उपयोग करता है, यह ध्यान में रखते हुए कि एक ही परिवार के सत्यापनकर्ता एक ही प्रकार की "फिसलन" या त्रुटि करने की संभावना रखते हैं। इससे सिस्टम यह गणना कर पाता है कि किसी विशिष्ट दावे की जाँच के लिए किसी विशिष्ट सत्यापनकर्ता को पूछने का वास्तविक मूल्य क्या है। यदि एक सत्यापनकर्ता, जो पहले से ही बोले गए परिवार से है, से किसी दावे की जाँच करने के लिए कहा जाता है, तो सिस्टम जानता है कि नया उत्तर संभवतः पुराने वाले को ही दोहराएगा, जिससे कोई नई जानकारी नहीं मिलेगी। इसके बजाय, यह बजट को सत्यापनकर्ताओं के एक अलग परिवार या एक विशेष टूल की ओर निर्देशित करता है, जैसे कि एक प्रोग्राम जो कोड चला सकता है या एक सर्च इंजन जो तथ्यों को खोज सकता है।

तथ्य-जाँच (fact-checking) और बहु-चरणीय प्रश्नोत्तर से लेकर जटिल गणितीय तर्क तक, छह बेंचमार्क में परीक्षणों की एक श्रृंखला में, शोधकर्ताओं ने इस नए दृष्टिकोण की मौजूदा विधियों के साथ तुलना की। उन्होंने पाया कि एजेंटों और सत्यापनकर्ताओं के बीच सहसंबंध (correlation) को अनदेखा करने से आत्मविश्वास का अत्यधिक आकलन (overestimation) हुआ। वे सिस्टम जो स्वतंत्रता मानकर चलते थे, अक्सर आत्मविश्वास के साथ गलत थे, और गलत उत्तरों के लिए उच्च निश्चितता रिपोर्ट करते थे। इसके विपरीत, CAVEAT सिस्टम ने सफलतापूर्वक पहचान लिया कि कब एक सहमति वास्तव में केवल एक साझा त्रुटि थी। अपने सत्यापन बजट को सबसे सूचनात्मक जाँचों की ओर सावधानीपूर्वक निर्देशित करके, इसने उसी सटीकता स्तर को प्राप्त किया जो हर दावे को हर सत्यापनकर्ता के साथ जाँचने वाले सिस्टम द्वारा प्राप्त किया जाता है, लेकिन इसने इसे केवल एक-तिहाई के लगभग एक-पाँचवें कम्प्यूटेशनल लागत का उपयोग करके किया। औसतन, इसने सर्वश्रेष्ठ मौजूदा बजट-मैच वाली विधियों की तुलना में सटीकता में 3.1 प्रतिशत अंक का सुधार किया।

शायद इससे भी अधिक महत्वपूर्ण बात यह है कि इस सिस्टम ने 'झूठे आत्मविश्वास' (false confidence) की समस्या को ठीक कर दिया। परीक्षणों में, पारंपरिक विधियों ने लगभग 20% समय उच्च आत्मविश्वास के साथ गलत उत्तर दिए। CAVEAT सिस्टम ने इस दर को घटाकर केवल 7.2% कर दिया, जिसका अर्थ है कि यह आत्मविश्वास के साथ असत्य कहने की संभावना में बहुत कम था। इसने सिस्टम के आत्मविश्वास स्कोर को भी बहुत सटीक बना दिया, ताकि जब सिस्टम कहे कि वह 90% आश्वस्त है, तो वह वास्तव में 90% बार सही हो। शोधकर्ताओं ने प्रदर्शित किया कि यह दृष्टिकोण तब भी काम करता है जब सभी एजेंट एक ही परिवार के हों या जब अधिकांश एजेंट एक गलत उत्तर पर सहमत हों। साझा त्रुटियों की प्रकृति को पहचानकर, सिस्टम यह जानता है कि एक बाहरी दृष्टिकोण की तलाश करनी है, न कि उसी समूह को फिर से वोट देने के लिए कहना है।

अध्ययन ने यह भी खुलासा किया कि सत्यापन को कैसे आवंटित किया जाता है, यह इस बात जितना ही महत्वपूर्ण है कि उस पर कितना पैसा खर्च किया जाता है। केवल उन दावों की जाँच करना जिन पर एजेंट सबसे कम आश्वस्त दिखते हैं, या उन्हें यादृच्छिक (random) क्रम में जाँच करना, CAVEAT द्वारा उपयोग किए गए लक्षित दृष्टिकोण की तुलना में बहुत कम प्रभावी था। सिस्टम ने उन दावों को प्राथमिकता देना सीखा जो, यदि गलत होते, तो अंतिम उत्तर को सबसे अधिक नुकसान पहुँचाते, और उन दावों को जाँचने के लिए सबसे सस्ते, विविध टूल्स का उपयोग करना सीखा। उदाहरण के लिए, गणितीय समस्याओं में, यह अंकगणितीय चरणों की जाँच करने के लिए एक तेज़, सस्ते कोड निष्पादक (code executor) का उपयोग करेगा, जिससे तार्किक तर्क चरणों के लिए अधिक महंगे और धीमे भाषा मॉडलों को बचाया जा सके। इस रणनीतिक आवंटन ने सिस्टम को पर्याप्त रूप से आश्वस्त होने के बाद जल्दी से जाँच रोकने में सक्षम बनाया, जिससे सटीकता से समझौता किए बिना संसाधनों की बचत हुई।

शोधकर्ताओं ने निष्कर्ष निकाला कि विश्वसनीय AI तर्क का भविष्य इस बात को स्वीकार करने पर निर्भर है कि हमारे उपकरण स्वतंत्र नहीं हैं। जिस तरह एक ही शहर में पले-बढ़े लोगों का समूह एक ही तरह की गलत धारणाएं साझा कर सकता है, उसी तरह एक ही डेटा पर प्रशिक्षित AI मॉडलों का समूह भी एक ही तरह के ब्लाइंड स्पॉट्स साझा करेगा। इन संबंधों को समझते हुए और अपने संसाधनों को तदनुसार आवंटित करके, हम ऐसे AI बना सकते हैं जो न केवल स्मार्ट है, बल्कि इस बारे में भी अधिक ईमानदार है कि वह क्या जानता है और क्या नहीं। यह कार्य सुझाव देता है कि अधिक भरोसेमंद आर्टिफिशियल इंटेलिजेंस का मार्ग केवल मिश्रण में अधिक एजेंट जोड़ने में नहीं है, बल्कि उनके बीच के संबंधों को समझने और सत्य को अधिक कुशलता से सत्यापित करने के लिए उस समझ का उपयोग करने में निहित है।