Does a Tool Result Carry More Authority Than Plain Text? Three Prospective Studies of False-Claim Adoption in a Synthetic Assignment Task with Claude Opus 5
क्लोड ओपस 5 पर तीन संभावित अध्ययन प्रकट करते हैं कि जबकि टूल-रिजल्ट मेटाडेटा ने प्लेन एसर्शन की तुलना में शुरू में गलत-दावे अपनाने को बढ़ाया हुआ प्रतीत किया, बाद के प्री-रजिस्टर्ड प्रतिकृति अध्ययनों ने प्रदर्शित किया कि यह प्रभाव न तो सुसंगत था और न ही स्पष्ट रूप से घोषित इनलाइन टेक्स्ट के प्रभाव से श्रेष्ठ था।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, भाषा मॉडल (language models) के रूप में जाने जाने वाले कंप्यूटर प्रोग्राम तेजी से ऐसे एजेंट के रूप में कार्य कर रहे हैं जो चीजें याद रख सकते हैं, जानकारी खोज सकते हैं और अपने लिए नोट्स लिख सकते हैं। एक डिजिटल सहायक की कल्पना करें जो अपने काम का डायरी रखता है। वह पहले से लिखे गए किसी नोट को पढ़ सकता है, उस नोट को एक तथ्य मान सकता है, और बाद में निर्णय लेने के लिए उसका उपयोग कर सकता है। उस स्टोर (store) से पढ़ने की क्षमता, जिसमें वह स्वयं भी लिखता है, एक अनूठा लूप बनाती है: एक दावा जो बिना किसी प्रमाण के केवल लिखा गया था, वह बाद में एक सत्यापित रिकॉर्ड की तरह वापस आ सकता है। शोधकर्ता अब यह सवाल पूछ रहे हैं कि क्या इस जानकारी को जिस तरह से पैक किया जाता है, उससे इस बात पर फर्क पड़ता है कि कंप्यूटर उसके साथ कैसा व्यवहार करता है। क्या एक नोट जो एक औपचारिक, संरचित "टूल रिजल्ट" (tool result)—जो डेटा पुनर्प्राप्ति के लिए उपयोग किया जाने वाला एक विशिष्ट डिजिटल प्रारूप है—के भीतर आता है, उसी नोट की तुलना में अधिक वजन रखता है जो सादे टेक्स्ट के रूप में आता है? यदि केवल प्रारूप ही कंप्यूटर को गलत दावे पर विश्वास करने के लिए अधिक संभावित बनाता है, तो यह सुझाव देता है कि सिस्टम वास्तविक साक्ष्य के बजाय अधिकार के दिखावे से मूर्ख बन सकता है।
इसकी जांच करने के लिए, जस्टिन ब्रोंडर नामक एक शोधकर्ता ने 'क्लोड ओपस 5' (Claude Opus 5) नामक एआई मॉडल के एक विशिष्ट संस्करण का उपयोग करके नियंत्रित प्रयोगों की एक श्रृंखला आयोजित की। लक्ष्य यह देखना था कि क्या मॉडल केवल इसलिए एक गलत जानकारी को अपना लेगा क्योंकि वह एक निश्चित प्रारूप में आई है। सेटअप एक कृत्रिम कार्य (synthetic task) था जिसमें मॉडल को एक नामित वस्तु के लिए एक विशिष्ट कोड की पहचान करने के लिए कहा गया था। सही कोड मॉडल से छिपाया गया था, लेकिन एक गलत कोड को गुप्त रूप से बातचीत के इतिहास में डाल दिया गया था। मॉडल को गलत कोड, एक अन्य सही कोड, या यह स्वीकार करने के बीच चुनना था कि वह नहीं जानता। शोधकर्ता ने यह परीक्षण किया कि क्या मॉडल उस प्लांट किए गए गलत कोड को तब स्वीकार करेगा जब वह "टूल रिजल्ट" प्रारूप में दिखाई देता है, बनाम तब जब वह सहायक के एक साधारण कथन के रूप में दिखाई देता है।
अध्ययन के पहले चरण में, मॉडल को एक ऐसा इतिहास दिखाया गया जहाँ एक पिछले सहायक ने एक दावा किया था, और एक अलग "टूल रिजल्ट" में एक रिकॉर्ड शामिल था। जब गलत कोड सहायक द्वारा किए गए सादे टेक्स्ट कथन में दिखाई दिया, तो मॉडल ने उसे लगभग कभी स्वीकार नहीं किया; उसने सही ढंग से गलत जानकारी को अनदेखा किया या यह स्वीकार किया कि वह नहीं जानता। हालांकि, जब वही गलत कोड संरचित टूल रिजल्ट के अंदर आया, तो मॉडल ने चौबीस में से चौदह प्रयासों में इसे सत्य के रूप में स्वीकार कर लिया। इस प्रारंभिक निष्कर्ष ने सुझाव दिया कि टूल रिजल्ट प्रारूप वास्तव में एक विशेष प्रकार का अधिकार रखता है जो सादे टेक्स्ट में नहीं होता। मॉडल ऐसा प्रतीत हुआ जैसे वह संरचित रिकॉर्ड को एक सत्यापित लुकअप (lookup) के रूप में मान रहा हो, भले ही वह केवल एक प्लांट की गई त्रुटि थी।
यह सुनिश्चित करने के लिए कि यह कोई इत्तेफाक नहीं है, शोधकर्ता ने दूसरे, कड़ाई से नियोजित प्रयोग में तुलना को दोहराया। इस बार, मॉडल ने फिर से गलत दावे को तब अनदेखा कर दिया जब वह सहायक के टेक्स्ट से आया, लेकिन उसने टूल रिजल्ट प्रारूप में गलत दावे को चौबीस में से सात बार स्वीकार कर लिया। इसने पुष्टि की कि अंतर वास्तविक और विशिष्ट परिस्थितियों में पुनरुत्पादित योग्य था। टूल रिजल्ट पैकेज का प्रभाव मॉडल के निर्णय लेने की प्रक्रिया पर सादे टेक्स्ट के दावे की तुलना में अधिक मजबूत था।
हालांकि, कहानी तीसरे और अंतिम अध्ययन में एक महत्वपूर्ण मोड़ लेती है। शोधकर्ता को एहसास हुआ कि पिछले परीक्षण अनुचित हो सकते थे क्योंकि सादा टेक्स्ट और टूल रिजल्ट को अलग-अलग तरीकों और अलग-अलग समय पर प्रस्तुत किया गया था। इस नए सेटअप में, मॉडल को पहले ही बताया गया था कि वह दो रिकॉर्ड देखेगा: एक टूल रिजल्ट प्रारूप में और एक सादे टेक्स्ट के रूप में। दोनों को अंतिम प्रश्न में एक साथ प्रस्तुत किया गया था। शोधकर्ता ने फिर उस रिकॉर्ड को बदल दिया जिसमें गलत कोड था। जब गलत कोड सादे टेक्स्ट में था, तो मॉडल ने हर एक ट्रायल में, साठ में से साठ बार, इसे स्वीकार किया। जब गलत कोड टूल रिजल्ट में था, तो मॉडल ने साठ में से सत्तावन ट्रायल में इसे स्वीकार किया।
इस अंतिम परिणाम ने शुरुआती विचार को उलट दिया कि टूल रिजल्ट प्रारूप स्वाभाविक रूप से अधिक शक्तिशाली है। इसने दिखाया कि जब मॉडल को स्पष्ट रूप से दोनों रिकॉर्ड देखने के लिए कहा जाता है, तो सादा टेक्स्ट भी टूल रिजल्ट जितना ही विश्वसनीय होता है। पिछला अंतर इसलिए नहीं था कि टूल रिजल्ट प्रारूप में कोई जादुई अधिकार था, बल्कि इसलिए था क्योंकि पहले दो अध्ययनों में जानकारी को जिस तरह से प्रस्तुत किया गया था, उससे टूल रिजल्ट एकमात्र वैध उत्तर के रूप में दिखाई दे रहा था। मॉडल कार्य की संरचना के निर्देशों का पालन कर रहा था, न कि सूचना के स्रोत का निर्णय ले रहा था।
अध्ययन निष्कर्ष निकालता है कि मॉडल में यह अंतर्निहित नियम नहीं है कि "टूल रिजल्ट हमेशा सत्य होते हैं।" इसके बजाय, मॉडल इस बात के प्रति संवेदनशील है कि कार्य को कैसे फ्रेम किया गया है। यदि कार्य एक लुकअप जैसा दिखता है जहाँ टूल रिजल्ट एक अपेक्षित उत्तर है, तो मॉडल उस प्रारूप पर भरोसा करेगा। यदि कार्य दो विकल्पों को अगल-बगल प्रस्तुत करता है, तो मॉडल उन्हें समान मानता है और गलत जानकारी पर विश्वास करेगा चाहे वह टूल रिजल्ट में हो या सादे टेक्स्ट में। निष्कर्ष बताते हैं कि गलत जानकारी का खतरा केवल इस बात में नहीं है कि वह किस प्रारूप में आती है, बल्कि इस बात में है कि पूरी बातचीत को कैसे संरचित किया गया है ताकि मॉडल को यह महसूस कराया जा सके कि उसके पास उस जानकारी पर विश्वास करने का एक कारण है। शोध इस बात पर प्रकाश डालता है कि इन प्रणालियों में, एक सत्यापित रिकॉर्ड का दिखावा केवल पैकेजिंग बदलकर बनाया जा सकता है, लेकिन यह प्रभाव तब समाप्त हो जाता है जब मॉडल से सीधे स्रोतों की तुलना करने के लिए कहा जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।