Prior Audit-Repair Context Shifts LLM Verifier Thresholds Toward Leniency
यह शोध पत्र प्रदर्शित करता है कि जब एक लैंग्वेज मॉडल वेरीफायर (language model verifier) एक पूर्व ऑडिट-रिपेयर एपिसोड वाले संदर्भ के भीतर कार्य करता है, तो इसका निर्णय थ्रेशोल्ड (decision threshold) महत्वपूर्ण रूप से उदारता की ओर स्थानांतरित हो जाता है, जिससे सही और गलत आउटपुट के बीच अंतर करने की अपनी क्षमता से समझौता किए बिना फॉल्स अलार्म (false alarms) में 9-25% की कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, एक कंप्यूटर प्रोग्राम सही ढंग से काम कर रहा है या नहीं, यह सुनिश्चित करने का एक सामान्य तरीका यह है कि एक भाषा मॉडल को 'चेकर' (जांचकर्ता) के रूप में और दूसरे को 'फिक्सर' (सुधारने वाला) के रूप में कार्य करने दिया जाए। इस सेटअप को, जिसे अक्सर ऑडिट-एंड-रिपेयर पाइपलाइन कहा जाता है, इंजीनियरों द्वारा एक सरल वर्कफ़्लो के रूप में देखा जाता है: पहला मॉडल काम की समीक्षा करता है, गलतियों को चिह्नित करता है, और दूसरा मॉडल उन्हें ठीक करता है। प्रचलित धारणा यह रही है कि चेकर का काम केवल वर्तमान कार्य का मूल्यांकन करना है, जो कि उससे ठीक पहले क्या हुआ था, उससे अप्रभावित रहता है। हालांकि, मॉडल सूचनाओं को कैसे प्रोसेस करते हैं, इस पर हालिया शोध से पता चलता है कि जिस संदर्भ (context) में वे काम करते हैं—यानी बातचीत का इतिहास जिसे वे पढ़ रहे हैं—वह उनके निर्णय को सूक्ष्म लेकिन महत्वपूर्ण रूप से बदल सकता है, बिल्कुल वैसे ही जैसे एक मानव समीक्षक किसी काम के बारे में अलग महसूस कर सकता है यदि उसने अभी-अभी एक कठिन या एक आसान कार्य पूरा किया हो।
कैलिफोर्निया विश्वविद्यालय, सांता क्रूज़ और मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए हाथ बढ़ाया कि क्या यह वायरिंग वास्तव में चेकर की रिपोर्ट को बदल देती है। उन्होंने एक विशिष्ट परिदृश्य पर ध्यान केंद्रित किया जहाँ एक भाषा मॉडल को गणितीय समस्या के चरण-दर-चरण समाधान को सत्यापित करने के लिए कहा जाता है। इसकी सटीकता को मापने के लिए, उन्होंने समाधानों के एक ऐसे डेटासेट का उपयोग किया जिन्हें मानव विशेषज्ञों ने पहले ही पूरी तरह से सही घोषित कर दिया था। इस सेटअप में, मॉडल द्वारा दावा की गई कोई भी त्रुटि, परिभाषा के अनुसार, मॉडल की अपनी गलती है, जिसे 'फॉल्स अलार्म' (गलत चेतावनी) कहा जाता है। शोधकर्ता यह देखना चाहते थे कि क्या मॉडल की ये फॉल्स अलार्म देने की प्रवृत्ति तब बदल जाती है जब उसने इससे ठीक पहले एक अलग, असंबंधित समस्या की समीक्षा और मरम्मत (audit and repair) पूरी की हो।
परिणाम आश्चर्यजनक थे और कई विशेषज्ञों की अपेक्षाओं के विपरीत थे। जब मॉडल को ऐसे संदर्भ में रखा गया जहाँ उसने अभी-अभी एक ऑडिट और रिपेयर चक्र पूरा किया था, तो वह काफी उदार (lenient) हो गया। पंद्रह अलग-अलग मॉडलों और निर्देश शैलियों के संयोजन में, नियंत्रण समूह (control group) की तुलना में, जिसने पिछले रिपेयर कार्य को नहीं देखा था, फॉल्स अलार्म की दर में 2.8 से 11.5 प्रतिशत अंकों की गिरावट आई। इसका अर्थ यह है कि एक कार्य को गलत बताने के बाद, मॉडल दूसरे कार्य को गलत के रूप में चिह्नित करने में कम प्रवृत्त था। शोधकर्ताओं ने पाया कि यह प्रभाव केवल बातचीत के इतिहास में अधिक टेक्स्ट होने का सामान्य दुष्प्रभाव नहीं था; बल्कि यह विशेष रूप से ऑडिट और रिपेयर की क्रिया से जुड़ा था। यहाँ तक कि जब पिछला कार्य समान लंबाई की एक गैर-ऑडिट गतिविधि थी, तब भी फॉल्स अलार्म में ऐसी गिरावट नहीं देखी गई।
कोई यह मान सकता है कि यदि मॉडल ने अभी-अभी एक वास्तविक त्रुटि को खोजा और सुधारा है, तो वह अपने अगले कार्य में अधिक सतर्क और सख्त हो जाएगा, और गलतियों को अधिक बारीकी से देखेगा। यह वही है जो पिछले अध्ययनों में चर्चा के इतिहास (conversation history) के बारे में सुझाव दिया गया था: कि एक नकारात्मक अनुभव मॉडल को नकारात्मक परिणाम रिपोर्ट करने के लिए अधिक संभावित बना सकता है। हालांकि, इस अध्ययन ने इसके ठीक विपरीत पाया। जब शोधकर्ताओं ने एक परिदृश्य का परीक्षण किया जहाँ मॉडल ने पिछले प्रश्न में एक वास्तविक त्रुटि को खोजा और सुधारा था, तो मॉडल अपने अगले कार्य में और भी अधिक उदार हो गया, जिससे फॉल्स अलार्म की दर और कम हो गई। इस परिणाम ने इस विचार को खारिज कर दिया कि मॉडल पिछले संवाद के "मूड" या ध्रुवीयता (polarity) के प्रति प्रतिक्रिया कर रहा था। इसके बजाय, रिपेयर प्रक्रिया में शामिल होने की क्रिया ने ही मॉडल के आंतरिक थ्रेशोल्ड (सीमा) को बदल दिया, जिससे वह काम को सही मानने के लिए अधिक तैयार हो गया।
यह समझने के लिए कि वास्तव में क्या हो रहा था, शोधकर्ताओं ने इस प्रक्रिया को इसके घटकों में विभाजित किया। उन्होंने पाया कि यह प्रभाव दो चीजों का संयोजन था: रिपेयर की सामग्री और पिछले कार्य पर मॉडल का निर्णय। विभिन्न मॉडल इस अनुभव के अलग-अलग हिस्सों पर निर्भर थे; कुछ के लिए, कोड को ठीक करने की वास्तविक क्रिया मुख्य चालक थी, जबकि अन्य के लिए, केवल इस निष्कर्ष पर पहुँचना कि एक त्रुटि मौजूद थी, उनके व्यवहार को बदलने के लिए पर्याप्त था। महत्वपूर्ण रूप से, अध्ययन ने 'सिग्नल डिटेक्शन एनालिसिस' नामक पद्धति का उपयोग यह निर्धारित करने के लिए किया कि क्या मॉडल वास्तव में सही और गलत काम के बीच अंतर करने में बेहतर हो गया था, या वह केवल बोलने में अधिक अनिच्छुक हो गया था। विश्लेषण ने दिखाया कि मॉडल की सही और गलत के बीच अंतर करने की क्षमता में सुधार नहीं हुआ था। इसके बजाय, मॉडल ने केवल अपने निर्णय के थ्रेशोल्ड को बदल लिया था, जिससे वह चेतावनी जारी करने के प्रति अधिक सतर्क हो गया था।
यह बदलाव इस विशिष्ट संदर्भ में फायदेमंद साबित हुआ। शोधकर्ताओं ने उन फॉल्स अलार्म के एक नमूने की मैन्युअल समीक्षा की जो रिपेयर संदर्भ पेश करने से पहले मॉडलों द्वारा किए गए थे। उन्होंने पाया कि इन अलार्मों में से 82 प्रतिशत केवल गलत थे; मॉडलों ने उन चरणों को गलत बताया था जो वास्तव में सही थे। चूंकि मॉडल इन अनावश्यक गलतियों के प्रति इतने प्रवृत्त थे, इसलिए रिपेयर संदर्भ द्वारा उन्हें अधिक उदार बनाने से उन त्रुटियों की एक बड़ी संख्या को रोकने में मदद मिली जो अस्तित्व में ही नहीं थीं। हालांकि मॉडलों ने कुछ वास्तविक त्रुटियों को मिस किया, लेकिन फॉल्स अलार्म में कमी इतनी बड़ी थी कि समग्र गुणवत्ता में सुधार हुआ।
अध्ययन ने यह भी पता लगाया कि क्या यह प्रभाव तब भी बना रहता है जब मॉडलों को बोलने से पहले अपने उत्तरों पर "सोचने" (reasoning traces) की अनुमति दी जाती है। इस अतिरिक्त चरण के साथ भी, मॉडलों ने समान पैटर्न दिखाया: पिछले रिपेयर कार्य ने उन्हें अधिक उदार बना दिया, और उनकी त्रुटियों को पहचानने की क्षमता में सुधार नहीं हुआ। शोधकर्ताओं ने निष्कर्ष निकाला कि एक चेकिंग पाइपलाइन को कैसे वायर किया गया है, यह बहुत मायने रखता है। एक सत्यापनकर्ता (verifier) को ऐसे संदर्भ में रखना जहाँ उसने अभी-अभी एक रिपेयर किया है, उसके व्यवहार को उस तरह से बदल देता है जिसकी पिछली थ्योरीज़ में भविष्यवाणी नहीं की गई थी। हालांकि यह विशिष्ट बदलाव उनके परीक्षणों में सहायक रहा, शोधकर्ता चेतावनी देते हैं कि ऐसे परिवर्तन हमेशा फायदेमंद नहीं होते हैं। यदि कोई पाइपलाइन परिवर्तन चुपचाप मॉडल के थ्रेशोल्ड को बदल देता है, तो यह अन्य स्थितियों में त्रुटियों को अनदेखा करने का कारण बन सकता है। यह अध्ययन एक अनुस्मारक के रूप में कार्य करता है कि स्वचालित प्रणालियों में, मॉडल ने जो किया है उसका इतिहास उतना ही महत्वपूर्ण है जितना कि वह कार्य जो वह वर्तमान में कर रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।