Deployment-Relevant Alignment Cannot Be Inferred from Model-Level Evaluation Alone
यह शोध पत्र तर्क देता है कि परिनियोजन-प्रासंगिक संरेखण (deployment-relevant alignment) को केवल मॉडल-स्तरीय मूल्यांकनों से निष्कर्षित नहीं किया जा सकता है, जो ऑडिट और स्ट्रेस टेस्ट के माध्यम से यह प्रदर्शित करता है कि वर्तमान बेंचमार्क में उपयोगकर्ता-केंद्रित सत्यापन और प्रक्रियात्मक नियंत्रण (process steerability) का अभाव है, जिससे अंततः उन सिस्टम-स्तरीय मूल्यांकन ढांचों की ओर बढ़ने की आवश्यकता उत्पन्न होती है जो स्पष्ट रूप से संवादात्मक संदर्भों और स्कैफोल्ड निर्भरताओं (scaffold dependencies) को ध्यान में रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करते हुए पेपर की व्याख्या दी गई है।
मूल विचार: "कार टेस्ट" बनाम "रोड ट्रिप"
कल्पना कीजिए कि आप जानना चाहते हैं कि क्या एक नई सेल्फ-ड्राइविंग कार असली हाईवे पर चलाने के लिए सुरक्षित है।
वर्तमान अभ्यास (मॉडल-स्तरीय मूल्यांकन):
अभी, शोधकर्ता कार के "दिमाग" (AI मॉडल) को एक शांत, खाली गैरेज में टेस्ट करते हैं। वे उससे पूछते हैं: "अगर मैं ब्रेक दबाऊं, तो क्या यह रुकती है?" या "अगर मैं समय पूछूं, तो क्या तुम सही समय बताते हो?"
यदि कार गैरेज में सही उत्तर देती है, तो हम मान लेते हैं कि यह कहीं भी जाने के लिए सुरक्षित है। हम इसे एक उच्च स्कोर देते हैं और कहते हैं, "यह कार सुरक्षा नियमों के अनुरूप (aligned) है।"
पेपर का तर्क:
लेखकों का कहना है कि यह एक खतरनाक गलती है। सिर्फ इसलिए कि कार का दिमाग गैरेज में पूरी तरह से काम करता है, इसका मतलब यह नहीं है कि वह बारिश वाले हाईवे, एक भ्रमित यात्री, या अचानक आए मोड़ को संभाल लेगा।
- गैरेज = वर्तमान बेंचमार्क (मॉडल को अकेले टेस्ट करना)।
- हाईवे = वास्तविक दुनिया (जहाँ AI का वास्तव में उपयोग किया जाता है)।
पेपर का तर्क है कि आप केवल गैरेज में टेस्ट करके यह अनुमान नहीं लगा सकते कि कार हाईवे पर कैसा व्यवहार करेगी। यह जानने के लिए कि क्या AI वास्तव में "एलाइनड" (सुरक्षित और सहायक) है, आपको इसे दौराते समय टेस्ट करना होगा, यात्रियों और ट्रैफिक के साथ।
परीक्षण के चार स्तर
लेखक AI परीक्षण को एक इमारत की चार अलग-अलग "मंजिलों" में विभाजित करते हैं। वर्तमान परीक्षण ज्यादातर दूसरी मंजिल पर होता है, लेकिन हम चौथी मंजिल के बारे में दावे कर रहे हैं।
- मंजिल 1: मॉडल (दिमाग): कच्चे कोड और वेट्स (weights) का परीक्षण। ("क्या गणित काम कर रहा है?")
- मंजिल 2: रिस्पॉन्स (उत्तर): मॉडल को एक निश्चित प्रश्न देना और उसके एकल उत्तर को ग्रेड करना। ("क्या 6x9 पूछे जाने पर इसने '42' उत्तर दिया?") वर्तमान में लगभग सारा परीक्षण यहीं होता है।
- मंजिल 3: इंटरैक्शन (बातचीत): यह देखना कि AI कई चरणों में कैसे बात करता है। क्या वह स्पष्टीकरण मांगता है? क्या वह उपयोगकर्ता को योजना बदलने देता है? क्या वह यह स्वीकार करता है कि वह अनिश्चित है?
- मंजिल 4: डिप्लॉयमेंट (वास्तविक कार्य): AI एक विशिष्ट कंपनी के भीतर, वास्तविक नियमों, वास्तविक बॉस और वास्तविक उपयोगकर्ताओं के साथ काम कर रहा है।
समस्या: हम मंजिल 2 पर टेस्ट कर रहे हैं, लेकिन हम मंजिल 4 के बारे में वादे कर रहे हैं। इन मंजिलों के बीच का अंतर बहुत बड़ा है।
दो बड़े अध्ययन (प्रमाण)
लेखकों ने केवल यह कहा नहीं; उन्होंने इसे साबित करने के लिए दो अध्ययन किए।
अध्ययन 1: "टूलबॉक्स" ऑडिट
उन्होंने 11 सबसे प्रसिद्ध AI परीक्षण उपकरणों (बेंचमार्क) को देखा कि वे वास्तव में क्या मापते हैं। उन्होंने 8 महत्वपूर्ण "इंटरैक्शन स्किल्स" की एक चेकलिस्ट का उपयोग किया, जैसे:
- वेरिफिकेशन सपोर्ट (सत्यापन सहायता): क्या AI अपना काम दिखाता है ताकि उपयोगकर्ता जांच सके कि वह सही है या नहीं? (जैसे अपना गणित का होमवर्क दिखाना)।
- प्रोसेस स्टीयरेबिलिटी (प्रक्रिया नियंत्रण): क्या उपयोगकर्ता AI को समस्या को हल करने के तरीके को बदलने के लिए कह सकता है? (जैसे कहना, "नहीं, दूसरा रास्ता आजमाओ।")
निष्कर्ष:
- "वेरिफिकेशन" का अभाव: 11 में से शून्य बेंचमार्क ने यह जांचा कि क्या AI उपयोगकर्ता को उत्तर सत्यापित करने में मदद करता है। उन्होंने केवल यह जांचा कि उत्तर "सही" था या नहीं, यह नहीं कि उपयोगकर्ता उस पर भरोसा कर सकता है या नहीं।
- "स्टीयरेबिलिटी" की कमी: लगभग किसी भी बेंचमार्क ने यह नहीं जांचा कि क्या उपयोगकर्ता प्रक्रिया को नियंत्रित कर सकता है।
- विखंडन (Fragmentation): जो कुछ टेस्ट्स ने इंटरैक्शन स्किल्स को जांचा, वे बिखरे हुए थे। एक ने मेमोरी को टेस्ट किया, दूसरे ने टूल का उपयोग किया, लेकिन किसी ने भी पूरी तस्वीर को टेस्ट नहीं किया। यह एक ऐसे टूलबॉक्स की तरह है जहाँ एक टूल हथौड़ा है, दूसरा पेचकस है, लेकिन आपके पास कोई रिंच (wrench) नहीं है।
उपमा: कल्पना कीजिए कि आप एक शेफ को केवल इस आधार पर आंक रहे हैं कि वह एक शांत रसोई में प्याज कितनी अच्छी तरह काटता है। आप कभी नहीं देखते कि वह सूप को चखता है, ग्राहक से पूछता है कि क्या उन्हें नट्स से एलर्जी है, या ग्राहक के मूड के आधार पर रेसिपी को एडजस्ट करता है। आप यह नहीं जानते कि वह एक अच्छा शेफ है, बल्कि केवल एक अच्छा प्याज काटने वाला है।
अध्ययन 2: "वही कार, अलग सड़कें" स्ट्रेस टेस्ट
लेखकों ने तीन अलग-अलग AI मॉडल (Claude, GPT-4o, और Llama) लिए और उनके "दिमाग" को बिल्कुल एक जैसा रखा। फिर, उन्होंने स्कैफोल्डिंग (मॉडल के चारों ओर के निर्देश और इंटरफेस) को बदल दिया।
उन्होंने मॉडल्स को चार अलग-अलग "पोशाकें" दीं:
- प्लेन चैट: बस बात करें।
- क्लैरिफिकेशन मोड: AI को जवाब देने से पहले सवाल पूछने के लिए मजबूर करें।
- प्लान मोड: AI को कार्य करने से पहले योजना दिखाने के लिए मजबूर करें।
- वेरिफिकेशन मोड: AI को अपने अनुमान और उत्तर की जांच कैसे की जाए, यह दिखाने के लिए मजबूर करें।
चौंकाने वाला परिणाम:
- मॉडल A (Claude): जब इसे "वेरिफिकेशन मोड" में डाला गया, तो यह उत्तरों को जांचने में मदद करने में अद्भुत हो गया।
- मॉडल B (GPT-4o): जब इसे ठीक उसी "वेरिफिकेशन मोड" में डाला गया, तो इसमें कोई बदलाव नहीं आया। यह वैसा ही रहा।
- मॉडल C (Llama): इसमें बहुत कम बदलाव आया, और कुछ मामलों में, यह निर्देशों का पालन करने में और भी खराब हो गया।
सबक: "पोशाक" (सिस्टम डिजाइन) उतना ही मायने रखती है जितना कि "दिमाग" (मॉडल)। आप केवल मॉडल को देखकर यह अनुमान नहीं लगा सकते कि वह एक वास्तविक सिस्टम में कैसा व्यवहार करेगा। एक ही निर्देश एक AI के लिए चमत्कार कर सकते हैं और दूसरे के लिए कुछ भी नहीं।
हमें इसके बजाय क्या करना चाहिए?
लेखक AI परिणामों को रिपोर्ट करने का एक नया तरीका प्रस्तावित करते हैं, जिसे "एलाइनमेंट प्रोफाइल" कहा जाता है।
यह कहने के बजाय कि: "इस AI का स्कोर 95/100 है और यह अस्पतालों के लिए सुरक्षित है।" (यह गैरेज टेस्टिंग के आधार पर एक झूठ है)।
हमें कहना चाहिए: "यह AI, जब [विशिष्ट निर्देशों] और [विशिष्ट यूजर इंटरफेस] के साथ उपयोग किया जाता है, तो इन विशिष्ट व्यवहारों को प्रदर्शित करता है। हमने इसे वास्तविक अस्पताल में टेस्ट नहीं किया है, इसलिए हम उस विशिष्ट कार्य के लिए इसके सुरक्षित होने का दावा नहीं कर सकते।"
प्रस्ताव:
- एक स्कोर सब कुछ कवर करता है, यह दावा करना बंद करें।
- पूरे सिस्टम का परीक्षण करें: मॉडल साथ ही निर्देशों और यूजर इंटरफेस को एक साथ टेस्ट करें।
- गैप के बारे में ईमानदार रहें: स्पष्ट रूप से कहें, "हमने इसे एक गैरेज में टेस्ट किया है। हमने अभी तक इसे हाईवे पर टेस्ट नहीं किया है।"
सारांश
पेपर का तर्क है कि AI एलाइनमेंट केवल दिमाग का गुण नहीं है; यह पूरे सिस्टम का गुण है। आप केवल लैब में इंजन टेस्ट करके एक सेल्फ-ड्राइविंग कार का न्याय नहीं कर सकते। आपको इसे सड़क पर, एक यात्री के साथ, बारिश में चलाना होगा। जब तक हम AI को इस संदर्भ में टेस्ट करना शुरू नहीं करते, तब तक इसकी सुरक्षा और उपयोगिता के बारे में हमारे दावे केवल अनुमान हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।