Trajectories That Segment Themselves: Agent-Declared Boundaries as a Training Unit
यह शोध पत्र एक ऐसे प्रशिक्षण प्रतिमान (training paradigm) को प्रस्तुत करता है जहाँ कोडिंग एजेंट अपने प्रक्षेप पथों (trajectories) को मिथ्याकरणीय कारण संबंधी परिकल्पनाओं (falsifiable causal hypotheses) की घोषणा करके स्वयं खंडित करते हैं, जिससे उच्च-गुणवत्ता वाले, परिवर्तनशील-लंबाई के अर्थपूर्ण चरण उत्पन्न होते हैं जो पारंपरिक निश्चित-विंडो या एपिसोड-आधारित लेबलिंग की तुलना में अधिक प्रभावी सुपरवाइज्ड फाइन-ट्यूनिंग और डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन को सक्षम बनाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जासूसी नोटबुक: AI को कब अनुमान लगाना बंद कर देना चाहिए, यह जानना क्यों ज़रूरी है
कल्पना कीजिए कि आप एक रोबोट को एक विशाल, उलझे हुए पहेली को सुलझाना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस रोबोट को "एजेंट" कहा जाता है, और वह पहेली अक्सर कंप्यूटर कोड का एक जटिल हिस्सा होती है। सीखने के लिए, रोबोट चीज़ें आज़माता है, गलतियाँ करता है, और फीडबैक प्राप्त करता है। लेकिन पेचीदा बात यह है कि आप रोबोट को यह कैसे बताएंगे कि उसने क्या सही किया या क्या गलत?
आमतौर पर, हम रोबोट की शुरुआत से अंत तक की पूरी यात्रा देखते हैं और उसे एक एकल ग्रेड देते हैं: "अच्छा काम किया!" या "फिर से कोशिश करो।" यह एक जासूस को अपराध सुलझाते हुए देखने और केवल यह कहने जैसा है, "आपने अपराधी को पकड़ लिया," बिना उन्हें यह बताए कि कौन सा सुराग निर्णायक था या कौन सा गलत रास्ता समय की बर्बादी थी। यदि जासूस ने असली सुराग मिलने से पहले घंटों तक एक फर्जी सुराग का पीछा करने में बिता दिए, तो "फिर से कोशिश करो" वाला ग्रेड उनके पहले के अच्छे काम को भी दंडित करता है।
यह पेपर उसी समस्या पर काम करता है। यह पूछता है: क्या हम AI को अपनी लंबी, उलझी हुई यात्रा को छोटे, अर्थपूर्ण अध्यायों में तोड़ने के लिए सिखा सकते हैं? पूरी फिल्म देखने के बजाय, क्या AI रुककर कह सकता है, "ठीक है, मैंने अभी कोड के बारे में इस विशिष्ट सिद्धांत का परीक्षण समाप्त किया है, और अब मैं एक नए सिद्धांत की ओर बढ़ रहा हूँ"? ऐसा करके, AI अपनी विफलताओं से बहुत तेज़ी से सीख सकता है, क्योंकि उसे पता होता है कि उसके सोचने का कौन सा "अध्याय" गलत गया था, न कि पूरी किताब के लिए बुरा ग्रेड मिलना।
द पेपर: जब AI एजेंट अपने स्वयं के अध्याय शीर्षक लिखते हैं
यह पेपर एक चतुर तकनीक पेश करता है जिसे "एजेंट-डिक्लेयर्ड बाउंड्रीज़" (Agent-Declared Boundaries) कहा जाता है। इसे एक AI एजेंट को एक जादुई नोटबुक देने के समान समझें जहाँ उसे हर नई थ्योरी (सिद्धांत) को आज़माने के लिए एक शीर्षक लिखना होता है।
समस्या: "धुंधला" ग्रेड
कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आपको एक छिपे हुए खजाने को खोजना है। आप एक नक्शा आज़माते हैं, गलत जगह खुदाई करते हैं, एक कंपास आज़माते हैं, दूसरी गलत जगह खुदाई करते हैं, और अंत में, आपको खजाना मिल जाता है।
- पुराना तरीका: गेम आपको अंत में एक एकल स्कोर देता है। यदि आपने कुछ गलतियाँ कीं, तो आपको कम स्कोर मिलता है। आपको नहीं पता कि समस्या कंपास में थी या आपने बस गलत जगह खुदाई की थी।
- पेपर का विचार: AI एजेंट से यह कहने के लिए कहा जाता है कि वह रुककर कहे, "मैं अब कंपास थ्योरी (Compass Theory) का परीक्षण कर रहा हूँ।" जब वह थ्योरी विफल हो जाती है, तो वह कहता है, "ठीक है, कंपास थ्योरी खत्म। अब मैं मैप थ्योरी (Map Theory) शुरू कर रहा हूँ।"
AI को अपनी वर्तमान धारणा (हाइपोथीसिस) का नाम बताने के लिए मजबूर करके, शोधकर्ता इसकी लंबी, भ्रमित करने वाली यात्रा को साफ, छोटे खंडों में विभाजित कर सकते हैं। प्रत्येक खंड एक "सिमेंटिक फेज" (अर्थपूर्ण चरण) है—समय का एक ऐसा टुकड़ा जहाँ AI एक विशिष्ट विचार पर केंद्रित था।
उन्होंने यह कैसे किया: "हाइपोथीसिस लेजर" (Hypothesis Ledger)
शोधकर्ताओं ने AI एजेंटों के लिए एक विशेष नियम बनाया। जैसे ही एजेंट कोड को ठीक करने पर काम करता है, उसे घोषित करना होता है: "मेरा मानना है कि बग लॉगिन सिस्टम में है।" फिर वह काम शुरू करता है। यदि वह विफल होता है, तो एक "रिव्यूअर" (एक अन्य AI) हस्तक्षेप करता है और कहता है, "नहीं, लॉगिन सिस्टम ठीक है। आपकी लॉगिन थ्योरी गलत थी। इसके बजाय डेटाबेस थ्योरी आज़माएँ।"
यह एजेंट की धारणाओं का एक "लेजर" (सूची) बनाता है।
- लागत: यह प्रत्येक धारणा के लिए केवल लगभग 52 टोकन (टेक्स्ट का एक छोटा सा हिस्सा) जोड़ता है। यह एक पेज पर स्टिकी नोट जोड़ने जैसा है; यह किताब का वजन नहीं बढ़ाता।
- लाभ: पूरी कोशिश के लिए एक बड़े "विफल" लेबल के बजाय, उन्हें एक ही यात्रा से चार अलग-अलग प्रकार का लर्निंग डेटा मिलता है:
- ऑडिट (Audit): "यह विशिष्ट धारणा क्यों गलत थी?" (भले ही धारणा विफल रही हो, सबक उपयोगी है!)
- प्रपोज़ (Propose): "हमें आगे क्या अनुमान लगाना चाहिए?"
- फिक्स (Fix): "अब जब हमें उत्तर पता चल गया है, तो कोड को कैसे ठीक करें?"
- प्रेफरेंस (Preference): "कौन सी धारणा बेहतर थी?"
बड़ा परीक्षण: क्या AI वास्तव में समझदारी भरा काम कर रहा था?
शोधकर्ता चिंतित थे: "शायद AI केवल रैंडम शीर्षक लिख रहा है, और 'अध्याय' वास्तव में केवल टेक्स्ट के रैंडम टुकड़े हैं।" यह साबित करने के लिए कि यह सच नहीं है, उन्होंने कुछ दिलचस्प प्रयोग किए जहाँ उन्होंने शीर्षक मिटा दिए और दूसरों से यह पता लगाने के लिए कहा कि अध्याय कहाँ समाप्त हुए।
- "ब्लाइंड" AI टेस्ट: उन्होंने एक अलग AI को कार्यों की एक सूची और सिद्धांतों की एक सूची दी, लेकिन यह छिपा दिया कि कौन सा सिद्धांत किन कार्यों से संबंधित था। AI को मिलान का अनुमान लगाना था।
- परिणाम: AI ने रैंडम अनुमान लगाने की तुलना में 2.18 गुना अधिक बार इसे सही पहचाना। इससे भी बेहतर, जब उन्होंने AI के "नामित" अध्यायों की तुलना केवल टेक्स्ट को समान आकार के टुकड़ों में काटने से की, तो नामित अध्याय संबंधित कार्यों को एक साथ समूहबद्ध करने में काफी बेहतर थे।
- "कोड-ब्लाइंड" मानव टेस्ट: एक इंसान जिसने कोड नहीं देखा था, उसने कमांड्स को देखा और अनुमान लगाने की कोशिश की कि थ्योरी कहाँ बदली।
- परिणाम: इंसान ने 40 में से 24 सीमाओं को सही ढंग से पहचाना। यदि उन्होंने रैंडम अनुमान लगाया होता, तो वे केवल 11.5 ही सही पहचान पाते।
- "मैकेनिकल" टेस्ट: उन्होंने सरल नियमों (जैसे "हर बार जब एक टेस्ट रन होता है तब टेक्स्ट को काटें") का उपयोग करके सीमाओं को खोजने की कोशिश की।
- परिणाम: ये सरल नियम बुरी तरह विफल रहे, और रैंडम चांस से बेहतर प्रदर्शन नहीं कर सके। यह साबित करता है कि सीमाएँ केवल इस बारे में नहीं हैं कि कब एक टेस्ट हुआ, बल्कि काम के अर्थ के बारे में हैं।
उन्होंने क्या सीखा? (और क्या नहीं सीखा)
पेपर दिखाता है कि यह विधि काम के वास्तविक, अर्थपूर्ण टुकड़े बनाती है जो अध्ययन करने और सीखने के लिए आसान हैं।
- अच्छी खबर: AI गलत धारणाओं को पहचानने और उन्हें सुधारने में सक्षम है। जब उन्होंने इन "अध्याय-आधारित" पाठों का उपयोग करके एक नए AI को प्रशिक्षित किया, तो इसने कुछ खास प्रकार की धारणाओं को चुनने के प्रति एक विशिष्ट प्राथमिकता सीखी। हालाँकि, यह सीखना ट्रेनिंग पेयर्स के लिखने के तरीके से गहराई से जुड़ा हुआ था। जब इसे एक नए सेट पर टेस्ट किया गया जो अलग तरह से बनाया गया था (एडवर्सरियल सेट्स), तो AI में कोई सुधार नहीं हुआ; इसने पहले की तरह ही वही चुनाव किए, जिससे पता चलता कि इसने एक सामान्य कौशल नहीं सीखा था।
- रियलिटी चेक: पेपर इस बात के बारे में बहुत ईमानदार है कि इसने क्या सिद्ध नहीं किया।
- उन्होंने इसे कोडिंग कार्यों के एक विशिष्ट सेट पर टेस्ट किया।
- उनके छोटे से टेस्ट में, नए AI ने पुराने AI की तुलना में कुल मिलाकर अधिक समस्याएं हल नहीं कीं; इसने कार्यों की बिल्कुल उतनी ही संख्या हल की।
- जो "लर्निंग" उन्होंने देखी वह डेटा निर्माण के प्रति बहुत विशिष्ट थी। यह एक विशिष्ट पहेली को पूरी तरह से सीखने जैसा है, लेकिन जरूरी नहीं कि आप सभी पहेलियों को हल करने में बेहतर हो जाएं।
निचोड़
यह पेपर यह दावा नहीं करता कि इसने किसी भी कोड को तुरंत ठीक करने वाला सुपर-इंटेलिजेंट रोबोट बना लिया है। इसके बजाय, इसने रोबोट की "सोचने की प्रक्रिया" को बहुत स्पष्ट बनाने का एक तरीका खोजा है। हर थ्योरी के लिए एक शीर्षक लिखने को कहकर, शोधकर्ता एक लंबी, भ्रमित करने वाली गलतियों की भीड़ को स्पष्ट, छोटे पाठों की श्रृंखला में बदल सकते हैं।
यह एक रिपोर्ट कार्ड प्राप्त करने के बीच का अंतर है जो कहता है "आप सेमेस्टर में फेल हो गए" और एक रिपोर्ट कार्ड के बीच का अंतर जो कहता है "आप बीजगणित (algebra) के अध्याय में फेल हो गए, लेकिन आपने ज्यामिति (geometry) के अध्याय में उत्कृष्ट प्रदर्शन किया, और यहाँ बताया गया है कि बीजगणित क्यों विफल हुआ।" पेपर सुझाव देता है कि इस तरह का विस्तृत फीडबैक AI को सिखाने के लिए एक शक्तिशाली उपकरण है, भले ही रोबोट अभी तक एक पेशेवर कोडर बनने के लिए तैयार न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।