PAIR: Prefix-Aware Internal Reward Model for Multi-Turn Agent Optimization
यह शोध पत्र PAIR का प्रस्ताव करता है, जो एक प्रिफिक्स-अवेयर इंटरनल रिवॉर्ड मॉडल है जो मल्टी-टर्न एजेंट ऑप्टिमाइज़ेशन के लिए डेंस, लो-कॉस्ट स्टेप-लेवल रिवॉर्ड्स उत्पन्न करने हेतु एक फ्रोजन हिडन-स्टेट प्रोब को एक लाइटवेट अटेंशन-आधारित हेड के साथ जोड़ता है, जो प्रभावी रूप से स्पार्स आउटकम रिवॉर्ड्स और प्रिफिक्स कंटैमिनेशन के तहत प्रोब्स के क्षरण की सीमाओं को दूर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट सहायक को एक जटिल पहेली सुलझाना सिखा रहे हैं, जैसे कि एक साथ फ्लाइट बुक करना, होटल रिजर्व करना और डिनर ऑर्डर करना। रोबोट को कई कदम उठाने होंगे, और इस दौरान उसे निर्णय लेने होंगे और टूल्स का उपयोग करना होगा।
सबसे बड़ी समस्या वर्तमान शिक्षण विधियों के साथ यह है कि रोबोट को पूरी प्रक्रिया के अंत में केवल एक "अच्छा काम किया!" या "फिर से कोशिश करो" मिलता है। यदि रोबोट स्टेप 1 में गलती करता है, तो उसे तब तक पता नहीं चलता जब तक वह स्टेप 10 पूरा करके पूरे कार्य में विफल नहीं हो जाता। यह एक वीडियो गेम खेलने जैसा है जहाँ आपको अंत में केवल "गेम ओवर" स्क्रीन मिलती है, बिना किसी संकेत के कि आपने कौन सी छलांग मिस की थी।
यह पेपर रोबोट को सिखाने का एक नया तरीका पेश करता है जिसे PAIR (प्रिफिक्स-अवेयर इंटरनल रिवॉर्ड मॉडल) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
समस्या: "भ्रमित जासूस" (The Confused Detective)
रोबोट को प्रक्रिया के दौरान (कदम-दर-कदम) फीडबैक देने के लिए, शोधकर्ताओं ने रोबोट के मस्तिष्क (इसके आंतरिक कंप्यूटर स्टेट्स) के भीतर झाँकने की कोशिश की कि क्या वह सही काम कर रहा है।
उन्होंने दो प्रकार के "मस्तिष्क संकेत" पाए:
- "कहानीकार" (हिडन स्टेट्स - The Storyteller): यह संकेत जाँचता है कि क्या वर्तमान कदम पिछले घटनाक्रम के साथ मेल खाता है। यह एक ऐसे जासूस की तरह है जिसे केवल इस बात से मतलब है कि वर्तमान सुराग उसके द्वारा पहले से लिखी गई कहानी में फिट बैठता है या नहीं।
- दोष: यदि रोबमाट ने पहले कोई गलती की है (कहानी दूषित हो गई है), तो "कहानीकार" भ्रमित हो जाता है। वह सोचता है, "ओह, यह नया कदम गलत कहानी के साथ बिल्कुल सटीक बैठता है, इसलिए यह अच्छा होना चाहिए!" वह अनजाने में रोबोट को गलत रास्ते पर चलते रहने के लिए पुरस्कृत कर देता है।
- "संरचनात्मक वास्तुकार" (अटेंशन पैटर्न्स - The Structural Architect): यह संकेत इस बात को देखता है कि रोबोट अपना ध्यान कैसे केंद्रित कर रहा है। इसे कहानी से कोई लेना-देना नहीं है; इसे संरचना से मतलब है। क्या रोबोट सही टूल्स को देख रहा है? क्या वह अप्रासंगिक शोर को अनदेखा कर रहा है?
- शक्ति: भले ही कहानी खराब हो, यह संकेत फिर भी बता सकता है कि रोबोट सही चीजों को देख रहा है या नहीं। यह मजबूत (robust) है।
- कमजोरी: एक आदर्श, साफ कहानी पर, यह "कहानीकार" जितना सटीक नहीं होता।
समाधान: "दो-चरणीय कोच" (The Two-Stage Coach - PAIR)
लेखकों ने महसूस किया कि अकेले में दोनों संकेतों में से कोई भी पूर्ण नहीं है। "कहानीकार" तब बहुत अच्छा होता है जब चीजें ठीक चल रही होती हैं, लेकिन जब गलतियाँ होती हैं तो विफल हो जाता है। "वास्तुकार" स्थिर है लेकिन साफ कार्यों पर उतना सटीक नहीं है।
इसलिए, उन्होंने PAIR बनाया, जो एक दो-चरणीय कोच है:
- चरण 1: विश्वास की जाँच (The Belief Check)। कोच पहले "कहानीकार" (हिडन स्टेट प्रोब) से पूछता है: "क्या यह कदम वर्तमान कहानी के अनुकूल है?" यह एक त्वरित, प्रारंभिक स्कोर देता है।
- चरण 2: वास्तविकता की जाँच (The Reality Check)। कोच फिर "वास्तुकार" (अटेंशन प्रोब) से पूछता है: "रुको, तुम्हारे ध्यान केंद्रित करने के तरीके को देखते हुए, क्या तुम वास्तव में समस्या हल कर रहे हो, या बस एक टूटी हुई कहानी का अनुसरण कर रहे हो?"
वे एक साथ कैसे काम करते हैं:
- यदि कहानी साफ है: "वास्तुकार", "कहानीकार" से सहमत होता है। कोच स्कोर को स्वीकार कर लेता है।
- यदि कहानी टूटी हुई है (दूषित है): "कहानीकार" कहता है, "यह अच्छा लग रहा है क्योंकि यह गलती के साथ फिट बैठता है!" लेकिन "वास्तुकार" कहता है, "नहीं, तुम गलत चीजों को देख रहे हो!" कोच "वास्तुकार" की बात सुनता है और स्कोर को सुधारता है, रोबोट को बताता है, "वास्तव में, वह कदम बुरा था, भले ही वह सही लग रहा था।"
यह एक बड़ी बात क्यों है
PAIR से पहले, स्टेप-बाय-स्टेप फीडबैक प्राप्त करने के लिए, आपको तीन महंगी चीजों में से एक करनी पड़ती थी:
- पूरे गेम को 100 बार चलाना यह देखने के लिए कि क्या काम करता है (बहुत धीमा और अपव्ययी)।
- हर एक स्टेप का निर्णय लेने के लिए किसी इंसान या बहुत बुद्धिमान AI को बुलाना (बहुत महंगा और धीमा)।
- स्टेप्स को ग्रेड करने के लिए पहले से सटीक उत्तर जानना (कई वास्तविक दुनिया के कार्यों के लिए असंभव)।
PAIR खेल बदल देता है क्योंकि:
- यह मुफ्त है: यह रोबोट के अपने मस्तिष्क संकेतों का उपयोग करता है। इसे किसी और को बुलाने या अतिरिक्त सिमुलेशन चलाने की आवश्यकता नहीं है।
- यह तत्काल है: यह रोबोट के सोचने के दौरान पलक झपकते ही होता है।
- यह ईमानदार है: यह गलतियों को पकड़ लेता है, भले ही रोबोट आत्मविश्वास के साथ गलत रास्ते पर जा रहा हो।
परिणाम
जब उन्होंने वास्तविक दुनिया के टूल्स (जैसे फ्लाइट बुक करना या डेटाबेस खोजना) का उपयोग करने वाले रोबोट्स पर इसका परीक्षण किया, तो PAIR ने उन्हें अन्य किसी भी विधि की तुलना में बहुत तेज़ी से सीखने और अधिक समस्याओं को हल करने में मदद की। यह एक छात्र को एक ऐसे शिक्षक देने जैसा है जो निबंध लिखने के दौरान ही उसकी गलती पकड़ लेता है, बजाय इसके कि निबंध खत्म होने के बाद आकर कहे, "तुम असफल रहे।"
संक्षेप में, PAIR AI एजेंटों के लिए एक स्मार्ट, आंतरिक "झूठ पकड़ने वाला यंत्र" (lie detector) है जो उन्हें बिना किसी महंगे बाहरी सहयोग के वास्तविक समय में अपनी गलतियों को सुधारने में मदद करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।