🤖 AI

ARCO: Adaptive Rubric with Co-Evolution for Multi-Step LLM-Based Agents

यह शोध पत्र ARCO का प्रस्ताव करता है, जो एक साझा मॉडल बैकबोन के भीतर प्रति-चरण रूब्रिक मानदंडों के लिए एक जनरेशन हेड और चरण-स्तरीय पुरस्कारों के लिए एक स्कोरिंग हेड को सह-विकसित (co-evolves) करता है, जो चरण-स्तरीय लेबल या स्थिर क्लोज्ड-सोर्स जजों की आवश्यकता के बिना गतिशील क्रेडिट असाइनमेंट और बेहतर मल्टी-स्टेप एजेंट प्रदर्शन को सक्षम बनाता है।

मूल लेखक: Zihang Tian, Jingsen Zhang, Rui Li, Xiaohe Bo, Yuanzi Li, Xu Chen

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zihang Tian, Jingsen Zhang, Rui Li, Xiaohe Bo, Yuanzi Li, Xu Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल रहस्य सुलझाना सिखा रहे हैं, जैसे कि एक बहु-चरणीय जासूसी कहानी। रोबोट को सुराग खोजने, कड़ियों को जोड़ने और अंत में एक उत्तर देने की आवश्यकता है।

अतीत में, इन रोबोटों को सिखाना एक बहुत ही सख्त रेफरी के साथ "हॉट और कोल्ड" (पास या दूर) खेलने जैसा था।

पुराना तरीका: रोबोट पूरे रहस्य को सुलझाने की कोशिश करता। यदि वह अंतिम उत्तर सही देता, तो रेफरी उसे "अच्छा काम किया!" (एक उच्च स्कोर) देता। यदि वह गलत होता, तो रेफरी उसे "बुरा काम किया!" (एक कम स्कोर) देता।
समस्या: रोबोट को यह पता नहीं चलता था कि वह क्यों विफल हुआ। क्या उसने गलत सवाल पूछा? क्या उसने किसी सुराग को अनदेखा कर दिया? क्या उसने बहुत जल्दी अनुमान लगा लिया? रेफरी बस "गलत" कहकर छोड़ देता, जिससे रोबोट केवल अंदाज़ा लगाता कि क्या गलत हुआ। यह एक छात्र को गणित के चरणों में हुई विशिष्ट गलतियों पर शिक्षक की टिप्पणी के बिना केवल एक लाल "F" ग्रेड प्राप्त करने जैसा है।

ARCO से मिलिए: एक "सह-विकसित" (Co-Evolving) कोच

यह पेपर ARCO (Adaptive Rubric CO-evolution) को पेश करता है, जो इन AI एजेंटों को प्रशिक्षित करने का एक नया तरीका है। ARCO को केवल एक एकल रेफरी के रूप में नहीं, बल्कि एक स्मार्ट कोच के रूप में सोचें जो छात्र को काम करते हुए देखते हुए अपना स्वयं का ग्रेडिंग रूब्रिक (मूल्यांकन पद्धति) लिखता है।

यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "समान-स्तर" का कोच और छात्र

आमतौर पर, हम रोबोट को ग्रेड देने के लिए एक अत्यंत बुद्धिमान, महंगे "ब्लैक बॉक्स" जज (जैसे कि एक विशाल, बंद-स्रोत AI) का उपयोग करते हैं। लेकिन वह जज स्थिर है; वह सीखता नहीं है।
ARCO एक कोच (रूब्रिक मॉडल) का उपयोग करता है जो छात्र रोबोट के समान आकार और "मस्तिष्क शक्ति" का होता है। वे भागीदार हैं। जैसे-जैसे छात्र बेहतर होता है, कोच भी ग्रेडिंग करने में बेहतर होता जाता है। वे एक साथ बढ़ते हैं।

2. चेकलिस्ट लिखना (द रूब्रिक)

केवल एक स्कोर देने के बजाय, कोच रोबोट द्वारा उठाए गए प्रत्येक कदम के लिए एक चेकलिस्ट लिखता है।

चरण 1: रोबोट "सर्गेई टोकारेव कौन है?" के लिए खोज करता है।
कोच की चेकलिस्ट: "क्या रोबोट ने सही व्यक्ति की खोज की? क्या इसने यादृच्छिक लोगों की खोज करने से खुद को बचाया? क्या इसे पर्याप्त सबूत मिले?"
चरण 2: रोबोट "उसका विश्वविद्यालय कब स्थापित हुआ था?" के लिए खोज करता है।
कोच की नई चेकलिस्ट: "क्या रोबोट को समझ आया कि उसे पहले विश्वविद्यालय का नाम चाहिए? क्या इसने असंबंधित तथ्यों की खोज करना बंद कर दिया?"

कोच हर एक चाल के लिए एक नया चेकलिस्ट लिखता है क्योंकि गलतियाँ बदलती रहती हैं जैसे-जैसे रोबोट सीखता है। शुरुआत में, रोबोट गलत व्यक्ति की खोज कर सकता है। बाद में, वह सही व्यक्ति की खोज कर सकता है लेकिन गलत तरीके से। एक स्थिर चेकलिस्ट सभी विकसित होती गलतियों को नहीं पकड़ सकती, लेकिन ARCO का कोच हर बार एक ताज़ा चेकलिस्ट लिखता है।

3. "हिस्सों का योग" का नियम

यही जादू का मंत्र है। कोच चरणों को बेतरतीब ढंग से ग्रेड नहीं करता है। कोच को एक स्वर्णिम नियम सिखाया जाता है: सभी चरणों के स्कोर का योग अंतिम परिणाम के बराबर होना चाहिए।

यदि रोबच रहस्य को पूरी तरह से सुलझा लेता है (अंतिम स्कोर = 100), तो कोच को अच्छे चरणों को उच्च स्कोर और बुरे चरणों को कम स्कोर देने का तरीका खोजना होगा ताकि वे 100 तक पहुँच सकें।
यदि वह विफल हो जाता है (अंतिम स्कोर = 0), तो कोच को यह पता लगाना होगा कि किन विशिष्ट चरणों ने स्कोर को नीचे गिराया।

यह कोच को यह समझने के लिए मजबूर करता है कि रोबोट कहाँ गलत हुआ, भले ही उसे कोई इंसान यह न बताए कि "चरण 3 खराब था।" कोच अंतिम परिणाम को छोटे, निष्पक्ष हिस्सों में तोड़ना सीख जाता है।

4. सह-विकास का नृत्य (The Dance of Co-Evolution)

सबसे अनूठा हिस्सा यह है कि छात्र और कोच दोनों को एक ही समय में अपडेट किया जाता है।

छात्र पहेली सुलझाने की कोशिश करता है।
कोच देखता है, चेकलिस्ट लिखता है, और स्कोर देता है।
छात्र स्कोर से सीखता है और स्मार्ट बनता है।
क्योंकि छात्र अब स्मार्ट है, वह नए प्रकार की गलतियाँ करता है (वह अब शुरुआती गलतियाँ नहीं कर रहा है)।
कोच इन नई गलतियों को देखता है और उन्हें पकड़ने के लिए अपनी चेकलिस्ट को अपडेट करता है।

यह एक नृत्य की तरह है जहाँ साथी (कोच) लगातार डांसर (छात्र) के कदमों के साथ तालमेल बिठाने के लिए अपने कदम समायोजित करता है। यदि छात्र एक शानदार स्पिन (घूमना) शुरू करता है, तो कोच केवल बुनियादी कदमों को नहीं, बल्कि उस स्पिन को ग्रेड करना सीख जाता है।

यह बेहतर क्यों है?

कोई ब्लैक बॉक्स नहीं: यह काम को ग्रेड करने के लिए किसी रहस्यमय, अपरिवर्तनीय विशाल AI पर निर्भर नहीं है। यह एक पारदर्शी, ओपन-सोर्स मॉडल का उपयोग करता है जो साधारण भाषा में अपने तर्क समझाता है।
चरण-दर-चरण स्पष्टता: यह रोबोट को ठीक से बताता है कि कौन सा चरण अच्छा था या बुरा, बजाय इसके कि केवल यह कहे कि "आप पूरे मामले में विफल रहे।"
अनुकूलन क्षमता: जैसे-जैसे रोबोट बेहतर होता है, ग्रेडिंग मानदंड अधिक परिष्कृत होते जाते हैं, जो उन सूक्ष्म त्रुटियों को पकड़ लेते हैं जिन्हें एक निश्चित चेकलिस्ट मिस कर सकती थी।

संक्षेप में, ARCO प्रशिक्षण प्रक्रिया को "मैंने क्या गलत किया इसका अंदाज़ा लगाओ" वाले खेल से बदलकर एक स्पष्ट, चरण-दर-चरण ट्यूटोरियल में बदल देता है जहाँ शिक्षक और छात्र एक साथ सीखते हैं, और जैसे-जैसे वे आगे बढ़ते हैं, खेल के नियमों को लगातार परिष्कृत करते हैं।

तकनीकी सारांश: ARCO (Adaptive Rubric CO-evolution)

समस्या विवरण (Problem Statement)

मल्टी-स्टेप लार्ज लैंग्वेज मॉडल (LLM) एजेंटों, जैसे कि मल्टी-हॉप क्वेश्चन अनswering (QA) में उपयोग किए जाने वाले एजेंटों के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL), आमतौर पर स्केलर रिवॉर्ड्स (scalar rewards) पर निर्भर करते हैं। ये रिवॉर्ड्स या तो परिणाम-आधारित (outcome-based - पूरे ट्राजेक्टरी स्तर पर बाइनरी सफलता/विफलता) होते हैं या प्रक्रिया-आधारित (process-based - प्रति स्टेप अस्पष्ट स्केलर स्कोर) होते हैं।

परिणाम-आधारित रिवॉर्ड्स (Outcome rewards) सूक्ष्म क्रेडिट असाइनमेंट (granular credit assignment) प्रदान करने में विफल रहते हैं, जिससे यह अंतर करना कठिन हो जाता है कि कोई कदम एक सुव्यवस्थित खोज प्रक्रिया थी या केवल एक तुक्का।
प्रक्रिया-आधारित रिवॉर्ड्स (Process rewards) सूक्ष्मता में सुधार करते हैं लेकिन अक्सर "ब्लैक बॉक्स" बने रहते हैं, जो यह स्पष्ट नहीं करते कि कोई विशिष्ट कदम अच्छा था या बुरा।
मौजूदा रूब्रिक-आधारित विधियाँ (Existing rubric-based methods) प्राकृतिक भाषा मानदंडों (natural language criteria) का उपयोग करके व्याख्यात्मकता (interpretability) में सुधार करने का प्रयास करती हैं। हालाँकि, वे दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:
1. ट्राजेक्टरी-स्तर का स्कोरिंग (Trajectory-level scoring): वे पूरी रोलआउट को एक एकल स्कोर प्रदान करती हैं, जिससे स्टेप-लेवल क्रेडिट असाइनमेंट की समस्या अनसुलझी रह जाती है।
2. स्थिर जज (Static judges): वे बाहरी जजों के रूप में फ्रीज किए गए, क्लोज्ड-सोर्स LLMs (जैसे, GPT-4) पर निर्भर करती हैं। हालांकि रूब्रिक टेक्स्ट को अपडेट किया जा सकता है, लेकिन जज के पैरामीटर्स स्थिर रहते हैं, जिससे स्कोरिंग फंक्शन को एजेंट के विकसित होते फेलियर मोड्स (failure modes) के अनुकूल होने से रोका जाता है।

कार्यप्रणाली: ARCO (Methodology: ARCO)

लेखक ARCO (Adaptive Rubric CO-evolution) का प्रस्ताव करते हैं, एक ऐसा फ्रेमवर्क जहाँ मूल्यांकन मानदंड (रूब्रिक) और स्कोरिंग फंक्शन, एक ही-स्केल के ओपन-सोर्स मॉडल का उपयोग करके, पैरामीटर स्तर पर पॉलिसी के साथ सह-विकसित (co-evolve) होते हैं।

1. पदानुक्रमित रूब्रिक मॉडल ( $\mu$ ) (Hierarchical Rubric Model)

ARCO एक ही ट्रेन करने योग्य मॉडल $\mu$ के भीतर रूब्रिक जनरेशन और स्कोरिंग दोनों को स्थापित करता है, जो पॉलिसी $\pi$ के साथ एक साझा बैकबोन $f_\theta$ साझा करता है। इस मॉडल में दो लाइटवेट हेड्स (heads) हैं:

जनरेशन हेड (उच्च-स्तरीय) (Generation Head - High-level): ट्राजेक्टरी प्रीफिक्स $h_t$ और एक्शन $a_t$ को देखते हुए, यह $K$ प्राकृतिक-भाषा मानदंडों का एक क्रमबद्ध सेट $r_t = (c_{t,1}, \dots, c_{t,K})$ उत्पन्न करता है। ये मानदंड संदर्भ-विशिष्ट (context-specific) होते हैं, जो कार्य के चरण (जैसे, शुरुआती खोजों के लिए एंटिटी टारगेटिंग बनाम अंतिम चरणों के लिए उत्तर समर्थन) के अनुसार अनुकूलित होते हैं।
स्कोर हेड (निम्न-स्तरीय) (Score Head - Low-level): यह उसी स्टेट-एक्शन कॉन्टेक्स्ट और उत्पन्न मानदंडों $r_t$ को इनपुट के रूप में लेता है। यह $K$ डायमेंशन-लेवल स्कोर $d_t \in [-1, 1]^K$ उत्पन्न करता है, जिनका औसत लेकर स्टेप-लेवल रिवॉर्ड $s_t$ बनाया जाता है।

2. सह-विकासवादी प्रशिक्षण (Co-Evolutionary Training)

यह फ्रेमवर्क ऑन-पॉलिसी डेटा पर काम करता है, जो पॉलिसी $\pi$ और रूब्रिक मॉडल $\mu$ को संयुक्त रूप से अपडेट करता है:

सुपरवाइज्ड वॉर्मअप (Supervised Warmup): RL से पहले, एक क्लोज्ड-सोर्स टीचर ट्राजेक्टरीज को रूब्रिक्स और स्कोर्स के साथ एनोटेट करता है। पॉलिसी को सफल ट्राजेक्टरीज पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से इनिशियलाइज़ किया जाता है, और $\mu$ को ऐसे मानदंड उत्पन्न करने और स्कोर प्रेडिक्ट करने के लिए इनिशियलाइज़ किया जाता है जो एक ट्राजेक्टरी-लेवल डिकंपोजिशन कंस्ट्रेंट (decomposition constraint) को संतुष्ट करते हों।
RL लूप (RL Loop):
- पॉलिसी अपडेट ( $\pi$ ): पॉलिसी को वर्तमान $\mu$ द्वारा प्रेडिक्ट किए गए स्टेप-लेवल स्कोर्स $s_t$ से प्राप्त 'रिवॉर्ड-टू-गो' एडवांटेज का उपयोग करके अपडेट किया जाता है। वेरिएंस को कम करने के लिए एक पोजीशन-बकेटेड बेसलाइन का उपयोग किया जाता है।
- रूब्रिक मॉडल अपडेट ( $\mu$ ): मॉडल को एक ट्राजेक्टरी डिकंपोजिशन कंस्ट्रेंट का उपयोग करके अपडेट किया जाता है। प्रेडिक्टेड स्टेप स्कोर्स का योग टर्मिनल बाइनरी आउटकम $R(\tau)$ के बराबर होना चाहिए:
  $\mathcal{L}_{\mu}^{rl} = \sum_{\tau} \left( \sum_{t} s_t - R(\tau) \right)^2 + \beta \cdot \text{KL}(\mu \| \mu_{ref})$
  यह $\mu$ को बिना गोल्ड स्टेप लेबल्स के स्टेप-लेवल क्रेडिट असाइनमेंट सीखने की अनुमति देता है, जबकि KL टर्म जेनरेटेड रूब्रिक्स को वॉर्मअप डिस्ट्रीब्यूशन के साथ सुसंगत रखता है।

3. प्रमुख डिजाइन विकल्प (Key Design Choices)

साझा बैकबोन (Shared Backbone): जनरेशन और स्कोरिंग हेड्स पैरामीटर्स साझा करते हैं। यह सुनिश्चित करता है कि मानदंड उसी रिप्रेजेंटेशन स्पेस में लिखे गए हैं जिसका उपयोग स्कोरिंग के लिए किया जाता है, जिससे डिकंपोजिशन ऑब्जेक्टिव से प्राप्त ग्रेडिएंट्स दोनों चरणों के फीचर्स को आकार देने में सक्षम होते हैं।
सेम-स्केल ओपन सोर्स (Same-Scale Open Source): ARCO एजेंट और इवैल्यूएटर दोनों के लिए ओपन-सोर्स मॉडल्स (जैसे, Qwen3-4B, Llama-3.2-3B) का उपयोग करता है, जिससे बाहरी क्लोज्ड-सोर्स जजों पर निर्भरता समाप्त हो जाती है।

मुख्य योगदान (Key Contributions)

अनुकूली, स्टेप-लेवल रूब्रिक फ्रेमवर्क: ARCO एक प्रोसेस रिवॉर्ड फ्रेमवर्क पेश करता है जहाँ प्राकृतिक-भाषा रूब्रिक और स्कोरिंग फंक्शन दोनों पैरामीटर स्तर पर पॉलिसी के साथ सह-विकसित होते हैं, जिससे फ्रीज किए गए क्लोज्ड-सोर्स जज की आवश्यकता समाप्त हो जाती है।
डिकंपोजिशन के साथ पदानुक्रमित मॉडल: लेखक एक ऐसा मॉडल डिज़ाइन करते हैं जो संदर्भ-विशिष्ट मानदंड उत्पन्न करता है और उनके तहत एक्शन्स को स्कोर करता है। केवल टर्मिनल आउटकम के आधार पर व्यक्तिगत स्टेप्स को क्रेडिट असाइन करने के लिए एक ट्राजेक्टरी डिकंपोजिशन कंस्ट्रेंट लागू करके, मॉडल स्टेप-लेवल क्रेडिट असाइनमेंट सीखता है।
अनुभवजन्य सत्यापन (Empirical Validation): मल्टी-हॉप QA बेंचमार्क्स पर व्यापक प्रयोगों से पता चलता है कि ARCO स्ट्रॉन्ग बेसलाइन्स को पछाड़ देता है, और विश्लेषण पुष्टि करते हैं कि जेनरेटेड रूब्रिक्स स्टेप-विशिष्ट, मजबूत और एजेंट व्यवहार का निदान करने के लिए उपयोगी हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो ओपन-सोर्स बैकबोन्स (Qwen3-4B और Llama-3.2-3B) का उपयोग करके तीन मल्टी-हॉप QA बेंचमार्क्स: HotpotQA, 2WikiMultiHopQA, और MuSiQue पर ARCO का मूल्यांकन किया।

प्रदर्शन (Performance): ARCO ने सभी छह (डेटासेट, बैकबोन) कॉन्फ़िगरेशन में सर्वश्रेष्ठ एग्जैक्ट मैच (EM) स्कोर प्राप्त किया और छह में से पांच में सर्वश्रेष्ठ F1 स्कोर प्राप्त किया। इसने लगातार निम्नलिखित को पछाड़ा:
- आउटकम रिवॉर्ड मॉडल्स (ORMs): जिसमें बाइनरी-रिवॉर्ड मेथड्स (Search-R1, R1-Searcher) और फ्रीज्ड जजों वाले रूब्रिक-आधारित ORMs (RaR, CARMO, RLER) शामिल हैं।
- प्रोसेस रिवॉर्ड मॉडल्स (PRMs): विशेष रूप से AgentPRM, जो अस्पष्ट स्केलर स्टेप वैल्यूज का उपयोग करता है।
एब्लेशन स्टडीज (Ablation Studies):
- रूब्रिक टेक्स्ट जनरेशन हटाने से ("w/o Rubric") प्रदर्शन में भारी गिरावट आई, जो पुष्टि करता है कि रूब्रिक्स केवल सजावट के बजाय आवश्यक सिमेंटिक स्ट्रक्चर प्रदान करते हैं।
- फिक्स्ड डेटासेट-लेवल मानदंड का उपयोग करने से ("w/o Adaptive") एडैप्टिव जनरेशन की तुलना में खराब प्रदर्शन हुआ, जो दर्शाता है कि फिक्स्ड मानदंड विकसित होते फेलियर मोड्स को ट्रैक नहीं कर सकते।
- ट्राजेक्टरी प्रीफिक्स के बिना केवल प्रश्न/एक्शन पर रूब्रिक्स को कंडीशन करने से ("w/o Prefix") उत्तर की शुद्धता कम हो गई, जो पूर्ण कॉन्टेक्स्ट के महत्व को दर्शाता है।
रूब्रिक की गुणवत्ता: डायग्नोस्टिक टेस्ट से पता चला कि ARCO के रूब्रिक्स अत्यधिक एक्शन-बाउंड हैं (विशिष्ट एक्शन को पहचानने में 42–55% सटीकता, जो संयोग से काफी ऊपर है) और विशिष्टता (लगभग 4.0/5.0) के लिए उच्च रेटिंग प्राप्त करते हैं।
संवेदनशीलता (Sensitivity): पाया गया कि मानदंडों की संख्या ( $K$ ) के प्रति संवेदनशीलता है; $K=3$ ने इष्टतम प्रदर्शन दिया, जबकि उच्च $K$ मानों ने स्कोर में सुधार किए बिना रेडंडेंसी (redundancy) पेश की।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ARCO स्टैटिक, ओपेक रिवॉर्ड मॉडलिंग से अनुकूली, व्याख्यात्मक और सह-विकासवादी रिवॉर्ड सिस्टम की ओर एक बदलाव का प्रतिनिधित्व करता है।

व्याख्यात्मकता (Interpretability): प्रत्येक स्टेप के लिए प्राकृतिक-भाषा मानदंड उत्पन्न करके, ARCO एक "पठनीय" सिग्नल प्रदान करता है जो बताता है कि किसी एक्शन को क्यों पुरस्कृत या दंडित किया गया, जिससे एजेंट के व्यवहार के निदान में मदद मिलती है।
अनुकूलन क्षमता (Adaptability): फ्रीज किए गए जजों का उपयोग करने वाली विधियों के विपरीत, ARCO का इवैल्यूएटर पॉलिसी के साथ विकसित होता है। जैसे-जैसे एजेंट कुछ त्रुटियों से बचना सीखता है, रूब्रिक मॉडल सूक्ष्म फेलियर मोड्स (जैसे, गलत एंटिटी को टारगेट करना या अनावश्यक रिट्रीवल) की पहचान करने के लिए अनुकूलित होता है।
दक्षता और सुलभता (Efficiency and Accessibility): एजेंट और इवैल्यूएटर दोनों के लिए सेम-स्केल ओपन-सोर्स मॉडल्स का उपयोग करके, ARCO क्लोज्ड-सोर्स API की लागत और निर्भरता से बचता है और उच्च प्रदर्शन बनाए रखता है।

लेखक निष्कर्ष निकालते हैं कि ARCO भाषा एजेंटों के लिए व्याख्या योग्य प्रोसेस-रिवॉर्ड लर्निंग सिस्टम बनाने के लिए एक आधार प्रदान करता है, जो स्पार्स आउटकम रिवॉर्ड्स को बिना किसी बाहरी जज के डेंस, स्टेप-अवेयर सिग्नल्स में बदल देता है।