AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling

यहाँ शोध पत्र "AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) एजेंट प्रशिक्षण पाइपलाइन एक गंभीर डेटा बर्बादी की समस्या (data waste problem) से जूझ रही है। वास्तविक दुनिया के कार्यों पर एजेंटों की उच्च विफलता दर (जैसे, GPT-4o WebArena कार्यों पर ~14% और ToolBench कार्यों पर <55% सफल होता है) के बावजूद, मानक प्रशिक्षण प्रोटोकॉल सभी विफल प्रक्षेप पथों (failed trajectories) को त्याग देते हैं।

• समस्या: ये विफलताएं यादृच्छिक शोर (random noise) नहीं हैं; इनमें अक्सर सुसंगत, सही मध्यवर्ती चरण और तथ्यात्मक अवलोकन होते हैं जो केवल मूल विशिष्ट लक्ष्य को पूरा करने में विफल रहे होते हैं।
• अवसर: एक प्रक्षेप पथ जो लक्ष्य A को प्राप्त करने में विफल रहता है, वह लक्ष्य B के लिए एक आदर्श प्रदर्शन हो सकता है जो प्राप्त करने योग्य है। वर्तमान विधियाँ इस "हindsight" (दृष्टि-पश्चात) क्षमता का लाभ उठाने में विफल रहती हैं, और वे सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के लिए केवल दुर्लभ सफल प्रदर्शनों पर निर्भर रहती हैं।

2. कार्यप्रणाली: AgentHER फ्रेमवर्क (Methodology: The AgentHER Framework)

AgentHER, नेचुरल-लैंग्वेज LLM एजेंटों के लिए Hindsight Experience Replay (HER) के सिद्धांत को अनुकूलित करता है। यह बिना नए एनवायरनमेंट इंटरैक्शन के, विफल प्रक्षेप पथों को उच्च-गुणवत्ता वाले प्रशिक्षण डेटा (SFT, DPO, और ShareGPT प्रारूपों) में बदलने के लिए एक चार-चरणीय पाइपलाइन प्रस्तावित करता है।

चार-चरणीय पाइपलाइन (The Four-Stage Pipeline)

1. विफलता डिटेक्टर (Failure Detector - चरण 1):
   • कार्य: विफलता के प्रकार (जैसे, अपूर्ण, बाधा उल्लंघन, गलत परिणाम, टूल एरर, मतिभ्रम/Hallucination) को वर्गीकृत करता है और एक गंभीरता भार (severity weight) ($w$) असाइन करता है।
   • तंत्र: नियम-आधारित कीवर्ड लेक्सिकॉन या LLM जज का उपयोग करता है। गंभीर दोषों (जैसे, मतिभ्रम, विनाशकारी टूल दुरुपयोग) वाले प्रक्षेप पथों को हटा दिया जाता है ($w < 0.3$)। सुधारात्मक विफलताओं को प्रशिक्षण हानि (training loss) को स्केल करने के लिए एक भार के साथ आगे भेजा जाता है।
2. परिणाम निष्कर्षणकर्ता (Outcome Extractor - चरण 2):
   • कार्य: प्रक्षेप पथ से एक REPLAYOUTCOME निकालता है—जो वास्तविक उपलब्धियों, संख्यात्मक डेटा और तथ्यात्मक अवलोकनों की एक सूची है।
   • उद्देश्य: मतिभ्रम वाले लक्ष्यों के निर्माण को रोकने के लिए बाद के रीलेबलिंग चरण को तथ्यात्मक साक्ष्य के साथ स्थापित करना।
3. प्रॉम्प्ट रीलेबलर (Prompt Relabeler - चरण 3):
   • कार्य: एक LLM REPLAYOUTCOME के आधार पर एक नया प्राकृतिक-भाषा लक्ष्य ($\hat{g}$) संश्लेषित करता है जिसे प्रक्षेप पथ $\tau$ वास्तव में संतुष्ट करता है।
   • प्रतिबंध: नया लक्ष्य एक प्राकृतिक उपयोगकर्ता अनुरोध होना चाहिए, तथ्यात्मक रूप से अवलोकनों द्वारा समर्थित होना चाहिए, मूल विफल प्रॉम्प्ट से स्वतंत्र होना चाहिए, और मूल जटिलता के समान होना चाहिए।
   • मल्टी-जज सत्यापन (Multi-Judge Verification): गुणवत्ता सुनिश्चित करने के लिए, एक दूसरा स्वतंत्र LLM जज रीलेबलिंग को सत्यापित करता है। एक रीलेबलिंग तभी स्वीकार की जाती है जब दोनों जज उच्च विश्वास ($c \ge \theta$) के साथ सहमत हों। यह लेबल शोर (label noise) को 5.9% से घटाकर 2.3% कर देता है।
4. डेटा ऑगमेंटर (Data Augmenter - चरण 4):
   • कार्य: सत्यापित $(\hat{g}, \tau)$ युग्मों को प्रशिक्षण डेटासेट में पैक करता है।
   • प्रारूप:
     • SFT: चेन ऑफ थॉट को एक संवाद के रूप में पुनर्गठित करता है।
     • DPO: एक प्राथमिकता युग्म (preference pair) बनाता है जहाँ रीलेबल किया गया लक्ष्य "चुना गया" (chosen) है और मूल विफल लक्ष्य "अस्वीकार किया गया" (rejected) है, जिससे मॉडल को यह सिखाया जाता है कि वह प्रक्षेप पथ नए लक्ष्य के लिए वैध है।
     • ShareGPT: मल्टी-टर्न अनुकूलता के लिए प्रारूपित करता है।

मुख्य तंत्र (Key Mechanisms)

• विफलता-गंभीरता भारण (Failure-Severity Weighting): प्रशिक्षण के दौरान मामूली तर्क संबंधी त्रुटियों वाले प्रक्षेप पथों के प्रभाव को कम करता है।
• मल्टी-जज सत्यापन (Multi-Judge Verification): दो जजों के बीच सहमति की आवश्यकता होती है, जो सिंगल-जज दृष्टिकोण (94.1%) की तुलना में शुद्धता (97.7%) को काफी बढ़ा देता है।

3. प्रमुख योगदान (Key Contributions)

1. नूतन सूत्रीकरण (Novel Formulation): नेचुरल-लैंग्वेज एजेंट डेटा सिंथेसिस के लिए गोल-कंडीशन्ड HER को जोड़ने वाली पहली व्यवस्थित पाइपलाइन। ECHO जैसे पूर्व कार्यों के विपरीत, जो इन्फरेंस-टाइम मेमोरी के लिए विफलताओं का पुन: उपयोग करते हैं, AgentHER लक्ष्यों को रीलेबल करते हुए प्रक्षेप पथों को स्थिर रखकर ऑफलाइन प्रशिक्षण डेटा ऑग्मेंटेशन पर ध्यान केंद्रित करता है।
2. मजबूत इंजीनियरिंग (Robustness Engineering): विफलता-गंभीरता भारण और मल्टी-जज सत्यापन का परिचय, जो इंजीनियरिंग के सर्वोत्तम अभ्यास हैं जो पाइपलाइन की सटीकता को बढ़ाते हैं और लेबल शोर को कम करते हैं, जिससे सिस्टम उत्पादन के लिए तैयार (production-ready) हो जाता है।
3. सैद्धांतिक गारंटी (Theoretical Guarantee): यह प्रस्ताव प्रदान करता है कि एक पूर्ण जज के तहत, रीलेबल किया गया डेटा ऑरेकल गोल-कंडीशन्ड पॉलिसी का एक निष्पक्ष नमूना (unbiased sample) है। यह जज की शुद्धता के आधार पर प्रदर्शन लाभों की एक निचली सीमा (lower bound) भी व्युत्पन्न करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार मॉडल परिवारों (GPT-4o, Qwen2.5-72B/7B, LLaMA-3.1-8B) पर WebArena (वेब नेविगेशन) और ToolBench (API ऑर्केस्ट्रेशन) पर AgentHER का मूल्यांकन किया।

• प्रदर्शन लाभ (Performance Gains):
  • AgentHER-MJ (Multi-Judge) ने सभी मॉडलों और बेंचमार्क पर मानक SFT-Success (केवल सफलताओं पर प्रशिक्षण) की तुलना में +7.1 से +11.7 प्रतिशत अंक (pp) का सुधार किया।
  • उदाहरण: Qwen2.5-7B के साथ WebArena पर, प्रदर्शन 18.9% (SFT-Success) से बढ़कर 27.8% (AgentHER-MJ) हो गया।
• डेटा दक्षता (Data Efficiency):
  • AgentHER, SFT-Success के समान प्रदर्शन प्राप्त करने के लिए केवल 50% सफल प्रदर्शनों का उपयोग करता है, जो प्रभावी रूप से डेटा दक्षता को दोगुना करता है।
  • यह विफल प्रक्षेप पथों की मात्रा के साथ लॉग-लीनियर रूप से स्केल करता है, जबकि SFT-Success अतिरिक्त विफलताओं का उपयोग नहीं कर सकता।
• मॉडल स्केलिंग (Model Scaling):
  • लाभ मॉडल के आकार (1.5B से 72B) में सुसंगत हैं। छोटे मॉडल (7B/8B) सबसे अधिक लाभान्वित होते हैं, ToolBench पर +11.7 pp तक के लाभ के साथ, जो सुझाव देता है कि उनमें दुनिया के ज्ञान (world knowledge) की कमी होती है और वे विविध रीलेबल उदाहरणों से अधिक लाभ उठाते हैं।
• पुनरावृत्ति पुनर्नियोजन (Iterative Redeployment):
  • एक इटरेटिव लूप में AgentHER का उपयोग करना (बेहतर मॉडल से नए विफलताओं को एकत्र करना, रीलेबल करना और फिर से प्रशिक्षित करना) चक्रवृद्धि लाभ (compound gains) देता है, जो अतिरिक्त राउंड में +2.1 pp जोड़ता है।
• सामान्यीकरण (Generalization):
  • AgentHER के माध्यम से WebArena विफलताओं पर प्रशिक्षित मॉडलों ने ToolBench पर ज़ीरो-शॉट मूल्यांकन के दौरान +9.5 pp ट्रांसफर एडवांटेज दिखाया, जो यह सिद्ध करता है कि मॉडल विशिष्ट कार्य पैटर्न को याद करने के बजाय सामान्य योजना व्यवहार (general planning behaviors) सीखता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• प्रतिमान परिवर्तन (Paradigm Shift): AgentHER विफलताओं को त्यागने के उद्योग मानक को चुनौती देता है। यह तर्क देता कि सफलता और विफलता के बीच का अंतर कार्य-सापेक्ष (task-relative) है, न कि प्रक्षेप पथ-निरपेक्ष (trajectory-absolute)।
• लागत-प्रभावशीलता (Cost-Effectiveness): यह "संग्रहित अनुभव के प्रमुख स्रोत" (विफलताएं) को बिना किसी मानव एनोटेशन या अतिरिक्त एनवायरनमेंट रोलआउट के उच्च-मूल्य वाले प्रशिक्षण डेटा में बदल देता है।
• व्यावहारिक प्रभाव (Practical Impact): विफल प्रक्षेप पथों को SFT और DPO डेटासेट में बदलकर, AgentHER एजेंट क्षमताओं को सुधारने के लिए एक स्केलेबल, स्वचालित तरीका प्रदान करता है, विशेष रूप से छोटे मॉडलों और डेटा-दुर्लभ परिदृश्यों के लिए।

शोध पत्र निष्कर्ष निकालता है कि विफल प्रक्षेप पथों में क्षमता को पहचानना हर विफल परिनियोजन (deployment) को अगले संस्करण के लिए एक पाठ्यक्रम (curriculum) में बदल देता है।