← नवीनतम पेपर
🤖 AI

LiteGUI: Distilling Compact GUI Agents with Reinforcement Learning

यह शोध पत्र LiteGUI का प्रस्ताव करता है, जो एक नवीन SFT-मुक्त प्रशिक्षण प्रतिमान है जो गाइडेड ऑन-पॉलिसी डिस्टिलेशन और एक मल्टी-सॉल्यूशन ड्यूल-लेवल GRPO फ्रेमवर्क को जोड़ता है ताकि हल्के, ऑन-डिवाइस GUI एजेंटों के प्रदर्शन को महत्वपूर्ण रूप से बढ़ाया जा सके, जिससे 2B/3B स्केल के मॉडल बहुत बड़े मॉडलों के बराबर अत्याधुनिक परिणाम प्राप्त करने में सक्षम हो सकें।

मूल लेखक: Yubin Wu, Zicheng Cai, Liping Ning, Hua Wang, Zhi Chen, Yaohua Tang, Hao Chen

प्रकाशित 2026-05-11
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Yubin Wu, Zicheng Cai, Liping Ning, Hua Wang, Zhi Chen, Yaohua Tang, Hao Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "पॉकेट-साइज़्ड" कंप्यूटर बटलर (एक छोटा निजी सहायक)

कल्पना कीजिए कि आप एक ऐसा कंप्यूटर सहायक चाहते हैं जो आपके लिए बटन क्लिक कर सके, टेक्स्ट टाइप कर सके और मेनू में नेविगेट कर सके। आमतौर पर, एक स्मार्ट असिस्टेंट बनाने के लिए, आपको एक विशाल, सुपर-पावरफुल दिमाग (एक विशाल AI मॉडल) की आवश्यकता होती है जो किसी डेटा सेंटर में रहता है। यह एक पीएचडी प्रोफेसर को आपकी किराने की खरीदारी करने के लिए काम पर रखने जैसा है। यह बहुत अच्छा काम करता है, लेकिन यह महंगा, धीमा है, और आप इसे अपनी जेब में लेकर नहीं घूम सकते।

इस शोध पत्र के लेखकों ने पूछा: "क्या हम एक छोटा, हल्का सहायक (एक '2B' या '3B' पैरामीटर मॉडल) बना सकते हैं जो आपके फोन या लैपटॉप में फिट हो सके लेकिन उन विशाल प्रोफेसरों जितना ही स्मार्ट हो?"

इसका उत्तर है हाँ, लेकिन पुराने पारंपरिक तरीके से सिखाकर नहीं। उन्होंने एक नया प्रशिक्षण सिस्टम बनाया है जिसे LiteGUI कहा जाता है।

समस्या: "कठोर रोबोट" का जाल (The "Rigid Robot" Trap)

आमतौर पर, एक छोटे AI को सिखाने के लिए, हम सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) नामक विधि का उपयोग करते हैं। इसे एक सख्त शिक्षक की तरह समझें जो एक छात्र को पहेली सुलझाने के लिए एक ही, सटीक रास्ते को दिखाता है।

  • समस्या: यदि छात्र (छोटा AI) थोड़ा अलग रास्ता लेने की कोशिश करता है, तो शिक्षक उसे डांटता है।
  • परिणाम: छात्र एक "कठोर रोबोट" बन जाता है। वे सटीक रास्ते को याद कर लेते हैं लेकिन अगर स्थिति थोड़ी भी बदल जाए, तो वे घबरा जाते हैं। वे यह भी "भूलने" लगते हैं जो वे पहले से जानते थे (जैसे कि टाइप करना या क्लिक करना) क्योंकि वे नए, संकीर्ण नियमों पर बहुत अधिक केंद्रित होते हैं। इसे कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) कहा जाता है।

समाधान: एक नया ट्रेनिंग कैंप

लेखक एक दो-चरणीय प्रशिक्षण कैंप का प्रस्ताव देते हैं जो पूरी तरह से "कठोर SFT" शिक्षक को छोड़ देता है। इसके बजाय, वे गाइडेड डिस्टिलेशन (Guided Distillation) और रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) के मिश्रण का उपयोग करते हैं।

चरण 1: गाइडेड ऑन-पॉलिसी डिस्टिलेशन (The "Smart Shadow")

कल्पना कीजिए कि एक छात्र (छोटा AI) एक भूलभुलैया (maze) को सुलझाने की कोशिश कर रहा है।

  • पुराना तरीका: शिक्षक बस कहता है, "तुमने गलत किया," और एक सही रास्ता दिखाता है।
  • LiteGUI का तरीका: छात्र भूलभुलैया को सुलझाने की कोशिश करता है। शिक्षक (एक विशाल, स्मार्ट AI) उसे देखता है। लेकिन यहाँ एक चाल है: शिक्षक केवल छात्र के बिखरे हुए प्रयास को ही नहीं देखता। शिक्षक उस विशेष स्थान के लिए सभी संभावित सही चालों के एक चीट शीट (cheat sheet) को भी देखता है।

शिक्षक फिर कहता है, "ठीक है, तुमने बाईं ओर जाने की कोशिश की। यह वास्तव में एक वैध चाल है! यहाँ तुम्हारे मूव का एक 'शैडो' (छाया) संस्करण है जो थोड़ा बेहतर है।"

  • उपमा (Analogy): यह एक कोच की तरह है जो केवल "गलत!" नहीं कहता, बल्कि कहता है, "तुम सही रास्ते पर हो, लेकिन इस विशिष्ट बदलाव के साथ कोशिश करो।" यह छात्र को शिक्षक की "भ्रम" (hallucinations/गलतियों) से भ्रमित हुए बिना और केवल एक एकल पथ की नकल करने के लिए मजबूर किए बिना सीखने में मदद करता है।

चरण 2: मल्टी-सॉल्यूशन डुअल-लेवल GRPO (The "Strategy Game")

एक बार जब छात्र बुनियादी बातें सीख लेता है, तो वे वीडियो गेम मोड में प्रवेश करते हैं जिसे रीइन्फोर्समेंट लर्निंग कहा जाता है।

  • पुराने गेम्स की समस्या: कई AI गेम्स में, यदि आप एक वैध रास्ता चुनते हैं जो गेम डिजाइनर द्वारा लिखा गया सटीक रास्ता नहीं है, तो आपको "गेम ओवर" (नकारात्मक स्कोर) मिलता है। यह AI की रचनात्मकता को रोकता है।
  • LiteGUI का समाधान: उन्होंने एक मल्टी-सॉल्यूशन (Multi-Solution) नियम पेश किया।
    • उपमा: कल्पना कीजिए कि आपको रसोई में जाना है। आप सामने के दरवाजे से, पीछे के दरवाजे से, या खिड़की से जा सकते हैं। पुराने सिस्टम में, केवल सामने का दरवाजा ही "सही" था। LiteGUI में, तीनों दरवाजे वैध हैं। यदि आप खिड़की चुनते हैं, तो भी आपको अंक मिलते हैं! यह AI को समस्याओं को हल करने के विभिन्न तरीकों का पता लगाने के लिए प्रोत्साहित करता है।

उन्होंने एक डुअल-लेवल (Dual-Level) स्कोरकार्ड भी जोड़ा:

  1. माइक्रो-लेवल (द स्टेप): क्या आपने अभी सही बटन क्लिक किया?
  2. मैक्रो-लेवल (द प्लान): क्या आप वास्तव में अंतिम लक्ष्य की ओर बढ़ रहे हैं, या आप बस बेतरतीब ढंग से बटन क्लिक कर रहे हैं?
  • परिणाम: AI न केवल यह सीखता है कि कैसे क्लिक करना है, बल्कि यह भी कि वह क्यों क्लिक कर रहा है, जिससे यह जटिल कार्यों की योजना बनाने और बिना भटके लंबे कार्यों को पूरा करने में सक्षम होता है।

टूलकिट: प्रशिक्षण डेटा बनाना

इसे काम करने के लिए, लेखक मौजूदा डेटा का उपयोग नहीं कर सकते थे। उन्होंने अपना स्वयं का प्रशिक्षण डेटा बनाने के लिए एक फैक्ट्री (एक स्वचालित पाइपलाइन) बनाई।

  • उन्होंने एक विशाल AI का उपयोग हजारों कंप्यूटर कार्यों को उत्पन्न करने के लिए किया।
  • फिर, उन्होंने मनुष्यों से इन कार्यों को सत्यापित करवाया और, महत्वपूर्ण रूप से, प्रत्येक चरण के लिए कई सही तरीकों को एनोटेट (annotate) करवाया।
  • उन्होंने इस डेटा (जिसे Lite-Dataset कहा जाता है) और एक नए टेस्ट सूट (जिसे Lite-Bench कहा जाता है) को जारी किया ताकि अन्य लोग अपने स्वयं के छोटे AI एजेंटों का परीक्षण कर सकें।

परिणाम: छोटा लेकिन शक्तिशाली

जब उन्होंने अपने नए "LiteGUI" एजेंटों का परीक्षण किया:

  • प्रदर्शन: उनका छोटा 2-बिलियन-पैरामीटर वाला मॉडल (LiteGUI-2B) छोटे मॉडलों के बीच चैंपियन बना।
  • चौंकाने वाला तथ्य: इसने न केवल अन्य छोटे मॉडलों को हराया; इसने उन मॉडलों के लगभग बराबर प्रदर्शन किया जो इससे 10 से 20 गुना बड़े हैं।
  • दक्षता (Efficiency): इसने बहुत कम प्रशिक्षण डेटा का उपयोग करके यह उपलब्धि हासिल की, जो यह साबित करता है कि आप AI को कैसे सिखाते है यह केवल अधिक डेटा डालने से ज्यादा महत्वपूर्ण है।

सारांश

यह शोध पत्र दावा करता है कि छोटे AI मॉडलों को एक एकल "परफेक्ट" पथ की नकल करने के लिए मजबूर करने के बजाय, उन्हें कई वैध पथों को पहचानने और एक स्मार्ट "शैडो" शिक्षक का उपयोग करके आगे की योजना बनाने की शिक्षा देकर, हम छोटे, ऑन-डिवाइस कंप्यूटर एजेंट बना सकते हैं जो आश्चर्यजनक रूप से शक्तिशाली, लचीले और जटिल कार्यों को संभालने में सक्षम हैं, जिन्हें सुपरकंप्यूटर की आवश्यकता नहीं है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →