Quick on the Uptake: Eliciting Implicit Intents from Human Demonstrations for Personalized Mobile-Use Agents

यहाँ शोध पत्र "Quick on the Uptake: Eliciting Implicit Intents from Human Demonstrations for Personalized Mobile-Use Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मोबाइल-यूज़ एजेंट, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) द्वारा संचालित होते हैं, मानव इंटरैक्शन की नकल करके ग्राफिकल यूजर इंटरफेस (GUIs) पर कार्यों को स्वचालित करने का लक्ष्य रखते हैं। जबकि मौजूदा दृष्टिकोण प्रदर्शन को बेहतर बनाने के लिए डेमोंस्ट्रेशन लर्निंग (demonstration learning) का उपयोग करते हैं, वे दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

• अंतर्निहित इरादे (Implicit Intent) की उपेक्षा: वर्तमान विधियाँ केवल स्पष्ट इरादा प्रवाह (explicit intention flows) (जैसे, स्टेप सीक्वेंस, ऑपरेशनल लॉजिक) पर ध्यान केंद्रित करती हैं। वे अंतर्निहित इरादा प्रवाह (implicit intention flows) को कैप्चर करने में विफल रहती हैं, जैसे कि व्यक्तिगत प्राथमिकताएँ, आदतें और उपयोगकर्ता-विशिष्ट पसंद, जो वास्तविक वैयक्तिकरण (personalization) के लिए अत्यंत महत्वपूर्ण हैं।
• मूल्यांकन और स्केलेबिलिटी का अभाव:
  • ऐसे बेंचमार्क की कमी है जो इंटेंशन अलाइनमेंट रेट (IAR) को मापने में सक्षम हो—अर्थात, एक एजेंट के कार्यों के किसी विशिष्ट उपयोगकर्ता के छिपे हुए इरादे के साथ संरेखण (alignment) की डिग्री, जो केवल कार्य पूरा करने से भिन्न है।
  • प्रत्येक उपयोगकर्ता के लिए एक अलग एजेंट को फाइन-ट्यून करना कम्प्यूटेशनल रूप से अव्यवहारिक है।

2. कार्यप्रणाली: IFRAgent फ्रेमवर्क (Methodology: IFRAgent Framework)

लेखक IFRAgent का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जिसे मानव प्रदर्शनों से स्पष्ट और अंतर्निहित दोनों इरादा प्रवाहों को निकालने और उपयोग करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क दो चरणों में कार्य करता है:

A. इंटेंशन फ्लो एक्सट्रैक्शन चरण (Intention Flow Extraction Phase)

यह चरण उपयोगकर्ता प्रोफाइल बनाने के लिए ऐतिहासिक मानव प्रदर्शनों को प्रोसेस करता है:

1. स्पष्ट प्रवाह विश्लेषण (Explicit Flow Analysis): एक एजेंट ($A_e$) उपयोगकर्ता के ट्राजेक्टरीज का विश्लेषण करके स्टैंडर्ड ऑपरेटिंग प्रोसीजर्स (SOPs) निकालता है। इन SOPs को एक क्वेरी-लेवल वेक्टर लाइब्रेरी $(l_j, p_j)$ के रूप में संग्रहीत किया जाता है, जहाँ $l_j$ एम्बेडेड क्वेरी है और $p_j$ SOP है।
2. अंतर्निहित प्रवाह विश्लेषण (Implicit Flow Analysis): एक एजेंट ($A_i$) अंतर्निहित व्यवहार पैटर्न की पहचान करने के लिए इंटरैक्शन सीक्वेंस का विश्लेषण करता है। इस जानकारी को एक यूज़र-लेवल हैबिट रिपॉजिटरी (user-level habit repository) ($h_i$) में क्रमिक रूप से अपडेट किया जाता है।

B. परिनियोजन चरण (Deployment Phase)

जब कोई उपयोगकर्ता एक नया (संभावित रूप से अस्पष्ट) प्रश्न $q$ जारी करता है:

1. रिट्रीवल (RAG): क्वेरी को एम्बेड किया जाता है और उपयोगकर्ता के SOP लाइब्रेरी के विरुद्ध मैच किया जाता है। यदि एक समान पिछला प्रश्न $q'$ मिलता है (समानता > थ्रेशोल्ड), तो उसका SOP $p'$ रिट्रीव किया जाता है।
2. SOP एक्सट्रैक्शन: एक फ्यू-शॉट लर्निंग मॉड्यूल (SOP एक्सट्रैक्टर $E$) रिट्रीव किए गए $(q', p')$ जोड़े का उपयोग वर्तमान क्वेरी $q$ के लिए एक मानक SOP $p$ उत्पन्न करने के लिए करता है।
3. वैयक्तिकृत पुनर्लेखन (Personalized Rewriting): एक क्वेरी राइटर ($W$), जिसे एक शक्तिशाली टीचर मॉडल (GPT-4o) से नॉलेज डिस्टिलेशन (Knowledge Distillation) के माध्यम से प्रशिक्षित किया गया है, मूल क्वेरी $q$, SOP $p$, और उपयोगकर्ता की हैबिट रिपॉजिटरी $h_i$ को इनपुट के रूप में लेता है। यह उन्हें एक वैयक्तिकृत क्वेरी ($\hat{q}$) और एक वैयक्तिकृत SOP ($\hat{p}$) में फिर से लिखता है जो उपयोगकर्ता की विशिष्ट आदतों और प्राथमिकताओं को दर्शाते हैं।
4. एग्जीक्यूशन (Execution): एक मोबाइल-यूज़ एजेंट ($F$) इन पुनर्गठित इनपुट्स और वर्तमान स्क्रीन स्टेट के आधार पर एक्शन $a$ को निष्पादित करता है।

3. मुख्य योगदान (Key Contributions)

A. MobileIAR डेटासेट

लेखकों ने MobileIAR पेश किया है, जो विशेष रूप से इंटेंशन अलाइनमेंट रेट (IAR) का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला डेटासेट और बेंचमार्क है।

• सामग्री: इसमें अंग्रेजी और चीनी उपयोगकर्ताओं के लिए 16 ऐप्स और 7 दैनिक परिदृश्यों में 945 निर्देश शामिल हैं।
• दोहरा एनोटेशन (Dual Annotation): मानक डेटासेट्स के विपरीत, MobileIAR प्रत्येक कार्य के लिए दो प्रकार के ग्राउंड ट्रुथ प्रदान करता है:
  1. ग्राउंड-ट्रुथ एक्शन लिस्ट्स (Ground-Truth Action Lists): वे क्रियाएं जो कार्य को सफलतापूर्वक पूरा करती हैं (सामान्य कार्य पूर्णता को मापती हैं)।
  2. ह्यूमन-इंटेंट-अलाइन्ड एक्शन्स (Human-Intent-Aligned Actions): वे विशिष्ट क्रियाएं जो एक मानव उपयोगकर्ता लेगा, जो उनकी व्यक्तिगत पसंद को दर्शाती हैं (इरादा संरेखण को मापती हैं)।
• महत्व: यह पहली बार मात्रात्मक मूल्यांकन सक्षम बनाता है कि एक एजेंट व्यक्तिगत उपयोगकर्ता के इरादे के साथ कितनी अच्छी तरह संरेखित होता है, न कि केवल कार्य की सफलता के साथ।

B. IFRAgent फ्रेमवर्क

एक नवीन आर्किटेक्चर जो स्पष्ट तर्क (SOPs) को अंतर्निहित आदतों से अलग करता है, जिससे एजेंट बिना प्रति-उपयोगकर्ता फाइन-ट्यूनिंग के उपयोगकर्ता की प्राथमिकताओं को "सीख" सकते हैं।

C. व्यापक मूल्यांकन

विभिन्न मॉडल्स (Qwen, UI-TARS जैसे ओपन-सोर्स और GPT-4o जैसे क्लोज्ड-सोर्स) और भाषाओं (अंग्रेजी/चीनी) में व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

अध्ययन ने MobileIAR डेटासेट पर स्टेट-ऑफ-द-आर्ट बेसलाइन्स के विरुद्ध IFRAgent का मूल्यांकन किया:

• प्रदर्शन लाभ (Performance Gains):
  • इंटेंशन अलाइनमेंट रेट (IAR): औसतन 6.56% एब्सोल्यूट (28.80% रिलेटिव सुधार) की वृद्धि हुई।
  • स्टेप-वाइज सक्सेस रेट (SR): औसतन 5.50% एब्सोल्यूट (24.20% रिलेटिव सुधार) की वृद्धि हुई।
• मॉडल निर्भरता (Model Dependency):
  • जनरल-डोमेन मॉडल्स: Qwen2.5-VL और GPT-4o जैसे मॉडल्स ने सबसे महत्वपूर्ण लाभ दिखाया। लेखक तर्क देते हैं कि जनरल मॉडल्स के पास अंतर्निहित इरादे को समझने के लिए बेहतर वर्ल्ड नॉलेज होती है, जबकि स्पेशलाइज्ड मोबाइल एजेंट्स अक्सर पोस्ट-ट्रेनिंग के दौरान जनरल नॉलेज को "भूल" जाते हैं।
  • स्केल विश्लेषण: सबसे महत्वपूर्ण सुधार 7B और 32B पैरामीटर वाले मॉडल्स में देखे गए। छोटे मॉडल्स (3B) में इंस्ट्रक्शन-फॉलोइंग क्षमता की कमी थी, जबकि बड़े मॉडल्स (72B) में पहले से ही उच्च बेसलाइन प्रदर्शन था।
• एब्लेशन और जनरलाइजेबिलिटी (Ablation & Generalizability):
  • SOP एक्सट्रैक्टर और क्वेरी राइटर दोनों आवश्यक हैं; किसी एक को हटाने से प्रदर्शन घट जाता है।
  • फ्रेमवर्क अन्य डेटासेट्स (जैसे, संशोधित OS-Kairos) पर भी अच्छी तरह से काम करता है और प्रभावी रूप से अंतर्निहित इरादे को एब्स्ट्रैक्ट करके मानक "SOP डेमोंस्ट्रेशन" विधियों (1-शॉट लर्निंग) से बेहतर प्रदर्शन करता है।
• दक्षता (Efficiency): अतिरिक्त इन्फरेंस टाइम न्यूनतम है क्योंकि राइटिंग और एक्सट्रैक्शन को एक छोटे, कुशल मॉडल (Qwen3-4B) द्वारा संभाला जाता है जो प्रति क्वेरी केवल एक बार प्रोसेस किया जाता है।

5. महत्व (Significance)

यह कार्य कार्य पूर्णता (task completion) से उपयोगकर्ता संरेखण (user alignment) की ओर ध्यान केंद्रित करके मोबाइल कार्यों के स्वचालन में एक महत्वपूर्ण अंतर को संबोधित करता है।

• पैराडाइम शिफ्ट: यह मोबाइल एजेंट्स को "जेनेरिक टास्क सॉल्वर" से "पर्सनलाइज्ड असिस्टेंट" में बदल देता है जो महंगे प्रति-उपयोगकर्ता मॉडल प्रशिक्षण की आवश्यकता के बिना उपयोगकर्ता की आदतों को समझते हैं।
• बेंचमार्किंग: MobileIAR का परिचय AI एजेंट्स की "मानव-समानता" और वैयक्तिकरण क्षमताओं का मूल्यांकन करने के लिए एक नया मानक स्थापित करता है।
• व्यावहारिकता: IFRAgent की प्लग-एंड-प्ले प्रकृति इसे एज डिवाइसेस या मौजूदा एजेंट पाइपलाइन्स के भीतर वैयक्तिकृत एजेंटों को तुरंत तैनात करने के लिए व्यवहार्य बनाती है।