तकनीकी सारांश: AURA: स्थित (Situated) LLM एजेंटों में अंतर्निहित आवश्यकताओं को उजागर करने के लिए इरादा-निर्देशित प्रोबिंग (Intent-Directed Probing)

1. समस्या की परिभाषा

यह शोध पत्र वर्तमान LLM-आधारित स्थित एजेंटों (situated agents) की एक महत्वपूर्ण सीमा को संबोधित करता है: उपयोगकर्ता के प्रश्न की शाब्दिक सामग्री (literal content) का उत्तर देने की प्रवृत्ति, जबकि वह अंतर्निहित सूचनात्मक आवश्यकता (implicit information need) को समझने में विफल रहता है। संरचित वातावरणों में जहाँ निजी स्थिति (जैसे, एक एजेंट का मूड, उपलब्धता, या अनकहे लक्ष्य) टूल-मध्यस्थ पहुँच (tool-mediated access) के पीछे छिपी होती है, मानक एजेंट अक्सर यह अनुमान लगाने में विफल रहते हैं कि "लिन वेई कहाँ हैं?" जैसे प्रश्न का वास्तविक अर्थ "क्या लिन वेईई चैट करने के लिए स्वतंत्र हैं?" या "क्या उन्हें बाधित करना उचित है?" हो सकता है।

मौजूदा दृष्टिकोण जैसे ReAct तर्क और टूल के उपयोग को आपस में जोड़ते हैं लेकिन केवल तभी टूल्स को ट्रिगर करते हैं जब सतह पर दिया गया प्रश्न स्पष्ट रूप से उनकी मांग करता है। Plan-and-Solve शाब्दिक प्रश्नों के आधार पर टूल्स की पूर्व-योजना बनाता है, और Generative Agents पूरे परिवेश की स्थिति को निष्क्रिय संदर्भ (passive context) के रूप में इंजेक्ट करता है बिना इस बात पर नियंत्रण के कि किन निजी स्थितियों को सामने लाया जाए। फलस्वरूप, एजेंट अधूरे संदर्भ के साथ निर्णय लेते हैं, वर्तमान स्थिति में ग्राउंडिंग करने के बजाय विवरण गढ़ते हैं, और परिवेश की स्थिति को उपयोगकर्ता के अगले कार्य के लिए विशिष्ट संदर्भ में बदलने में विफल रहते हैं।

2. कार्यप्रणाली: AURA फ्रेमवर्क

AURA एक नियंत्रण तंत्र पेश करता है जो दृश्य धारणा (scene perception) और टूल उपयोग के बीच एक अनुमान चरण (inference step) सम्मिलित करता है। यह एक "स्थित" (situated) शासन में कार्य करता है जहाँ निजी स्थिति को विभाजित किया गया है और केवल सक्रिय प्रोबिंग के माध्यम से सुलभ है।

मुख्य वास्तुकला (Core Architecture)

फ्रेमवर्क दो चरणों से बना है:

1. नियत संदर्भ संयोजन (Deterministic Context Assembly): एक निष्क्रिय चरण (Sense → Scene → Memory) जो सार्वजनिक संदर्भ को एकत्रित करता है, जैसा कि Generative Agents में होता है।
2. LLM-नियंत्रित तर्क (LLM-Controlled Reasoning): नवीन योगदान, जिसमें शामिल हैं:
   • IntentInferrer: एक LLM-मध्यस्थ चरण जो एक IntentFrame उत्पन्न करता है।
   • Explore: एक सीमित प्रोएक्टिव प्रोबिंग लूप जो IntentFrame के निर्देशों के आधार पर टूल कॉल निष्पादित करता है।
   • Reason/Act/Interact: अंतिम प्रतिक्रिया निर्माण और इंटरेक्शन।

IntentFrame

मुख्य नवाचार IntentFrame है, जो किसी भी टूल को कॉल करने से पहले IntentInferrer द्वारा उत्पन्न एक संरचित आउटपुट है। इसमें शामिल हैं:

• $\ell$ (Literal Need): सतह के प्रश्न का पुनर्कथन।
• $I$ (Implicit Needs): संभावित छिपी हुई आवश्यकताओं की सूची (जैसे, उपलब्धता, मूड)।
• $g$ (Gap Score): $[0, 1]$ में एक स्केलर मान जो शाब्दिक उत्तर और अंतर्निहित आवश्यकता के बीच विचलन को दर्शाता है।
• $P$ (Recommended Probes): जांच के लिए उम्मीदवार टूल्स का एक उपसमुच्चय।
• $a$ (Alert Flag): यह इंगित करता है कि क्या 'हेड्स-अप अलर्ट' की आवश्यकता है।
• $c$ (Confidence): स्व-रिपोर्ट की गई सटीकता।
• $r$ (Rationale): अनुमान के लिए तर्क।

सीमित प्रोएक्टिव प्रोबिंग (Bounded Proactive Probing)

Explore चरण गैप स्कोर $g$ का उपयोग करके एक प्रोब बजट सीलिंग (probe budget ceiling) $B(g)$ निर्धारित करता है।

• मैपिंग नियत (deterministic) है: $g \in [0, 0.2) \to B=0$, से लेकर $g \in [0.8, 1] \to B=5$ तक।
• महत्वपूर्ण रूप से, $B(g)$ एक सीलिंग (छत) है, लक्ष्य नहीं। LLM प्लानर यह तय करता है कि कार्रवाई योग्य जानकारी प्राप्त होने के बाद प्रोबिंग कब रोकनी है, जो अक्सर सीलिंग की तुलना में कम प्रोब्स जारी करता है।
• यह लूप लक्ष्य-निर्देशित, सीमित (API लागत को नियंत्रित करने के लिए), और कंपोजेबल (परिणाम अगले निर्णयों के लिए संदर्भ को अपडेट करते हैं) है।

3. प्रमुख योगदान

1. नियंत्रण चर के रूप में IntentFrame: शोध पत्र IntentFrame को एक प्री-टूल रूटिंग निर्णय के रूप में पेश करता है जो गैप अनुमान को अलग करता है। यह एजेंट को यह निर्धारित करने की अनुमति देता है कि उसे कौन सी निजी-स्थिति प्रोब्स जारी करनी चाहिए और टूल कॉल करने से पहले कितनी करनी चाहिए।
2. Implicit-Need बेंचमार्क पर अनुभवजन्य सत्यापन: 100-प्रश्न, चार-दृश्य बेंचमार्क पर, AURA ReAct-शैली की प्रोबिंग की तुलना में अंतर्निहित-आवश्यकता कवरेज में महत्वपूर्ण सुधार करता है ($\Delta = +0.07$, $p < 10^{-6}$)। चार में से तीन दृश्यों ने व्यक्तिगत सार्थकता दिखाई।
3. तंत्र लक्षण वर्णन (Mechanism Characterization): लेखक प्रदर्शित करते हैं कि प्रदर्शन में वृद्धि LLM द्वारा गैप कैलिब्रेशन के माध्यम से संचालित होती है, न कि उत्तर रटने से। एब्लेशन अध्ययन दिखाते हैं कि फ्यू-शॉट उदाहरणों को हटाने से लाभ समाप्त हो जाता है, और LLM IntentInferrer को एक ह्यूरिस्टिक से बदलने पर प्रदर्शन 0.803 से गिरकर 0.368 हो जाता है।
4. एक्सेस-कॉस्ट पारेटो फ्रंटियर (Access-Cost Pareto Frontier): तथ्यात्मक ग्राउंडिंग कार्यों में, AURA अनिवार्य रूप से कच्ची सटीकता को अधिकतम नहीं करता है, बल्कि एक पारेटो अनुकूल बिंदु प्राप्त करता है: यह फिक्स्ड-प्रोब बेसलाइन्स की तुलना में प्रोब काउंट को 82% कम करता है और गोपनीयता-संवेदनशील स्लाइस पर 0% निषिद्ध-टूल उल्लंघन (forbidden-tool violations) प्राप्त करता है, जबकि अन्य विधियाँ अक्सर गोपनीयता बाधाओं का उल्लंघन करती हैं।
5. ओपन रिसोर्स: AURATown सिम्युलेटर, उपश्रेणी लेबल वाला 100-प्रश्न बेंचमार्क (इंटर-एनोटेटर सहमति $\kappa=0.61$), और प्रति-सीड रन रिकॉर्ड का विमोचन।

4. प्रयोगात्मक परिणाम

मूल्यांकन gpt-4o-mini को बैकबोन और जज के रूप में उपयोग करता है, जिसमें claude-haiku-4.5 और qwen-plus पर क्रॉस-बैकबोन मजबूती की जाँच की गई है।

• Implicit-Need Surfacing: AURA-Intent ने 0.804 का अंतर्निहित-आवश्यकता कवरेज स्कोर प्राप्त किया, जो NoIntent (ReAct-शैली) के 0.733 और Literal के 0.223 से काफी बेहतर है। सबसे अधिक लाभ "उपलब्धता" वाले प्रश्नों में देखा गया जहाँ सतह का रूप पूरी तरह से अंतर्निहित आवश्यकता को छिपा देता है।
• Factual Grounding: तथ्यात्मक लुकअप कार्यों में, AURA (GapRouted) ने 1.40 प्रोब्स के औसत के साथ 0.696 की तथ्यात्मक सटीकता (FA) प्राप्त की। यह Fixed-Probe बेसलाइन (FA 0.766, 8.00 प्रोब्स) से कम है, लेकिन यह एक विशाल दक्षता लाभ का प्रतिनिधित्व करता है।
• Privacy: एक गोपनीयता-संवेदनशील स्लाइस पर, GapRouted ने निषिद्ध-टूल उल्लंघनों को 0% तक कम कर दिया, जबकि Plan-and-Solve के लिए यह 78.9% और ReAct के लिए 25.6% था।
• मानव मूल्यांकन: स्वतंत्र रेटर्स ने पर्यावरणीय जागरूकता, प्रतिक्रिया की उपयोगिता, एजेंट की विश्वसनीयता और तथ्यात्मक सटीकता में वैनिला LLMs की तुलना में AURA को काफी उच्च स्कोर दिया।

5. महत्व और दावे

शोध पत्र AURA को एक सार्वभौमिक सटीकता बूस्टर के रूप में नहीं, बल्कि छिपी हुई निजी स्थितियों वाले वातावरण में काम करने वाले स्थित एजेंटों (situated agents) के लिए एक विशेष तंत्र के रूप में प्रस्तुत करता है।

• दायरा (Scope): लेखक स्पष्ट रूप से कहते हैं कि AURA "टूल-मध्यस्थ छिपी हुई स्थिति वाले स्थित शासन" को लक्षित करता है। यह ओपन-वर्ल्ड एक्सप्लोरेशन या एम्बोडीड नेविगेशन के लिए डिज़ाइन नहीं किया गया है।
• ट्रेड-ऑफ: यह तंत्र एक एक्सेस-कॉस्ट पारेटो पॉइंट है। यह तथ्यात्मक परिदृश्यों में प्रोब लागत और गोपनीयता उल्लंघनों में महत्वपूर्ण कमी के साथ कच्ची तथ्यात्मक सटीकता का व्यापार करता है, जबकि अंतर्निहित-आवश्यकता परिदृश्यों में प्राथमिक सटीकता वृद्धि प्रदान करता है।
• नियंत्रण बिंदु (Control Point): पेपर का तर्क है कि इरादा-निर्देशित प्रोबिंग एक विशिष्ट नियंत्रण बिंदु (गैप अनुमान) पर एक LLM-प्रॉम्प्टेड ऑपरेशन है, न कि पूरे पाइपलाइन का एक उभरता हुआ गुण।
• सीमाएँ: लेखक स्वीकार करते हैं कि फ्यू-शॉट उदाहरण गैप कैलिब्रेशन के लिए "लोड-बियरिंग" (महत्वपूर्ण) हैं। वे यह भी नोट करते कि वर्तमान गैप-टू-बजट मैप एक हाथ से ट्यून किया गया स्टेप फंक्शन है, जो सुझाव देता है कि इंटरैक्शन लॉग से इस मैपिंग को सीखना भविष्य में सुधार हो सकता है। यह ढांचा बिना विशिष्ट अनुकूलन के बाहरी विश्वास बेंचमार्क (जैसे, FANToM) में स्वतः स्थानांतरित नहीं होता है।

संक्षेप में, AURA जटिल, मल्टी-एजेंट वातावरण में यह बताने के लिए एक संरचित दृष्टिकोण प्रदान करता है कि उपयोगकर्ता क्या पूछता है और वास्तव में उन्हें क्या जानने की आवश्यकता है, जिससे एजेंट बिना अंधाधुंध या गोपनीयता का उल्लंघन करने वाली प्रोबिंग के, छिपी हुई स्थिति को सक्रिय रूप से सामने ला सकते हैं।