तकनीकी सारांश: VeriTrace: गहन अनुसंधान एजेंटों के लिए विकसित होते मानसिक मॉडल (Evolving Mental Models)

समस्या विवरण (Problem Statement)

गहन अनुसंधान एजेंट (Deep research agents) विशाल, संरचनात्मक रूप से परस्पर निर्भर और व्यापक रूप से अनिश्चित सूचना परिदृश्यों में नेविगेट करने की चुनौती का सामना करते हैं। मौजूदा प्रणालियाँ LLM कॉन्टेक्स्ट विंडो से परे जाने के लिए मध्यवर्ती अनुसंधान आर्टिफैक्ट्स (जैसे आउटलाइन, एविडेंस बैंक, टू-डू लिस्ट) को बाहरी रूप देने का प्रयास करती हैं। हालाँकि, ये प्रणालियाँ काफी हद तक इन मध्यवर्ती निरूपणों (representations) को विकसित करने के लिए LLM के निहित (implicit) तर्क पर निर्भर करती हैं। लेखक तर्क देते हैं कि बिना स्पष्ट विनियमन (regulation) के, ये मध्यवर्ती परतें मिश्रित गुणवत्ता वाली सूचनाओं से आसानी से दूषित हो सकती हैं, जिससे निर्भरताओं के साथ त्रुटियाँ प्रसारित होती हैं। फलस्वरूप, वर्तमान प्रणालियाँ नियामक तंत्रों की अनुपस्थिति में मॉडल के स्केल (scale) को प्रतिस्थापित करने का प्रयास करती हैं, जिससे बैकबोन मॉडल के स्थिर होने या कार्यों के अत्यधिक अनिश्चित होने पर प्रदर्शन में गिरावट आती है।

मूल समस्या यह पहचानना है कि किन नियामक लूप्स (regulatory loops) की आवश्यकता है ताकि एक एजेंट का "मानसिक मॉडल" (कार्य का उसका मध्यवर्ती निरूपण) अव्यवस्था के अनुकूल बन सके, कार्य की समझ को वास्तविकता के साथ निरंतर संरेखित कर सके, और एक स्वस्थ दिशा में विकसित हो सके।

कार्यप्रणाली: VeriTrace फ्रेमवर्क (Methodology: The VeriTrace Framework)

लेखक एक संज्ञानात्मक-ग्राफ (cognitive-graph) फ्रेमवर्क प्रस्तावित करते हैं जो एजेंट के मानसिक मॉडल को नियंत्रित करने के लिए तीन विशिष्ट नियामक लूप्स को स्पष्ट रूप से लागू करता है। यह प्रणाली मध्यवर्ती परत को स्थिर स्मृति के रूप में नहीं, बल्कि एजेंट की सीखने की स्थिति, साक्ष्य अंतर्दृष्टि (evidence insights) और अनिश्चितताओं के एक गतिशील निरूपण के रूप में मानती है।

1. संज्ञानात्मक ग्राफ संरचना (Cognitive Graph Structure)

एजेंट का मानसिक मॉडल एक संज्ञानात्मक ग्राफ $G_t = (S_t, C_t)$ के रूप में स्थापित किया जाता है:

• नोड्स ($N_t$): जांच के अधीन अवधारणाओं (concepts) का प्रतिनिधित्व करते हैं। प्रत्येक नोड स्वीकृति मानदंड (acceptance criteria), संचित निष्कर्ष और एक संज्ञानात्मक अवस्था (UNKNOWN, PARTICAL, KNOWN) तथा एक गुणवत्ता प्रोफाइल को संग्रहीत करता है।
• एजेस ($E_t$): अवधारणाओं के बीच पूछताछ संबंधों (रणनीतिक प्रश्नों) का प्रतिनिधित्व करते हैं, जो खोज इतिहास और स्थिति (to-solve, investigating, solved, exhausted) को वहन करते हैं।
• सामग्री (Content): नोड्स और एजेस एक CR-AAP (Currency, Relevance, Authority, Accuracy, Purpose) स्कोरिंग तंत्र से प्राप्त संरचित निष्कर्षों, विरोधाभासों और गुणवत्ता स्कोर को संग्रहीत करते हैं।

2. तीन नियामक लूप्स (The Three Regulatory Loops)

VeriTrace तीन विशिष्ट फीडबैक लूप्स को संचालित करता है, जो संज्ञानात्मक विज्ञान की अवधारणाओं (metacognition, predictive processing, और assimilation/accommodation) को डिज़ाइन शब्दावली के रूप में उपयोग करते हैं:

• व्याख्यात्मक अपडेट (Interpretive Update - Assimilation):

  • तंत्र: जैसे-जैसे नए निष्कर्ष निकाले जाते हैं, उन्हें केवल निष्क्रिय रूप से संचित नहीं किया जाता है। इसके बजाय, संज्ञानात्मक ग्राफ मैनेजर वर्तमान ग्राफ अवस्था के विरुद्ध उनकी व्याख्या करता है। निष्कर्षों को पुष्ट करने वाले (confirming), विरोधाभासी (contradicting), अंतराल-भरने वाले (gap-filling), या आश्चर्यजनक (surprising) के रूप में वर्गीकृत किया जाता है।
  • कार्य: यह सक्रिय रूप से यह निर्धारित करता है कि क्या एक उपयोगी अवलोकन माना जाए। यह नोड के अवशेष मानदंडों और संज्ञानात्मक अवस्था को अपडेट करता है, जिससे यह सुनिश्चित होता है कि सिस्टम केवल मेमोरी स्टोर भरने के बजाय यह ट्रैक करे कि प्रत्येक अवधारणा कितनी हल हुई है।
  • कार्यान्वयन: एक स्ट्रक्चर्ड अपडेट ऑपरेटर ($\oplus_G$) का उपयोग करता है जो निष्कर्षों को दो-स्तरीय संरचना (आइटम-विशिष्ट और क्रॉस-आइटम) में समाहित करता है और संज्ञानात्मक अवस्था $\sigma$ को अपडेट करता है।

• विचलन फीडबैक (Deviation Feedback - Predictive Processing):

  • तंत्र: खोज से पहले, प्लानर एक अवधारणा के लिए अपेक्षाओं (expectations) की घोषणा करता है। खोज के बाद, परिणाम को इन अपेक्षाओं के विरुद्ध एक विचलन सिग्नल $\delta_t^j$ का उपयोग करके स्कोर किया जाता है, जिसमें सामग्री प्रासंगिकता, स्रोत विश्वसनीयता, पहुंच बाधाएं और अप्रत्याशित निष्कर्ष की शक्ति शामिल है।
  • कार्य: यह सिग्नल प्लानर को एक अनिर्दिष्ट पुन: प्रयास (undifferentiated retry) के बजाय पाँच विशिष्ट खोज रणनीतियों (Exploit, Verify, Substitute, Pivot, Explore) में से एक की ओर निर्देशित करता है। यह सिस्टम को एक रणनीतिक विफलता (गलत स्रोत) और एक फ्रेमिंग विफलता (गलत अवधारणा) के बीच अंतर करने की अनुमति देता है।
  • कार्यान्वयन: एक मैपिंग $\pi: D \to A_{search}$ विचलन स्थान को विभाजित करती है ताकि इष्टतम अगली कार्रवाई का चयन किया जा सके।

• स्कीमा संशोधन (Schema Revision - Accommodation):

  • तंत्र: जब संचित फीडबैक यह संकेत देता है कि वर्तमान फ्रेमिंग स्वयं वास्तविकता से विचलित हो रही है (उदाहरण के लिए, विरोधाभास जमा हो रहे हैं या विचलन सिग्नल एक ही क्षेत्र में बने हुए हैं), तो एजेंट एक संरचनात्मक पुनर्गठन ऑपरेशन का प्रस्ताव करता है।
  • कार्य: यह मौजूदा साक्ष्यों (Invariant I1) को सुरक्षित रखते हुए अवधारणा लेबल, संबंध और जांच लक्ष्यों को फिर से लिखता है। यह एजेंट को एक गलत प्रारंभिक फ्रेमिंग में बंधे रहने के बजाय उससे बाहर निकलने की अनुमति देता है।
  • कार्यान्वयन: पाँच संरचनात्मक ऑपरेटर ($R_{conc}, R_{aug}, R_{pivot}, R_{prune}, R_{correct}$) ग्राफ टोपोलॉजी को संशोधित करते हैं। उदाहरण के लिए, $R_{conc}$ एक प्लेसहोल्डर नोड को विशिष्ट संस्थाओं में ठोस बनाता है, और $R_{pivot}$ तब डिपेंडेंसी एक्सिस को घुमाता है जब साक्ष्य किसी इकाई के बजाय आयाम (dimension) द्वारा सह-स्थित होते हैं।

3. सिस्टम डायनेमिक्स (System Dynamics)

सिस्टम Assimilation (खोज कार्यों को भेजना और ग्राफ को अपडेट करना) और Accommodation (संरचनात्मक पुनर्गठन का प्रस्ताव देना) के बीच बारी-बारी से चलता है। एक राइटिंग पाइपलाइन अंतिम ग्राफ और एविडेंस स्टोर का उपभोग करके एक रिपोर्ट तैयार करती है, जो तीन-स्तरीय प्रक्रिया (Outline Planner, Section Planner, Section Writer) के माध्यम से सूचना एक्सेस को सख्ती से सीमित करती है और साइटेशन ट्रैसेबिलिटी सुनिश्चित करती है।

मुख्य योगदान (Key Contributions)

1. नियामक लूप्स की पहचान: यह पेपर तीन स्पष्ट फीडबैक लूप्स (interpretive update, deviation feedback, schema revision) की पहचान करता है जो अनिश्चितता के तहत एजेंट के मानसिक मॉडल को विनियमित करने के लिए केंद्रीय तंत्र के रूप में कार्य करते हैं।
2. VeriTrace कार्यान्वयन: एक संज्ञानात्मक-ग्राफ फ्रेमवर्क जो अनुसंधान को उप-कार्यों के बजाय अवधारणाओं के इर्द-गिर्द व्यवस्थित करता है, और संरचनात्मक संशोधन के तहत साक्ष्य संरक्षण को सक्षम करने के लिए तीनों लूप्स को स्पष्ट रूप से लागू करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि स्पष्ट नियामक लूप्स, केवल बैकबोन मॉडल के स्केल से प्राप्त करने योग्य प्रदर्शन से बेहतर गहन अनुसंधान प्रदर्शन प्रदान करते हैं।

परिणाम (Results)

लेखकों ने DeepResearch Bench (DRB) और DeepConsult पर VeriTrace का मूल्यांकन किया।

• प्रदर्शन लाभ: मैच की गई Qwen3.5-27B बैकबोन का उपयोग करते हुए, VeriTrace ने सबसे मजबूत मैच की गई बेसलाइन (WebWeaver) को DRB के Insight आयाम पर 4.22 प्रतिशत अंक (pp) और Overall स्कोर पर 1.49 pp से पीछे छोड़ा। DeepConsult पर, इसने 5.9 pp अधिक समग्र जीत दर हासिल की।
• स्टेट-ऑफ-द-आर्ट ओपन सोर्स: Config-DeepSeek बैकबोन (DeepSeek-V4-Pro) के साथ, VeriTrace ने DRB पर सबसे मजबूत प्रतिलिपि प्रस्तुत करने योग्य (reproducible) ओपन-सोर्स परिणाम (Overall 55.77, Insight 59.56) प्राप्त किया।
• एब्लेशन अध्ययन (Ablation Studies):
  • Deviation Feedback को हटाने (A1) से सबसे बड़ी एकल गिरावट (−1.65 pp) हुई, जिससे खोज मात्रा में 31% की वृद्धि हुई जबकि सफलता दर कम हो गई।
  • Schema Revision (A2) और Interpretive Update (A3) को हटाने से अनुकूलन-संवेदनशील (accommodation-sensitive) सबसेट पर प्रदर्शन में महत्वपूर्ण गिरावट आई (−4.75 pp और −5.18 pp क्रमशः)।
  • पूर्ण एब्लेशन (Afull) ने प्रदर्शन को बेसलाइन से नीचे गिरा दिया, जिससे पुष्टि हुई कि नियामक लूप केवल योगात्मक (additive) नहीं बल्कि मौलिक हैं।

महत्व और दावे (Significance and Claims)

यह पेपर तर्क देता है कि गहन अनुसंधान की "स्केल-हंग्री" प्रकृति आंशिक रूप से गायब नियामक लूप्स के कारण है, जहाँ मॉडल स्केल अनुपस्थित विनियमन का विकल्प बनता है। VeriTrace सिद्ध करता है कि स्पष्ट विनियमन उन अक्षों पर "हेडरूम" (headroom) बना सकता है जो केवल स्केलिंग से संभव नहीं है।

• स्केल से परे: यहाँ तक कि छोटे बैकबोन के साथ भी, VeriTrace का विनियमित मानसिक मॉडल इसे Insight आयाम पर बहुत बड़े फ्रंटियर मॉडल्स (जैसे Claude-Sonnet-4.5) को भी पछाड़ देता है। यह सुझाव देता है कि तर्क की प्रक्रिया की गुणवत्ता (मॉडल किस चीज़ पर तर्क कर रहा है) मॉडल की कच्ची तर्क शक्ति (raw reasoning power) जितनी ही महत्वपूर्ण है।
• स्व-विनियमन को क्रियान्वित करना (Operationalizing Self-Regulation): यह कार्य स्व-विनियमन (metacognition, predictive processing) को एक रूपक के बजाय एक निष्पादन योग्य तंत्र के रूप में क्रियान्वित करता है। यह ऐसे एजेंट बनाने के लिए एक डिज़ाइन शब्दावली प्रदान करता है जो लंबे समय तक चलने वाले, अनिश्चित कार्यों के अनुकूल होने के लिए अपने आंतरिक कार्य मॉडल को बाहरी वास्तविकता के साथ निरंतर संरेखित कर सकते हैं।
• सीमाएँ: लेखक नोट करते हैं कि मूल्यांकन वर्तमान में DeepResearch Bench और DeepConsult पर केंद्रित है, और अन्य खुले वातावरण के कार्यों (जैसे वेब नेविगेशन, वैज्ञानिक खोज) के लिए सामान्यीकरण अभी भी मान्य किया जाना बाकी है। इसके अतिरिक्त, पुनर्गठन ट्रिगर्स (restructuring triggers) अनुमानी (heuristic) हैं, और सिस्टम वर्तमान में प्रति कार्य शून्य से ग्राफ बनाता है बिना क्रॉस-टास्क ट्रांसफर के।