💬 NLP

Tool-Call Dependency Structure is Linearly Decodable in LLM Agent Residual Streams

यह शोध पत्र यह प्रदर्शित करता है कि LLM एजेंटों में टूल-कॉल प्रक्षेपवक्र (tool-call trajectories) का निर्देशित निर्भरता ग्राफ (directed dependency graph), मॉडल के रेसिडुअल स्ट्रीम्स (residual streams) से रैखिक रूप से डिकोड करने योग्य है, जो यह दर्शाता है कि नेटवर्क केवल स्थितिगत क्रम या पहचानकर्ता मानों को ट्रैक करने के बजाय सक्रिय रूप से अमूर्त निष्पादन टोपोलॉजी (abstract execution topology) का प्रतिनिधित्व करता है।

मूल लेखक: Tianda Sun, Dimitar Kazakov

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianda Sun, Dimitar Kazakov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक योजना के "भूत" (Ghost) को पढ़ना

कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक बहुत ही बुद्धिमान, लेकिन थोड़ा भुलक्कड़ सहायक की तरह है। जब आप इस सहायक को कोई जटिल कार्य करने के लिए कहते हैं—जैसे कि "एक उपयोगकर्ता को खोजें, उनका ऑर्डर देखें, और फिर उत्पाद बदलें"—तो वह इसे एक ही बड़े कदम में नहीं करता। उसे कई कदम उठाने होते हैं, और इस दौरान अलग-अलग टूल्स का उपयोग करना होता है।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या मॉडल यह "जानता" है कि ये चरण आपस में कैसे जुड़े हुए हैं जबकि वह सोच रहा होता है?

विशेष रूप से, यदि चरण A वह जानकारी देता है जिसकी आवश्यकता चरण B को है, तो क्या मॉडल का आंतरिक मस्तिष्क (इसका "रेसिडुअल स्ट्रीम") वास्तव में उस जुड़ाव को दिखाने वाला एक मानचित्र (map) रखता है? या मॉडल केवल पिछले शब्द के आधार पर अगले चरण का अनुमान लगा रहा है?

शोधकर्ताओं ने पाया कि हाँ, मॉडल वास्तव में यह मानचित्र रखता है। उन्होंने एक छोटा, सरल "डिकोडर" बनाया जो मॉडल के आंतरिक विचारों को पढ़ सकता है और छिपे हुए डिपेंडेंसी ग्राफ (dependency graph - यानी यह मानचित्र कि किसे किससे क्या चाहिए) को उच्च सटीकता के साथ प्रकट कर सकता है।

उपमा: निर्माण स्थल का ब्लूप्रिंट (The Construction Site Blueprint)

मॉडल को एक निर्माण स्थल (construction site) के रूप में सोचें।

टूल्स (The Tools): मॉडल "Get User" या "Get Order" जैसे टूल्स का उपयोग करता है।
ट्रैजेक्टरी (The Trajectory): मॉडल द्वारा लिए गए कार्यों का क्रम।
डिपेंडेंसी ग्राफ (The Dependency Graph): यह ब्लूप्रिंट है। यह कहता है, "आप कंक्रीट (चरण B) तब तक नहीं डाल सकते जब तक आपके पास सीमेंट की डिलीवरी की रसीद (चरण A) न हो।"

आमतौर पर, हम केवल बना हुआ भवन (अंतिम उत्तर) देखते हैं। हम श्रमिकों के दिमाग के अंदर का ब्लूप्रिंट नहीं देख पाते। यह शोध पत्र एक विशेष एक्स-रे चश्मे को पहनने जैसा है जो हमें काम करते समय श्रमिकों के दिमाग में तैरते हुए ब्लूप्रिंट को देखने की अनुमति देता है।

उन्होंने यह कैसे किया (द "डिकोडर")

शोधकर्ताओं ने Qwen3-32B नामक मॉडल का उपयोग किया। उन्होंने इसे समस्याएँ सुलझाते हुए देखा और इसके आंतरिक "रेसिडुअल स्ट्रीम" (डेटा की एक निरंतर धारा जो इसकी वर्तमान मानसिक स्थिति का प्रतिनिधित्व करती है) को रिकॉर्ड किया।

उन्होंने एक बहुत ही छोटे, सरल टूल (एक "प्रोब") को प्रशिक्षित किया जो इस स्ट्रीम को देख सके और किसी भी दो चरणों के लिए एक बाइनरी (binary) प्रश्न का उत्तर दे सके:

"क्या चरण A का आउटपुट चरण B के इनपुट में जाता है?"

परिणाम:

यह काम करता है: प्रोब इन कनेक्शनों की भविष्यवाणी लगभग 87% सटीकता के साथ कर सका।
यह कोई छल नहीं है: उन्होंने रैंडम अनुमानों और सरल पैटर्न (जैसे "चरण 2 हमेशा चरण 1 के बाद आता है") के विरुद्ध इसका परीक्षण किया। प्रोब उनसे कहीं बेहतर प्रदर्शन कर गया, जिससे यह सिद्ध हुआ कि यह वास्तव में जुड़ाव के तर्क (logic) को पढ़ रहा था, न कि केवल घटनाओं के क्रम को।
यह अमूर्त (Abstract) है: जब उन्होंने डेटा में विशिष्ट नंबरों को बदला (उदाहरण के लिए, एक यूजर आईडी को "123" से बदलकर "456" कर दिया) लेकिन संरचना को समान रखा, तब भी प्रोब ने काम किया। इसका अर्थ है कि मॉडल संबंध को समझता है (A, B पर निर्भर है), न कि केवल विशिष्ट शब्दों को।

मशीन में "भूत" (प्रसार/Propagation)

सबसे दिलचस्प निष्कर्षों में से एक यह है कि यह जानकारी कैसे यात्रा करती है।

कल्पना कीजिए कि आप पहले श्रमिक (चरण A) के कान में एक रहस्य बताते हैं। शोध पत्र दिखाता है कि यह रहस्य श्रमिक के काम खत्म करने के बाद गायब नहीं होता है। यह पूरे निर्माण स्थल के माध्यम से यात्रा करता है, और अंतिम श्रमिक (चरण Z) तक "हवा" (रेसिडुअल स्ट्रीम) में बना रहता है।

उन्होंने यह सिद्ध करने के लिए "पैचिंग" (बदलना/swapping) का उपयोग किया, जहाँ उन्होंने पहले श्रमिक की आंतरिक स्थिति को एक अलग परिदृश्य के साथ बदल दिया। भले ही मॉडल ने अपना अंतिम व्यवहार नहीं बदला (उसने अभी भी वही घर बनाया), लेकिन बाद के श्रमिकों के अंदर का "ब्लूप्रिंट" नए परिदृश्य के अनुसार बदल गया। यह सुझाव देता है कि मॉडल सक्रिय रूप से संरचनात्मक योजना को आगे ले जा रहा है, न कि केवल तत्काल प्रॉम्प्ट पर प्रतिक्रिया दे रहा है।

यह मानचित्र कब गायब हो जाता है?

शोधकर्ताओं ने यह देखने के लिए विभिन्न प्रकार के कार्यों पर इसका परीक्षण किया कि क्या यह मानचित्र हमेशा मौजूद रहता है। उन्होंने एक पैटर्न पाया:

जटिल श्रृंखलाएं (Multi-hop): यदि कार्य के लिए निर्भरताओं की एक लंबी श्रृंखला (A $\to$ B $\to$ C $\to$ D) की आवश्यकता होती है, तो मानचित्र बहुत स्पष्ट और पढ़ने में आसान होता है।
सरल सूचियाँ: यदि कार्य केवल स्वतंत्र चरणों की एक सूची है (A, फिर B, फिर C, बिना किसी जुड़ाव के), तो मानचित्र गायब हो जाता है।
"क्रम" का संकेत: यदि चरण इतने सरल हैं कि केवल क्रम जानने से ही सब कुछ पता चल जाता है (जैसे, "पहले A करें, फिर B"), तो मॉडल को एक जटिल आंतरिक मानचित्र बनाने की आवश्यकता नहीं होती है। "अतिरिक्त" सिग्नल गायब हो जाता है क्योंकि केवल स्थिति (position) ही पर्याप्त है।

इसका क्या अर्थ है (और क्या नहीं)

इसका क्या अर्थ है:
हमने AI एजेंटों के भीतर देखने का एक नया तरीका खोज लिया है। हम देख सकते हैं कि वे केवल अगले शब्द का अंधाधुंध अनुमान नहीं लगा रहे हैं; वे इस बात का एक संरचित, अमूर्त मानचित्र बनाए रख रहे हैं कि उनके कार्य एक-दूसरे पर कैसे निर्भर हैं। यह मानचित्र रैखिक (linear) है और मॉडल की परतों (layers) के माध्यम से यात्रा करता है।

यह क्या नहीं है (पूरी तरह से इस शोध पत्र के आधार पर):

इसका मतलब यह नहीं है कि हम अब बेहतर निर्णय लेने के लिए मॉडल को आसानी से नियंत्रित कर सकते हैं (शोध पत्र स्पष्ट रूप से कहता है कि पैचिंग ने आंतरिक मानचित्र को तो बदला लेकिन अंतिम व्यवहार को नहीं)।
इसका मतलब यह नहीं है कि यह हर एक AI मॉडल या हर छोटे मॉडल पर काम करता है (उन्होंने केवल विशिष्ट बड़े मॉडलों का परीक्षण किया है)।
इसका मतलब यह नहीं है कि हम इसका उपयोग "हलुसिनेशन" (hallucinations) को ठीक करने या मॉडल को सुरक्षित बनाने के लिए कर सकते हैं; वह भविष्य का कार्य है।

सारांश

यह शोध पत्र एक जादूगर के सहायक की खोज करने जैसा है जो केवल एक स्क्रिप्ट को याद नहीं कर रहा है, बल्कि वास्तव में पूरे जादू के तर्क का एक मानसिक मानचित्र अपने पास रखे हुए है। एक सरल डिकोडर का उपयोग करके, शोधकर्ताओं ने सिद्ध किया कि यह मानचित्र मौजूद है, यह मॉडल के मस्तिष्क के माध्यम से यात्रा करता है, और जटिल, बहु-चरणीय समस्याओं को हल करने के लिए आवश्यक है।

तकनीकी सारांश: LLM एजेंट रेसिडुअल स्ट्रीम में टूल-कॉल डिपेंडेंसी स्ट्रक्चर रैखिक रूप से डिकोडेबल है

समस्या विवरण (Problem Statement)

जबकि मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) ने सफलतापूर्वक यह स्पष्ट किया है कि लार्ज लैंग्वेज मॉडल्स (LLMs) स्थिर संरचनाओं (जैसे, सिंटैक्टिक ट्री, बोर्ड स्टेट्स, तथ्यात्मक ज्ञान) को कैसे दर्शाते हैं, यह अभी भी स्पष्ट नहीं है कि टूल-उपयोग करने वाले एजेंटों की गतिशील निष्पादन संरचनाएं (dynamic execution structures) मॉडल की आंतरिक अवस्थाओं के भीतर कैसे एनकोड होती हैं। विशेष रूप से, जब एक एजेंट जनरेशन और बाहरी फंक्शन कॉल्स के बीच कार्य करता है, तो शुरुआती टूल आउटपुट्स बाद के कॉल्स के लिए आर्गुमेंट्स (arguments) प्रदान करते हैं, जिससे निर्भरता का एक निर्देशित अचक्रीय ग्राफ (directed acyclic graph - DAG) बनता है। यह अज्ञात है कि क्या यह रनटाइम डिपेंडेंसी ग्राफ एजेंट के रेसिडुअल स्ट्रीम (residual stream) में स्पष्ट रूप से प्रस्तुत होता है, क्या ऐसा प्रतिनिधित्व कारण संबंधी (causal) है, या क्या यह एजेंटों का एक सामान्य गुण है या विशिष्ट बेंचमार्क का।

कार्यप्रणाली (Methodology)

लेखक इस प्रश्न की जांच करने के लिए Qwen3-32B मॉडल (और Llama-3.3-70B पर पुनरुत्पादन) और $\tau$ -bench retail डोमेन के भीतर एक स्ट्रक्चरल प्रोबिंग दृष्टिकोण का उपयोग करते हैं।

ओरेकल निर्माण (Oracle Construction): $\ge 2$ टूल कॉल्स वाले प्रक्षेप पथों (trajectories) के लिए, लेखक एक "ओरेकल" टूल-कॉल DAG का निर्माण करते हैं। एक किनारा (edge) $i \to j$ तब परिभाषित किया जाता है यदि कॉल $i$ के आउटपुट का एक निरंतर, केस-सेंसिटिव, व्हाइटस्पेस-नॉर्मलाइज्ड सबस्ट्रिंग (लंबाई $\ge 4$ ) कॉल $j$ के सीरियलाइज्ड JSON आर्गुमेंट्स में हूबहू दिखाई देता है। यह प्रोब के लिए एक बाइनरी एज लेबल को परिभाषित करता है।
प्रोब आर्किटेक्चर (Probe Architecture): एक लो-कैपेसिटी, L2-रेगुलराइज्ड लॉजिस्टिक रिग्रेशन प्रोब को कॉल $i$ और कॉल $j$ के टर्मिनेटिंग बाउंड्री टोकन्स के रेसिडुअल स्ट्रीम वेक्टर्स के संयोजन से एक किनारे $(i, j)$ के अस्तित्व की भविष्यवाणी करने के लिए प्रशिक्षित किया गया है। ये वेक्टर्स $\{0, 14, 28, 41, 50, 57, 64\}$ परतों के एक निश्चित सेट पर मीन-पूल (mean-pooled) किए गए हैं।
मूल्यांकन प्रोटोकॉल (Evaluation Protocol):
- क्रॉस-वैलिडेशन: प्रति-ट्रैजेक्टरी लीव-वन-ग्रुप-आउट (LOGO) क्रॉस-वैलिडेशन यह सुनिश्चित करता है कि होल्ड-आउट ट्रैजेक्टरी का कोई भी टोकन इसके ट्रेनिंग फोल्ड में न आए।
- नियंत्रण (Controls): अध्ययन एक व्यापक नियंत्रण बैटरी का उपयोग करता है:
  - Hewitt–Liang रैंडम-लेबल कंट्रोल: मेमोराइजेशन को खारिज करने के लिए एज लेबल्स को बदलना।
  - पोजीशनल बेसलाइन: एक 5-फीचर बेसलाइन ( $[i, j, j-i, n_{agent}, j/n_{agent}]$ ) जो स्ट्रक्चरल एनकोडिंग को सरल कॉल ऑर्डरिंग से अलग करती है।
  - सरफेस-फॉर्म सीलिंग: यह सुनिश्चित करने के लिए कि सिग्नल केवल टेक्स्टुअल नहीं है, एक n-ग्राम ओवरलैप और टूल नामों पर आधारित डिकोडर।
  - रैंडम-इनिशियलाइजेशन कंट्रोल: ट्रेनिंग-अट्रिब्यूटेबल सिग्नल्स को अलग करने के लिए एक रैंडमली इनिशियलाइज्ड मॉडल का उपयोग।
- काउंटरफैक्चुअल्स (Counterfactuals): लेखक यह परीक्षण करने के लिए कि प्रोब एब्स्ट्रैक्ट टोपोलॉजी को ट्रैक करता है या विशिष्ट आइडेंटिफायर वैल्यूज को, वैल्यू करप्शन (आउटपुट्स में आईडी बदलना) और स्ट्रक्चरल परटर्बेशन (आउटपुट्स को खाली परिणाम में बदलना) करते हैं।
- एक्टिवेशन पैचिंग (Activation Patching): यह परीक्षण करने के लिए कि क्या प्रतिनिधित्व कारण संबंधी है, कि लेखक एक सोर्स कॉल के रेसिडुअल स्ट्रीम को एक "डोनर" ट्रैजेक्टरी के फीचर्स के साथ पैच करते हैं और एक बाद के, गैर-पैच्ड बाउंड्री पर प्रोब के रीडआउट में बदलाव को मापते हैं।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. डिपेंडेंसी ग्राफ की रैखिक डिकोडेबिलिटी (Linear Decodability of the Dependency Graph)

टूल-कॉल डिपेंडेंसी ग्राफ फ्रोजन रेसिडुअल स्ट्रीम से रैखिक रूप से डिकोडेबल है।

प्रदर्शन: मल्टी-लेयर प्रोब होल्ड-आउट पेयर्स पर 0.869 का AUROC प्राप्त करता है।
महत्व: यह Hewitt–Liemann रैंडम-लेबल कंट्रोल (अधिकतम AUROC 0.565, $p < 10^{-4}$ ) और पोजीशनल बेसलाइन (AUROC 0.792) को महत्वपूर्ण रूप से पछाड़ता है। रेसिडुअल स्ट्रीम पोजीशनल बेसलाइन पर +0.0775 का कंडीशनल AUROC गैप प्रदान करता है, जो पुष्टि करता है कि सिग्नल केवल कॉल ऑर्डर का प्रॉक्सी नहीं है।
उद्भव (Emergence): सिग्नल लेयर 14 (~22% गहराई) तक तेजी से उभरता है और लेयर 41 के आसपास संतृप्त (saturate) हो जाता है, जो मिड-स्टैक सिमेंटिक इमर्जेंस के पैटर्न से मेल खाता है।

2. टोपोलॉजी संवेदनशीलता बनाम वैल्यू विशिष्टता (Topology Sensitivity vs. Value Specificity)

प्रोब विशिष्ट आइडेंटिफायर वैल्यूज के बजाय एब्स्ट्रैक्ट डिपेंडेंसी टोपोलॉजी को ट्रैक करता है।

वैल्यू करप्शन: टूल आउटपुट्स में आईडी वैल्यूज को बदलने (प्लान को स्थिर रखते हुए) से डिकोडेड DAG स्ट्रक्चर में कोई सांख्यिकीय रूप से महत्वपूर्ण बदलाव नहीं आता (Cohen's $d = 0.06$ )।
स्ट्रक्चरल परटर्बेशन: टूल रिस्पॉन्स को खाली परिणाम में बदलने (जो प्लान परिवर्तन को मजबूर करता है) से डिकोडेड स्ट्रक्चर में बड़ा बदलाव आता है (Cohen's $d = 0.87$ )।
पुनरुत्पादन (Replication): यह पृथक्करण ComplexFuncBench सहित विभिन्न डोमेन में बना रहता है, और एक स्वतंत्र, स्कीमा-टाइप्ड वैल्यू-इक्वैलिटी ओरेकल (कोई सबस्ट्रिंग मैचिंग नहीं) का उपयोग करके पुनरुत्पादित किया गया है, जो पुष्टि करता है कि सिग्नल सबस्ट्रिंग ह्यूरिस्टिक का आर्टिफैक्ट नहीं है।

3. रिप्रेजेंटेशनल प्रोपेगेशन (Representational Propagation)

एक्टिवेशन पैचिंग इस बात का प्रमाण प्रदान करती है कि डिपेंडेंसी प्रतिनिधित्व नेटवर्क के माध्यम से प्रसारित (propagate) होता है, न कि केवल एक निष्क्रिय रीडआउट है।

सोर्स कॉल पर रेसिडुअल स्ट्रीम को पैच करने से एक सख्त बाद के, गैर-पैच्ड बाउंड्री (जैसे, लेयर 57 पर) पर प्रोब की भविष्यवाणी बदल जाती है।
महत्वपूर्ण रूप से, जबकि प्रतिनिधित्व बदल जाता है, एजेंट का वास्तविक टूल चयन नहीं बदलता (0% व्यवहारिक बदलाव)। यह सुझाव देता है कि प्रतिनिधित्व आंतरिक अवस्था के लिए लोड-बेयरिंग है लेकिन इस संदर्भ में व्यवहारिक नियंत्रण के लिए पर्याप्त नहीं है।

4. क्रॉस-डोमेन सामान्यीकरण और मॉड्यूलेशन (Cross-Domain Generality and Modulation)

गैर-पोजीशनल योगदान इंटरैक्टिव मल्टी-हॉप बेंचमार्क में सामान्य होता है लेकिन वहां कम हो जाता है जहां केवल कॉल ऑर्डर ही पर्याप्त होता है।

सकारात्मक पुनरुत्पादन: सिग्नल ToolHop (+0.161 योगदान) और ComplexFuncBench (+0.60 योगदान) में मजबूत है।
ट्रांजिटिव एडजेस (Transitive Edges): प्रोब डायरेक्ट एडजेस की तुलना में ट्रांजिटिव (मल्टी-हॉप) डिपेंडेंसीज को और भी मजबूती से डिकोड करता है (AUROC 0.986), जिसमें ट्रांजिटिव सिग्नल शुरुआती लेयर्स में तेजी से बढ़ता है।
क्षीणन (Attenuation): योगदान TaskBench (सिंगल-शॉट प्लानिंग, योगदान -0.02) में गायब हो जाता है और BFCL (डायरेक्ट-ओनली टूल यूज़) में परीक्षण योग्य नहीं है, जो इस परिकल्पना का समर्थन करता है कि सिग्नल वहां मौजूद होता है जहां कॉल ऑर्डर एक कमजोर प्रॉक्सी है।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि यह LLM एजेंट के रनटाइम टूल-कॉल डिपेंडेंसी ग्राफ का पहला स्ट्रक्चरल प्रोब है।

प्रतिनिधित्व बनाम नियंत्रण (Representation vs. Control): दावे सख्ती से प्रतिनिधित्व के बारे में हैं। पेपर यह प्रदर्शित करता है कि डिपेंडेंसी ग्राफ रैखिक रूप से पठनीय है और रेसिडुअल स्ट्रीम के भीतर कारण संबंधी रूप से प्रसारित होता है, लेकिन यह स्पष्ट रूप से बताता है कि एक्टिवेशन पैचिंग वर्तमान में व्यवहारिक नियंत्रण (behavioral control) प्रदान नहीं करती है (एजेंट के टूल चयन अपरिवर्तित रहते हैं)।
नया लक्ष्य वर्ग (New Target Class): परिणाम बताते हैं कि रनटाइम निष्पादन संरचनाएं (टूल कॉल्स का DAG) एक नया क्लास ऑफ मैकेनिस्टिक इंटरप्रिटेबिलिटी टारगेट हैं, जो टोकन-लेवल निर्णयों या स्टैटिक रीजनिंग ट्रेसेस से भिन्न हैं।
विनम्रता (Modesty): लेखक प्रसार (propagation) के दायरे के बारे में विनम्र हैं, यह नोट करते हुए कि क्रॉस-डोमेन कारण संबंधी प्रतिकृति और व्यवहारिक रूप से पर्याप्त हस्तक्षेप भविष्य का कार्य है। वे यह भी स्वीकार करते हैं कि डिपेंडेंसी की परिभाषा वैल्यू-रीयूज़ (सबस्ट्रिंग या स्कीमा मैचिंग) पर निर्भर करती है, जो शुद्ध कंट्रोल फ्लो द्वारा मध्यस्थता वाले डिपेंडेंसी को बाहर करती है।

संक्षेप में, यह पेपर स्थापित करता है कि LLM एजेंट अपने टूल-कॉल निष्पादन ग्राफ के एब्स्ट्रैक्ट टोपोलॉजी को अपने रेसिडुअल स्ट्रीम में एनकोड करते हैं, जो कि पोजीशनल प्रायर्स से अलग, वैल्यू परिवर्तनों के प्रति मजबूत, और नेटवर्क लेयर्स के माध्यम से प्रसारित होने वाला एक प्रतिनिधित्व है।