💻 computer science

AgentIR: Reasoning-Aware Retrieval for Deep Research Agents

यह शोध पत्र AgentIR पेश करता है, जो एक रीजनिंग-अवेयर रिट्रीवल प्रतिमान (paradigm) और संबद्ध डेटा सिंथेसिस विधि (DR-Synth) है, जो AgentIR-4B एम्बेडिंग मॉडल को प्रशिक्षित करने के लिए डीप रिसर्च एजेंट्स के स्पष्ट इंटरमीडिएट थॉट ट्रेसेस (intermediate thought traces) का लाभ उठाता है, जो BrowseComp-Plus बेंचमार्क पर पारंपरिक रिट्रीवर्स की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Zijian Chen, Xueguang Ma, Shengyao Zhuang, Jimmy Lin, Akari Asai, Victor Zhong

प्रकाशित 2026-03-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zijian Chen, Xueguang Ma, Shengyao Zhuang, Jimmy Lin, Akari Asai, Victor Zhong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप 2010 के दशक की शुरुआत का एक विशिष्ट, दुर्लभ गाना खोजने की कोशिश कर रहे हैं। आप एक सर्च इंजन को बताते हैं: "backroom studio early 2010s euphoric."

एक पारंपरिक सर्च इंजन (जो हम आज उपयोग करते हैं) यह सोचता है, "हम्म, 'backroom studio' संगीत वीडियो बनाने वाली जगह जैसा लग रहा है, शायद बेसमेंट में?" और यह आपको रिकॉर्डिंग स्टूडियो या वीडियो गेम के बारे में सामान्य परिणाम देता है। यह एक ऐसे लाइब्रेरियन की तरह है जो आपके अनुरोध के केवल शीर्षक को पढ़ता है और उसके संदर्भ (context) को अनदेखा कर देता है।

अब, एक डीप रिसर्च एजेंट (Deep Research Agent) की कल्पना करें। यह केवल एक सर्च इंजन नहीं है; यह एक जासूस है। उस खोज क्वेरी को टाइप करने से पहले ही, यह अपने लिए एक लंबा, विस्तृत नोट लिखता है:

"ठीक है, मैं एक ऐसे संगीतकार की तलाश कर रहा हूँ जिसने ग्रैमी जीता हो। मुझे पता है कि उन्होंने एक छोटे से स्टूडियो के बैकूम में संगीत बनाया था। संगीत में एक 'euphoric' अंत है, जिसका अर्थ आमतौर पर 'प्रोग्रेसिव हाउस' संगीत होता है। मुझे विशिष्ट कलाकार को खोजना है।"

समस्या क्या है? पारंपरिक सर्च इंजन इस जासूस के नोट को अनदेखा कर देता है। यह केवल अंतिम, छोटे क्वेरी ("backroom studio...") को देखता है। यह उन समृद्ध सुरागों को खो देता है जो जासूस ने लिखे थे।

समाधान: AgentIR

यह पेपर पेश करता है AgentIR, एक नया तरीका जो सर्च इंजन को इन "जासूसी नोट्स" को समझने में मदद करता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. "रीजनिंग-अवेयर" सर्च (जासूस की नोटबुक)

लाइब्रेरियन को केवल अंतिम स्टिकी नोट ("backroom studio...") थमाने के बजाय, AgentIR उन्हें पूरा जासूस का नोटबुक थमा देता है।

पुराना तरीका: आप पूछते हैं, "कातिल कौन है?" लाइब्रेरियन केवल प्रश्न के आधार पर अनुमान लगाता है।
AgentIR का तरीका: आप कहते हैं, "कातिल संभवतः बटलर है क्योंकि बंदूक लाइब्रेरी में मिली थी, और बटलर ही एकमात्र व्यक्ति था जिसके पास चाबी थी।"
परिणाम: लाइब्रेरियन (सर्च इंजन) अब इरादे (intent) को समझता है। वह केवल "कातिल" की तलाश नहीं करता; वह "लाइब्रेरी में चाबी वाले बटलर" की तलाश करता है। यह खोज परिणामों को बहुत अधिक सटीक बनाता है।

2. "DR-Synth" फैक्ट्री (ट्रेनिंग जिम)

सर्च इंजन को ये जासूसी नोट्स पढ़ना सिखाने के लिए, आपको बहुत सारे अभ्यास डेटा की आवश्यकता होती है। लेकिन यहाँ एक पेंच है: किसी ने भी पहले कभी "जासूसी नोट्स" का डेटासेट नहीं लिखा है। वास्तविक इंसान गूगल करने से पहले नोट्स नहीं लिखते; केवल AI एजेंट ही ऐसा करते हैं।

लेखकों ने एक फैक्ट्री बनाई जिसे DR-Synth कहा गया।

यह कैसे काम करता है: उन्होंने मानक, उबाऊ प्रश्न-उत्तर डेटासेट (जैसे सामान्य ज्ञान के प्रश्न) लिए।
जादू: उन्होंने इन प्रश्नों को एक स्मार्ट AI एजेंट को दिया और उसे हल करते हुए देखा। एजेंट ने उस दौरान वे सभी "जासूसी नोट्स" (रीजनिंग ट्रेसेस) उत्पन्न किए।
आउटपुट: फैक्ट्री ने इन नोट्स को एक विशाल प्रशिक्षण मैनुअल में बदल दिया। अब, सर्च इंजन सीख सकता है: "आह, जब एजेंट 'ग्रैमी' और 'euphoric एंडिंग' के बारे में लिखता है, तो वह वास्तव में एक विशिष्ट संगीत शैली की तलाश कर रहा है, न कि एक रिकॉर्डिंग स्टूडियो की।"

3. परिणाम: AgentIR-4B

उन्होंने "नोटबुक" पद्धति को "फैक्ट्री" ट्रेनिंग के साथ जोड़कर एक नया सर्च मॉडल बनाया जिसे AgentIR-4B कहा जाता है।

प्रदर्शन (Performance):

पुराना तरीका (BM25): अपनी ही पूंछ के पीछे भागते कुत्ते की तरह। यह केवल 37% बार सही उत्तर देता है।
बड़ा प्रतियोगी (Standard Embedding): एक बहुत ही स्मार्ट, भारी सर्च इंजन (जो नए मॉडल के आकार से दोगुना बड़ा है) 50% बार सही उत्तर देता है।
AgentIR-4B: यह नया, कुशल मॉडल 68% बार सही उत्तर देता है।

यह एक बड़ी बात क्यों है?

यह मुफ्त है: "जासूसी नोट्स" पहले से ही AI एजेंटों द्वारा उनके काम के दौरान लिखे जा रहे हैं। AgentIR बस उन्हें पढ़ना सीख जाता है। इसके लिए AI को लंबे समय तक सोचने के लिए रुकने की आवश्यकता नहीं है; यह बस उन विचारों का उपयोग करता है जो वे पहले से ही रख रहे हैं।
यह समय बचाता है: क्योंकि सर्च अधिक स्मार्ट है, एजेंट को उत्तर खोजने के लिए कई बार सर्च करने की आवश्यकता नहीं होती है। यह पहली बार में ही सही चाबी ढूंढ लेने जैसा है, बजाय इसके कि 30 चाबियाँ आजमाई जाएं।
यह शोर (Noise) को फ़िल्टर करता है: पेपर में पाया गया कि एजेंट की रीजनिंग वास्तव में बुरे विचारों को फ़िल्टर कर देती है। यदि एजेंट सोचता है, "शायद यह फिनलैंड है?" लेकिन फिर उसे एहसास होता है, "नहीं, यह स्वीडन है," तो रीजनिंग ट्रेस अपडेट हो जाता है। AgentIR "फिनलैंड" के अनुमान को अनदेखा करना और "स्वीडन" पर ध्यान केंद्रित करना सीख जाता है। यह मेहमान को दिखाने से पहले एक अव्यवस्थित कमरे को साफ करने वाले क्यूरेटर की तरह है।

मुख्य निष्कर्ष (The Bottom Line)

हम एक ऐसे युग में प्रवेश कर रहे हैं जहाँ AI एजेंट (केवल मनुष्य नहीं) इंटरनेट के प्राथमिक उपयोगकर्ता होंगे। वे लंबे, जटिल चरणों में सोचते हैं।

यह पेपर कहता है: "AI एजेंटों के साथ भ्रमित मनुष्यों जैसा व्यवहार करना बंद करें। उन्हें वह सर्च इंजन दें जो उनकी विचार प्रक्रिया (thought process) को समझता है।" उनके "सोचने" को पढ़कर, हम बहुत बेहतर उत्तर, तेज़ी से और कम कंप्यूटिंग पावर के साथ प्राप्त कर सकते हैं।

यहाँ शोध पत्र "AgentIR: Reasoning-Aware Retrieval for Deep Research Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप रिसर्च एजेंट्स (स्वायत्त LLMs जो मल्टी-टर्न सर्च और रीजनिंग करते हैं) आधुनिक रिट्रीवल सिस्टम के प्राथमिक उपभोक्ता के रूप में उभर रहे हैं। मानव उपयोगकर्ताओं के विपरीत, जो अलग-थलग (isolated) क्वेरी देते हैं, ये एजेंट्स अपने अगले चरणों की योजना बनाने के लिए हर सर्च कॉल से पहले एक स्पष्ट नेचुरल लैंग्वेज रीजनिंग ट्रेस (natural language reasoning traces) उत्पन्न करते हैं।

अंतराल (The Gap): मौजूदा रिट्रीवल सिस्टम एजेंट की क्वेरी को मानव क्वेरी की तरह ही मानते हैं, जिसमें केवल अंतिम सर्च स्ट्रिंग ( $q_t$ ) को एम्बेड किया जाता है। वे एजेंट के पूर्ववर्ती रीजनिंग ट्रेस ( $\tau_t$ ) में निहित समृद्ध संदर्भ, इरादे (intent) और मध्यवर्ती परिकल्पनाओं (intermediate hypotheses) की अनदेखी करते हैं।
परिणाम (The Consequence): इससे अस्पष्टता पैदा होती है। उदाहरण के लिए, "backroom studio early 2010s euphoric" जैसी क्वेरी बिना संदर्भ के अस्पष्ट है। हालाँकि, एजेंट का रीजनिंग ट्रेस यह स्पष्ट कर सकता है कि वह एक ऐसे कंपोजर की तलाश कर रहा है जिसने एक विशिष्ट सब-जॉनर में ग्रैमी जीता हो, जिससे सर्च स्पेस प्रभावी रूप से कम हो जाता है। वर्तमान रिट्रीवर्स इस "मुफ्त" सिग्नल का लाभ उठाने में विफल रहते हैं, जिसके परिणामस्वरूप कम सटीकता और अक्षम सर्च लूप होता है।
डेटा की कमी (Data Scarcity): विशेष रूप से मल्टी-टर्न एजेंट सब-क्वेरीज के लिए तैयार किए गए प्रशिक्षण डेटा का अभाव है। मानक QA डेटासेट्स (Question, Answer, Documents) ट्रिपल्स प्रदान करते हैं, लेकिन उनमें वे (sub-query, reasoning, relevant document) जोड़े नहीं होते जो डीप रिसर्च एजेंट के मध्यवर्ती चरणों के लिए रिट्रीवर को प्रशिक्षित करने के लिए आवश्यक हैं।

2. कार्यप्रणाली (Methodology)

लेखक एक दो-आयामी दृष्टिकोण प्रस्तावित करते हैं: एक नया रिट्रीवल प्रतिमान (paradigm) और एक नवीन डेटा सिंथेसिस विधि।

A. रीजनिंग-अवेयर रिट्रीवल (The Paradigm)

केवल क्वेरी $q_t$ को एम्बेड करने के बजाय, रिट्रीवर रीजनिंग ट्रेस और क्वेरी के संयोजन $[ \tau_t, q_t ]$ को संयुक्त रूप से एम्बेड करता है।

तंत्र (Mechanism): मॉडल क्वेरी को स्पष्ट करने (disambiguate), पिछले टर्न्स के निष्कर्षों को शामिल करने और पुरानी परिकल्पनाओं को फ़िल्टर करने के लिए रीजनिंग ट्रेस पर ध्यान केंद्रित करना सीखता है।
HyDE की तुलना में लाभ: हाइपोथेटिकल डॉक्यूमेंट एम्बेडिंग्स (HyDE) के विपरीत, जो एजेंट की स्थिति के ज्ञान के बिना एक हाइपोथेटिकल कॉन्टेक्स्ट उत्पन्न करने के लिए LLM का उपयोग करता है, रीजनिंग-अवेयर रिट्रीवल एजेंट के वास्तविक उत्पन्न रीजनिंग का उपयोग करता है, जो पूर्ण इंटरैक्शन हिस्ट्री ( $H_{t-1}$ ) पर आधारित होता है।

B. DR-Synth (Data Synthesis)

इस नए प्रतिमान पर रिट्रीवर को प्रशिक्षित करने के लिए, लेखक DR-Synth पेश करते हैं, जो मानक QA डेटासेट्स (जैसे WebShaper) को एजेंट-विशिष्ट प्रशिक्षण डेटा में परिवर्तित करता है।

रोलआउट जनरेशन (Rollout Generation): एक एजेंट (जैसे Tongyi-DeepResearch) एक वैश्विक प्रश्न $Q$ को हल करने के लिए एक मानक क्वेरी-ओनली रिट्रीवर के साथ इंटरैक्ट करता है। यह टर्न्स का एक प्रक्षेपवक्र (trajectory) $(\tau_1, q_1, o_1, \dots)$ उत्पन्न करता है।
सब-क्वेरी एक्सट्रैक्शन (Sub-Query Extraction): इस प्रक्षेपवक्र से, सिस्टम प्रत्येक टर्न के लिए (reasoning, sub-query) जोड़े निकालता है।
ओरेकल रेंकिंग और लेबलिंग (Oracle Reranking & Labeling): इन सब-क्वेरीज के लिए प्रासंगिकता लेबल ( $d^+$ $d^{+}$ और $d^-$ $d^{-}$ ) उत्पन्न करने के लिए:
- सिस्टम एक मानक रिट्रीवर का उपयोग करके टॉप-50 डॉक्यूमेंट्स को रिट्रीव करता है।
- यह वैश्विक प्रश्न के लिए ग्राउंड-ट्रुथ डॉक्यूमेंट्स को इसमें जोड़ देता है।
- एक LLM (Oracle) वर्तमान सब-क्वेरी $q_t$ , वैश्विक प्रश्न $Q$ , और अंतिम उत्तर $A$ के आधार पर लिस्टवाइज रेंकिंग (listwise reranking) करता है। LLM को वर्तमान चरण के लिए दस्तावेजों को उनकी प्रासंगिकता के आधार पर रैंक करने के निर्देश दिए जाते हैं, जबकि वैश्विक उद्देश्य के साथ संरेखण सुनिश्चित किया जाता है।
- शीर्ष-रैंक्ड डॉक्यूमेंट सकारात्मक नमूना ( $d^+$ ) बन जाता है, और सबसे निचले स्तर वाला हार्ड नेगेटिव ( $d^-$ ) बन जाता है।
प्रशिक्षण (Training): रिट्रीवर को इन सिंथेसाइज्ड $(\tau_t, q_t, d^+, d^-)$ ट्रिपल्स पर कंट्रास्टिव लर्निंग लॉस का उपयोग करके फाइन-ट्यून किया जाता है।

3. मुख्य योगदान (Key Contributions)

रीजनिंग-अवेयर रिट्रीवल: एक नया प्रतिमान जो एजेंट रीजनिंग ट्रेसेस और क्वेरीज को संयुक्त रूप से एम्बेड करता है, यह प्रदर्शित करते हुए कि रीजनिंग ट्रेसेस निहित निर्देशों और संदर्भ फिल्टर के रूप में कार्य करते हैं।
DR-Synth: एक डेटा सिंथेसिस विधि जो मानक QA डेटासेट्स और मल्टी-टर्न एजेंट रिट्रीवल की विशिष्ट आवश्यकताओं के बीच के अंतर को पाटती है, जो बिना किसी मैनुअल एनोटेशन के उच्च-गुणवत्ता वाले प्रशिक्षण जोड़े बनाती है।
AgentIR-4B: एक प्रशिक्षित एम्बेडिंग मॉडल (Qwen3-Embedding-4B पर आधारित) जो डीप रिसर्च बेंचमार्क पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।
सामान्यीकरण (Generalization): यह मॉडल अतिरिक्त फाइन-ट्यूनिंग के बिना विभिन्न एजेंट आर्किटेक्चर (जैसे gpt-oss-120B, GLM-4.7) के लिए ज़ीरो-शॉट सामान्यीकरण करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिस्टम का मूल्यांकन BrowseComp-Plus पर किया गया, जो जटिल मल्टी-हॉप प्रश्नों के लिए 20+ सर्च टर्न्स की आवश्यकता वाला एक चुनौतीपूर्ण बेंचमार्क है।

प्रदर्शन (Performance):
- AgentIR-4B ने BrowseComp-Plus पर 68% सटीकता (विशेष रूप से Tongyi-DR के साथ 66.27%) प्राप्त की।
- यह काफी बेहतर प्रदर्शन करता है:
  - BM25: 37% सटीकता।
  - Qwen3-Embedding-8B (AgentIR-4B से दोगुना बड़ा मॉडल): ~50% सटीकता।
  - ReasonIR-8B (एक रीजनिंग-गहन रिट्रीवर): ~51% सटीकता।
  - क्वेरी एक्सपेंशन (HyDE-शैली): ~31% सटीकता (अक्सर कॉन्टेक्स्ट को भ्रमित/hallucinate करता है)।
दक्षता (Efficiency):
- AgentIR-4B ने कार्यों को हल करने के लिए आवश्यक सर्च कॉल्स की संख्या को कम कर दिया (जैसे, BM25 के साथ 32.92 से घटकर AgentIR-4B के साथ 25.91)।
- इसने रेंकिंग के इन्फरेंस ओवरहेड के बिना, कंप्यूटेशनल रूप से महंगे LLM-आधारित रेंकिंग तरीकों से ~10% एब्सोल्यूट सटीकता से बेहतर प्रदर्शन किया।
एब्लेशन स्टडीज (Ablation Studies):
- दोनों घटक (Reasoning-Aware embedding और DR-Synth training) स्वतंत्र रूप से प्रभावी हैं।
- केवल वर्तमान टर्न के रीजनिंग का उपयोग करना, पूर्ववर्ती सभी रीजनिंग के पूर्ण इतिहास का उपयोग करने से बेहतर है। लेखकों ने पाया कि पूर्ण इतिहास शोर (earlier turns से गलत परिकल्पनाएं) और रेडंडेंसी (redundancy) लाता है, जबकि वर्तमान रीजनिंग ट्रेस पुष्टि किए गए तथ्यों को संक्षेप में प्रस्तुत करके और विफल अनुमानों को हटाकर इतिहास को प्रभावी ढंग से क्यूरेट करता है।

5. महत्व और भविष्य के निहितार्थ (Significance and Future Implications)

सर्च प्रतिमान में बदलाव: यह शोध पत्र तर्क देता है कि जैसे-जैसे स्वायत्त एजेंट खोज के प्राथमिक उपभोक्ता बनते जा रहे हैं, रिट्रीवल सिस्टम को "क्वेरी-केंद्रित" से "रीजनिंग-केंद्रित" होने की आवश्यकता है।
कॉन्टेक्स्ट इंजीनियरिंग (Context Engineering): निष्कर्ष बताते हैं कि रिट्रीवर्स के लिए "कॉन्टेक्स इंजीनियरिंग" को संचय (accumulation) के बजाय क्यूरेशन (curation) पर ध्यान केंद्रित करना चाहिए। पूरे इतिहास को एम्बेड करना हानिकारक है; इसके बजाय, सबसे हालिया रीजनिंग ट्रेस समस्या की स्थिति का एक इष्टतम, शोर-मुक्त सारांश (noise-filtered summary) के रूप में कार्य करता है।
लागत दक्षता (Cost Efficiency): एजेंट के मानक लूप द्वारा "मुफ्त" में उत्पन्न रीजनिंग ट्रेसेस का लाभ उठाकर, AgentIR-4B बिना किसी क्वेरी रीराइटिंग या रेंकिंग की कंप्यूटेशनल लागत के भारी लाभ प्राप्त करता है।
सामुदायिक प्रभाव (Community Impact): AgentIR-4B और DR-Synth कार्यप्रणाली का रिलीज रिट्रीवल समुदाय को विशेष रूप से "एजेंट उपयोगकर्ताओं" के अनुकूल डिज़ाइन किए गए रिट्रीवल सिस्टम विकसित करने के लिए प्रोत्साहित करता है।