💻 computer science

Multi-Turn Agentic Scientific Literature Search via Workflow Induction

PaperPilot एक मल्टी-टर्न वैज्ञानिक साहित्य खोज एजेंट है जो खोज को निष्पादन योग्य ऑपरेटरों के एक इंड्यूसिबल (inducible), संपादन योग्य वर्कफ़्लो के रूप में फ्रेम करता है, और प्रयोगों के माध्यम से यह प्रदर्शित करता है कि यह दृष्टिकोण मानक टूल-आधारित एजेंटों की तुलना में पुनर्प्राप्ति प्रदर्शन (retrieval performance) में महत्वपूर्ण सुधार करता है और निष्पादन त्रुटियों को समाप्त करता है।

मूल लेखक: Jisen Li (University of Illinois Urbana-Champaign, Together AI), Bingxuan Li (University of Illinois Urbana-Champaign), Nanyi Jiang (University of Pennsylvania), Xuying Ning (University of Illinois Ur

प्रकाशित 2026-07-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jisen Li (University of Illinois Urbana-Champaign, Together AI), Bingxuan Li (University of Illinois Urbana-Champaign), Nanyi Jiang (University of Pennsylvania), Xuying Ning (University of Illinois Urbana-Champaign), Xiyao Wang (University of Pennsylvania), Yifan Shen (University of Illinois Urbana-Champaign), Heng Wang (University of Illinois Urbana-Champaign), Yuqing Jian (Together AI), Xiaoxia Wu (Together AI), Ben Athiwaratkun (Together AI), Pan Lu (Stanford University), Jiaxuan You (University of Illinois Urbana-Champaign), Bingxin Zhao (University of Pennsylvania)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप कुकबुक्स (pachon) के एक विशाल, अस्त-व्यस्त पुस्तकालय में एक विशिष्ट रेसिपी खोजने की कोशिश कर रहे हैं। आप लाइब्रेरियन से कहते हैं, "मुझे एक ऐसी रेसिपी चाहिए जो पिछले हफ्ते मैंने बनाई गई इस डिश पर आधारित हो।"

यदि आप एक पारंपरिक सर्च इंजन (या एक बुनियादी AI) से पूछते हैं, तो वह केवल उन कुछ किताबों को पकड़ सकता है जिनमें आपके अनुरोध के समान शब्द हों। यह एक लाइब्रेरियन द्वारा चिल्लाने जैसा है, "यहाँ पाँच किताबें हैं जिनके शीर्षक में 'चिकन' है!" और आपको थमा देना। आपको किस्मत चमक सकती है, लेकिन अक्सर आपको ऐसी किताबें मिलेंगी जो बहुत पुरानी हैं, बहुत आधुनिक हैं, या चिकन के पूरी तरह से अलग प्रकार के व्यंजन के बारे में हैं।

यदि आप एक स्टैंडर्ड AI एजेंट से पूछते हैं, तो वह स्मार्ट होने की कोशिश करता है क्योंकि वह आपके अनुरोध को पढ़ता है और अनुमान लगाता है कि आपका क्या मतलब है। लेकिन यह एक ऐसे लाइब्रेरियन की तरह है जो बिना सवाल पूछे आपका दिमाग पढ़ने की कोशिश कर रहा है। यदि आप कहते हैं, "यह बहुत व्यापक है," तो AI केवल आपके वाक्य को छोटा करने के लिए उसे फिर से नहीं लिखेगा, बल्कि वास्तव में यह नहीं बदलेगा कि वह किताबों को कैसे खोजता है। वह अनुमान लगाने के लूप में फंसा हुआ है।

पेश है, PAPERPILOT।

इस पेपर के लेखकों ने एक नए प्रकार का "सुपर-लाइब्रेरियन" एजेंट बनाया है जिसे PAPERPILOT कहा जाता है। केवल अनुमान लगाने या कीवर्ड चिल्लाने के बजाय, PAPERPILOT एक पेपर खोजने को एक कस्टम मशीन बनाने (या एक वर्कफ़्लो बनाने) के रूप में देखता है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "लेगो ब्लूप्रिंट" (द वर्कफ़्लो)

केवल खोजने के बजाय, PAPERPILOT "लेगो ब्लॉक्स" से एक चरण-दर-चरण ब्लूप्रिंट (जिसे DAG या Directed Acyclic Graph कहा जाता है) बनाता है। प्रत्येक ब्लॉक एक विशिष्ट टूल है:

ब्लॉक A: "वे पेपर खोजें जो इस एक पेपर को साइट (cite) करते हैं।"
ब्लॉक B: "2020 से पुराने किसी भी पेपर को बाहर निकालें।"
ब्लॉक C: "इस आधार पर क्रमबद्ध करें कि गणित कितना समान है।"
ब्लॉक D: "एब्स्ट्रैक्ट (abstract) पढ़ें और देखें कि क्या इसमें 'AI' का उल्लेख है।"

एजेंट केवल एक खोज नहीं करता; वह इन ब्लॉक्स को एक अद्वितीय मशीन में असेंबल करता है जो विशेष रूप से आपके अनुरोध के लिए डिज़ाइन की गई है।

2. "बातचीत" (मल्टी-टर्न इंटरेक्शन)

असली जादू तब होता है जब आप एजेंट से बात करते हैं।

आप: "मुझे ऐसे पेपर चाहिए जो इस एक पेपर पर आधारित हों।"
PAPERPILOT: "ठीक है, मैंने एक मशीन बनाई है। लेकिन इसे चलाने से पहले, क्या आप पिछले 5 वर्षों के पेपर चाहते हैं, या सर्वकाल के? क्या आप चाहते हैं कि वे एक ही मेथड (विधि) का उपयोग करें, या केवल एक ही टॉपिक (विषय) का?"
आप: "केवल पिछले 5 वर्ष, और केवल तभी यदि वे उसी मेथड का उपयोग करते हों।"
PAPERPILOT: "समझ गया।"

केवल "ठीक है" कहने के बजाय, PAPERPILOT वास्तव में अपने ब्लूप्रिंट को एडिट (संशोधित) करता है। वह "टाइम" ब्लॉक को लेता है और उसे "सर्वकाल" से बदलकर "पिछले 5 वर्ष" कर देता है। वह "टॉपिक" ब्लॉक को "मेथड" ब्लॉक से बदल देता है। वह आपके फीडबैक के आधार पर मशीन को ही परिष्कृत करता है।

3. "ट्रेनिंग" (बेहतर मशीन बनाना सीखना)

शोधकर्ताओं ने PAPERPILOT को हजारों आदर्श ब्लूप्रिंट दिखाकर यह सिखाया कि बेहतर मशीनें कैसे बनाई जाती हैं।

पहले, उन्होंने उसे मशीन बनाने का "सही" तरीका दिखाया (Supervised Learning)।
फिर, उन्होंने एक खेल खेला: उन्होंने एक अच्छी मशीन ली और उसे खराब कर दिया (जैसे, एक फ़िल्टर हटा दिया या गलत टूल का उपयोग किया)। उन्होंने AI से पूछा, "कौन सा संस्करण बेहतर है?" AI ने एक काम करने वाली मशीन को टूटी हुई मशीन की तुलना में पसंद करना सीखा। इसे Preference Optimization कहा जाता है।

परिणाम: यह क्यों महत्वपूर्ण है

पेपर ने अन्य स्मार्ट सर्च टूल्स के मुकाबले इस सिस्टम का परीक्षण किया। यहाँ उन्हें क्या मिला:

बेहतर सटीकता: जब PAPERPILOT को चैट करने और अपने "मशीन" को रिफाइन करने की अनुमति दी गई, तो इसने सही पेपर बहुत अधिक बार खोजे। यह सही पेपर खोजने की दर 58% से बढ़कर 77% हो गई।
शून्य टूटी हुई मशीनें: AI एजेंटों के साथ एक बड़ी समस्या यह है कि वे कभी-कभी ऐसी मशीन बनाने की कोशिश करते हैं जो काम नहीं करती (जैसे, ऐसे टूल से फ़िल्टर करने की कोशिश करना जो मौजूद ही नहीं है)। PAPERPILOT ने इन त्रुटियों को 9.5% से घटाकर 0% कर दिया। इसने स्थिर, काम करने वाले वर्कफ़्लो बनाना सीख लिया।
सस्ता और तेज़: भले ही यह एक छोटा, सस्ता कंप्यूटर मॉडल है, इसने बड़े, अधिक महंगे सिस्टम से बेहतर प्रदर्शन किया क्योंकि इसने अनुमान लगाने में समय बर्बाद नहीं किया; इसने पहली बार में ही सही टूल बनाया।

निष्कर्ष

यह पेपर तर्क देता है कि वैज्ञानिक पेपर खोजना केवल एक "वन-शॉट" अनुमान नहीं होना चाहिए। यह एक सहयोगात्मक प्रक्रिया होनी चाहिए जहाँ AI एक कस्टम खोज रणनीति बनाता है, आप उसे फीडबैक देते हैं, और वह अपनी रणनीति को तब तक एडिट (संशोधित) करता है जब तक कि वह सही न हो जाए।

PAPERPILOT यह सिद्ध करता है कि यदि आप AI को अपने शब्दों को केवल पढ़ने के बजाय अपनी खोज योजना बनाने और एडिट करने (जैसे एक मैकेनिक कार के इंजन को ट्यून करता है) की क्षमता देते हैं, तो यह एक बहुत अधिक शक्तिशाली और विश्वसनीय अनुसंधान सहायक बन जाता है।

तकनीकी सारांश: PAPERPILOT – वर्कफ़्लो इंडक्शन के माध्यम से मल्टी-टर्न एजेंटिक वैज्ञानिक साहित्य खोज

1. समस्या का निरूपण (Problem Formulation)

वैज्ञानिक साहित्य की खोज तेजी से जटिल होती जा रही है, जिसमें अक्सर उपयोगकर्ता की मंशा (intent) को संतुष्ट करने के लिए केवल एक कीवर्ड क्वेरी से अधिक की आवश्यकता होती है। शोधकर्ताओं को साइटेशन नेबरहुड्स (citation neighborhoods) को नेविगेट करना पड़ता है, कार्यप्रणाली की तुलना करनी पड़ती है, भटकाने वाले तत्वों को फ़िल्टर करना पड़ता है, और विकसित होती प्राथमिकताओं (जैसे, विशिष्ट साइटेशन दिशा, नवीनता, या अनुप्रयोग डोमेन) के आधार पर खोज रणनीतियों को परिष्कृत करना पड़ता है।

मौजूदा एजेंटिक खोज प्रणालियाँ आमतौर पर निश्चित रिट्रीवल पाइपलाइनों या निहित भाषा-आधारिक तर्क (implicit language-only reasoning) पर निर्भर करती हैं। ये दृष्टिकोण दो मुख्य सीमाओं से ग्रस्त हैं:

नियंत्रण का अभाव: जब उपयोगकर्ता फीडबैक प्रदान करते हैं (जैसे, "अधिक हाल के कार्यों पर ध्यान केंद्रित करें"), तो खोज रणनीतियों का निरीक्षण या उन्हें परिष्कृत करना कठिन होता है।
स्थिर इंटेंट हैंडलिंग: अस्पष्ट सूचना आवश्यकताओं के लिए इंटरैक्टिव विसंगति निवारण (disambiguation) की आवश्यकता होती है, जिसे निश्चित पाइपलाइनें प्रभावी ढंग से संबोधित करने में विफल रहती हैं। वर्तमान एजेंट अक्सर उपयोगकर्ता फीडबैक को केवल अतिरिक्त क्वेरी टेक्स्ट के रूप में देखते हैं, न कि स्वयं रिट्रीवल व्यवहार को संशोधित करने के निर्देश के रूप में।

यह शोध पत्र यह प्रस्तावित करता है कि वैज्ञानिक साहित्य खोज को एक मल्टी-टर्न इंटरैक्टिव वर्कफ़्लो इंडक्शन समस्या के रूप में फ्रेम किया जाना चाहिए, जहाँ एजेंट उपयोगकर्ता फीडबैक के आधार पर एक निष्पादनीय (executable) खोज रणनीति का निर्माण और परिशोधन करता है।

2. कार्यप्रणाली: PAPERPILOT

लेखक PAPERPILOT पेश करते हैं, जो एक मल्टी-टर्न एजेंटिक सिस्टम है जो साहित्य खोज को एक निष्पादनीय डायरेक्टेड एसाइक्लिक ग्राफ (DAG) के इंडक्शन के रूप में मानता है।

2.1 वर्कफ़्लो इंडक्शन फ्रेमवर्क

एक निश्चित पाइपलाइन के बजाय, PAPERPILOT प्रत्येक उपयोगकर्ता अनुरोध के लिए एक गतिशील DAG का निर्माण करता है:

टूलसेट (PAPERPILOT-TOOLSET): टाइप किए गए पेपर-सर्च ऑपरेटर्स का एक पुस्तकालय, जिसमें कीवर्ड सर्च, साइटेशन एक्सपेंशन (फॉरवर्ड/बैकवर्ड), फ़िल्टरिंग, स्कोरिंग, रेंकिंग, और एविडेंस एक्सट्रैक्शन शामिल हैं।
DAG संरचना: नोड्स इंस्टैंशिएटेड ऑपरेटर्स ( $v_i = (o_i, \theta_i)$ ) का प्रतिनिधित्व करते हैं, और एडजेस (edges) मध्यवर्ती आउटपुट (पेपर सेट्स, स्कोर, कीवर्ड, एविडेंस) के प्रवाह का प्रतिनिधित्व करते हैं। सिस्टम नोड्स के बीच टाइप कंसिस्टेंसी (type consistency) को लागू करता है।
अनुकूली निष्पादन (Adaptive Execution): एजेंट विशिष्ट खोज मंशा (जैसे, "स्ट्रॉन्ग बेसलाइन्स" बनाम "इमर्जिंग फॉलो-अप वर्क") के आधार पर प्रासंगिक ऑपरेटर्स का चयन करता है और उनके पैरामीटर्स (जैसे, खोज कीवर्ड, साइटेशन दिशा, फ़िल्टर प्रेडिकेट्स) को कॉन्फ़िगर करता है।

2.2 इंटरेक्शन लूप

सिस्टम एक मल्टी-टर्न सेटिंग में संचालित होता है:

इनिशियलाइजेशन: एक एंकर पेपर ( $p_0$ ) और एक उपयोगकर्ता क्वेरी ( $q$ ) दिए जाने पर, एजेंट एक प्रारंभिक वर्कफ़्लो ( $G_0$ ) को इंड्यूस करता है।
निष्पादन: वर्कफ़्लो को नोड-दर-नोड निष्पादित किया जाता है, जिसमें मध्यवर्ती आउटपुट को कैश किया जाता है।
फीडबैक और परिशोधन: उपयोगकर्ता (या एक सिम्युलेटर) फीडबैक ( $f_t$ ) प्रदान करता है। एजेंट DAG संरचना को संपादित करके, ऑपरेटर पैरामीटर्स को संशोधित करके, या मध्यवर्ती कैंडिडेट सेट्स को एडजस्ट करके वर्कफ़्लो ( $G_{t+1}$ ) को परिष्कृत करता है।
hi. फाइनलाइजेशन: चुनिंत संख्या में टर्न के बाद, एजेंट साक्ष्य (evidence) के साथ एक रैंक की गई पेपर लिस्ट आउटपुट करता है।

2.3 ट्रेनिंग स्ट्रैटेजी

PAPERPILOT-9B को वैध DAG जनरेशन और मजबूत एडिटिंग सीखने के लिए दो-चरणीय सुपरविजन पाइपलाइन का उपयोग करके प्रशिक्षित किया गया है:

डेटा कंस्ट्रक्शन: पांच खोज दिशाओं (predecessor, successor, sibling, benchmark, survey) में उच्च-गुणवत्ता वाले वर्कफ़्लो ट्राजेक्टरीज को एक स्ट्रॉन्ग टीचर मॉडल द्वारा जेनरेट किया जाता है।
सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): मॉडल को 5,540 वर्कफ़्लो सुपरविजन उदाहरणों पर प्रशिक्षित किया गया है जहाँ गोल्ड पेपर टॉप-5 परिणामों में दिखाई देता है।
पसंदीदा अनुकूलन (DPO): स्थिरता और त्रुटि हैंडलिंग में सुधार के लिए, लेखक सफल वर्कफ़्लो को संरचनात्मक और अर्थ संबंधी त्रुटियों (जैसे, अमान्य संदर्भ, गायब इनपुट, ड्रॉप किए गए नोड्स) के साथ दूषित करके प्रिफरेंस पेयर्स (preference pairs) का निर्माण करते हैं। मॉडल को सही वर्कफ़्लो को दूषित वर्कफ़्लो की तुलना में प्राथमिकता देने के लिए एक IPO-शैली के DPO ऑब्जेक्टिव का उपयोग करके ऑप्टिमाइज़ किया जाता है।

3. प्रमुख योगदान

वर्कफ़्लो इंडक्शन फॉर्मूलेशन: यह पेपर मल्टी-टर्न वैज्ञानिक खोज को निष्पादनीय DAG-स्ट्रक्चर्ड वर्कफ़्लो के इंडक्शन के रूप में प्रस्तुत करता है, जो उपयोगकर्ता फीडबैक को केवल क्वेरी टेक्स्ट के बजाय खोज रणनीतियों में ठोस संपादन में बदल देता है।
PAPERPILOT-9B मॉडल: वर्कफ़्लो इमिटेशन और दूषित वर्कफ़्लो पर प्रिफरेंस ऑप्टिमाइजेशन के साथ प्रशिक्षित एक 9B-पैरामीटर एजेंट, जो बेहतर रिट्रीवल क्वालिटी और वर्कफ़्लो स्थिरता प्रदर्शित करता है।
रिप्रोड्यूसेबल बेंचमार्क: एक होल्ड-आउट इवैल्यूएशन सेट जिसमें नियंत्रित इंटरेक्शन प्रोटोकॉल (LLM-आधारित यूजर सिम्युलेटर का उपयोग करके) शामिल हैं ताकि सिंगल-टर्न और मल्टी-टर्न सेटिंग्स के बीच निष्पक्ष तुलना संभव हो सके।

4. प्रयोगात्मक परिणाम

सिस्टम का मूल्यांकन पांच वैज्ञानिक खोज दिशाओं को कवर करने वाले एक बेंचमार्क पर किया गया, जिसमें PAPERPILOT-9B की तुलना बेस मॉडल्स (Qwen3.5-9B, Qwen3.5-397B) और बड़े प्रोप्रायटरी सिस्टम्स (GPT-5.4, OpenAI DeepResearch) से की गई।

4.1 रिट्रीवल परफॉरमेंस

मल्टी-टर्न सेटिंग में, PAPERPILOT-9B ने बेस Qwen3.5-9B टूलसेट एजेंट की तुलना में काफी बेहतर प्रदर्शन किया:

Hit@5: 58.0 से बढ़कर 77.0 हुआ।
MRR: 47.5 से बढ़कर 59.4 हुआ।
nDCG@10: 26.8 से बढ़कर 32.5 हुआ।
वर्कफ़्लो स्थिरता: निष्पादन त्रुटियां (execution errors) 9.5% से घटकर 0% हो गईं।

विशेष रूप से, PAPERPILOT-9B ने कम मॉडल और कम इन्फरेंस लागत के बावजूद, Hit@5, Hit@10, Hit@15, और MRR पर सिंगल-टर्न GPT-5.4 वेब सर्च बेसलाइन को पीछे छोड़ दिया।

4.2 लागत-प्रभावशीलता (Cost-Effectiveness)

PAPERPILOT एक अनुकूलित लागत-प्रदर्शन ट्रेड-ऑफ प्रदान करता है:

OpenAI DeepResearch: प्रति केस ~$6.09 की लागत के साथ 72.0 Hit@5।
PAPERPILOT-9B: ~$0.018 प्रति केस की लागत के साथ 77.0 Hit@5 प्राप्त करता है।
GPT-5.4 विद टूलसेट: $0.15 प्रति केस पर उच्चतम पूर्ण प्रदर्शन (84.0 Hit@5) प्राप्त किया।

4.3 एब्लेशन और विश्लेषण

वर्कफ़्लो एडिटिंग: PAPERPILOT-9B ने बेस मॉडल्स की तुलना में बेहतर लोकल-एडिट कंसिस्टेंसी (ऐड, मॉडिफाई, रिमूव नोड्स) दिखाई, जो पुष्टि करता है कि ट्रेनिंग मॉडल को फीडबैक को स्ट्रक्चरल इंस्ट्रक्शन्स के रूप में मानने में मदद करती है।
सर्च स्केल: $K=8$ –$10$ से अधिक के कैंडिडेट पूल साइज को बढ़ाने से आम तौर पर प्रदर्शन में गिरावट आई, जो सुझाव देता है कि बड़े पूल्स ऐसे डिस्ट्रैक्टर्स पेश करते हैं जो डाउनस्ट्रीम फ़िल्टरिंग को कमजोर करते हैं।
ह्यूमन स्टडी: मानव प्रतिभागियों के साथ एक अध्ययन में, PAPERPILOT ने 74.7% सफलता दर और 2.4 का Top-1 डिस्टेंस प्राप्त किया, जो GPT-5.4 (32.0% सफलता) और OpenAI DeepResearch (8.0% सफलता) से काफी बेहतर है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि स्पष्ट, संपादन योग्य खोज वर्कफ़्लो (explicit, editable search workflows) जटिल, विकसित होती वैज्ञानिक मंशा के साथ साहित्य खोज एजेंटों को संरेखित करने के लिए एक प्रभावी और नियंत्रणीय इंटरफ़ेस प्रदान करते हैं।

लेखकों द्वारा रेखांकित मुख्य निष्कर्ष:

नियंत्रण बनाम निहित तर्क: निहित भाषा तर्क से स्पष्ट DAG इंडक्शन की ओर बढ़ने से उपयोगकर्ता खोज रणनीति का सीधे निरीक्षण और परिशोधन कर सकते हैं।
ट्रेनिंग के माध्यम से स्थिरता: मल्टी-टर्न इंटरेक्शन के दौरान स्थिरता बनाए रखने के लिए दूषित वर्कफ़्लो पर प्रशिक्षण आवश्यक है, जो अन-ट्रेन्ड एजेंटों में देखी जाने वाली त्रुटि संचय (error accumulation) को रोकता है।
व्यावहारिकता: यह दृष्टिकोण प्रदर्शित करता है कि उच्च-गुणवत्ता वाली वैज्ञानिक खोज के लिए विशाल प्रोप्रायटरी मॉडल्स की आवश्यकता नहीं है; स्ट्रक्चर्ड टूल उपयोग और वर्कफ़्लो नियंत्रण काफी कम लागत के साथ बेहतर परिणाम दे सकते हैं।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें पूर्वनिर्धारित ऑपरेटर लाइब्रेरी पर निर्भरता, टीचर-मॉडल ट्राजेक्टरीज से संभावित पूर्वाग्रह, और वास्तविक दुनिया की बातचीत के बजाय सिम्युलेटेड यूजर फीडबैक का उपयोग शामिल है। वे सुझाव देते हैं कि भविष्य के कार्य को व्यापक डोमेन और अनुकूली ऑपरेटर लाइब्रेरीओं का पता लगाना चाहिए।