💬 NLP

ZeroSearch: Incentivize the Search Capability of LLMs without Searching

ZeroSearch एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो एक हल्के, पाठ्यक्रम-आधारित सिम्युलेटेड सर्च मॉड्यूल का उपयोग करके बड़े भाषा मॉडलों (large language models) की खोज क्षमताओं को प्रभावी ढंग से प्रोत्साहित और उन्नत करता है, जिससे वास्तविक दुनिया के सर्च इंजन प्रशिक्षण की उच्च लागत और अस्थिर डेटा गुणवत्ता की बाधाओं को दूर किया जा सके।

मूल लेखक: Hao Sun, Zile Qiao, Jiayan Guo, Xuanbo Fan, Yingyan Hou, Yong Jiang, Pengjun Xie, Yan Zhang, Fei Huang, Jingren Zhou

प्रकाशित 2026-05-20

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Hao Sun, Zile Qiao, Jiayan Guo, Xuanbo Fan, Yingyan Hou, Yong Jiang, Pengjun Xie, Yan Zhang, Fei Huang, Jingren Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन छात्र (AI) को लाइब्रेरी में सुराग खोजकर जटिल रहस्यों को सुलझाना सिखा रहे हैं। आमतौर पर, उन्हें यह कौशल सिखाने के लिए, आपको हर बार जब वे कोई प्रश्न पूछें, तो उन्हें एक वास्तविक लाइब्रेरी में भेजना होगा।

वास्तविक लाइब्रेरी के साथ समस्या:

अनिश्चित पुस्तकें: कभी-कभी लाइब्रेरियन उन्हें एक सटीक, मददगार किताब थमा देता है। अन्य समय में, उन्हें एक फटी हुई, पुरानी या पूरी तरह से गलत पुस्तिका मिल जाती है। यह सीखने की प्रक्रिया को निरंतर बनाने में कठिन बनाता है।
महंगी टिकटें: हर बार जब छात्र लाइब्रेरी जाने के लिए निकलता है, तो इसमें बहुत अधिक खर्च होता है। यदि छात्र को बारीकियां सीखने के लिए हजारों यात्राओं की आवश्यकता है, तो बजट तुरंत खत्म हो जाएगा।

समाधान: ZEROSEARCH (एक "काल्पनिक लाइब्रेरी")
Tongyi Lab के शोधकर्ताओं ने एक चतुर प्रशिक्षण पद्धति बनाई जिसे ZEROSEARCH कहा जाता है। छात्र को वास्तविक लाइब्रेरी में भेजने के बजाय, उन्होंने एक अन्य AI का उपयोग करके कक्षा के भीतर ही एक सिम्युलेटेड (Simulated) लाइब्रेरी बना दी।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. "अभिनय करने वाला" लाइब्रेरियन

सबसे पहले, शोधकर्ता एक मानक AI लेते हैं और उसे एक त्वरित, हल्का प्रशिक्षण सत्र (जैसे कि एक क्रैश कोर्स) देते हैं। वे इस AI को लाइब्रेरियन के रूप में कार्य करना सिखाते हैं।

जादुई ट्रिक: वे इस "लाइब्रेरियन AI" को ठीक से बता सकते हैं कि उसे किस प्रकार की किताबें सौंपनी हैं।
यदि वे कहते हैं, "मुझे मददगार किताबें दो," तो AI सटीक और सही दस्तावेज़ तैयार करता है।
यदि वे कहते हैं, "मुझे शोर वाली (Noisy) (भ्रमित करने वाली/गलत) किताबें दो," तो AI कचरा (Garbage) तैयार करता है।
यह क्यों मायने रखता है: वास्तविक लाइब्रेरी के विपरीत, जहाँ आप नियंत्रित नहीं कर सकते कि लाइब्रेरियन को क्या मिलेगा, यहाँ शिक्षक के पास "सुरागों" की गुणवत्ता पर पूर्ण नियंत्रण होता है।

2. "क्रमिक कठिनाई" का खेल (Curriculum Learning)

शोधकर्ता छात्र को तुरंत गहरे पानी में नहीं फेंकते। वे एक करिकुलम रोलआउट (Curriculum Rollout) रणनीति का उपयोग करते हैं, जो एक वीडियो गेम की तरह है जो स्तर दर स्तर कठिन होता जाता है:

स्तर 1 (आसान): लाइब्रेरियन AI केवल सटीक, मददगार किताबें सौंपता है। छात्र बुनियादी नियम सीखता है: "प्रश्न पूछो, उत्तर प्राप्त करो, पहेली सुलझाओ।"
स्तर 2 (मध्यम): लाइब्रेरियन कुछ भ्रमित करने वाली या थोड़ी गलत किताबें मिलाना शुरू कर देता है। छात्र को खराब जानकारी को फ़िल्टर करना सीखना पड़ता है।
स्तर 3 (कठिन): लाइब्रेरियन ज्यादातर कचरा (Garbage) सौंपता है। छात्र को अब एक जासूस बनना होगा, यह पता लगाना होगा कि सूचना का कौन सा छोटा सा हिस्सा वास्तव में सत्य है।
जानवरी तक, छात्र इस खराब जानकारी को छानने में इतना कुशल हो जाता है कि वह वास्तविक लाइब्रेरी को पूरी तरह से संभाल सकता है।

3. परिणाम: सस्ता और स्मार्ट

इस पद्धति का परीक्षण विभिन्न आकार के AI "छात्रों" (3-बिलियन पैरामीटर वाले छोटे मॉडल से लेकर 14-बिलियन वाले बड़े मॉडल तक) के साथ किया गया।

लागत: क्योंकि उन्होंने कभी भी वास्तविक लाइब्रेरी (Google) को कॉल नहीं किया, इसलिए उन्होंने भारी मात्रा में पैसा बचाया। उनका "काल्पनिक लाइब्रेरी" उनके अपने सर्वर पर चलता है, जो हजारों वास्तविक सर्च API कॉल का भुगतान करने की तुलना में बहुत सस्ता है।
प्रदर्शन:
- इस पद्धति से प्रशिक्षित एक छोटा AI, वास्तविक सर्च इंजन द्वारा प्रशिक्षित AI के समान प्रदर्शन करता है।
- एक मध्यम आकार का AI (7B) वास्तविक सर्च इंजन के बराबर प्रदर्शन करता है।
- एक बड़ा AI (14B) वास्तव में वास्तविक सर्च इंजन को पछाड़ देता है!
सामान्यीकरण (Generalization): यह विभिन्न प्रकार के AI मॉडल के लिए काम कर गया, चाहे वे "रॉ" (Base) हों या "निर्देशों का पालन करने के लिए प्रशिक्षित" (Instruct)।

मुख्य निष्कर्ष (The Bottom Line)

ZEROSEARCH एक ऐसा तरीका है जिससे AI को प्रशिक्षण के दौरान वेब को छुए बिना वेब को खोजना सिखाया जाता है। एक नियंत्रणीय "नकली" सर्च इंजन का उपयोग करके जो आसान से शुरू होता है और धीरे-धीरे कठिन होता जाता है, AI एक बेहतर जासूस बनना सीखता है, API शुल्क पर भारी बचत करता है, और अंततः वास्तविक इंटरनेट की तुलना में बेहतर प्रदर्शन करता है जो अव्यवस्थित और अनिश्चित होता है।

तकनीकी सारांश: ZEROSEARCH

समस्या विवरण

सूचना प्राप्ति (Information Retrieval) को प्रभावी बनाना लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क करने और सामग्री उत्पन्न करने की क्षमताओं को बढ़ाने के लिए महत्वपूर्ण है, विशेष रूप से मतिभ्रम (hallucinations) को कम करने और अद्यतित ज्ञान तक पहुँचने के लिए। जबकि हालिया शोधों ने LLMs को लाइव सर्च इंजन (जैसे Google) के साथ इंटरैक्ट करने के लिए प्रशिक्षित करने हेतु सुदृढीकरण शिक्षण (Reinforcement Learning - RL) का उपयोग करने की खोज की है, ये दृष्टिकोण स्केलेबिलिटी के लिए दो महत्वपूर्ण बाधाओं का सामना करते हैं:

अनियंत्रित दस्तावेज़ गुणवत्ता: वास्तविक खोज इंजनों द्वारा लौटाए गए दस्तावेज़ अप्रत्याशित होते हैं, जो प्रशिक्षण प्रक्रिया में शोर (noise) और अस्थिरता पैदा करते हैं।
अत्यधिक उच्च API लागत: RL प्रशिक्षण के लिए बार-बार रोलआउट की आवश्यकता होती है, जिसमें सैकड़ों हज़ार खोज अनुरोध शामिल हो सकते हैं। इससे वाणिज्यिक APIs (जैसे SerpAPI) के माध्यम से भारी वित्तीय लागत आती है, जो ऐसी विधियों की स्केलेबिलिटी को गंभीर रूप से सीमित करती है।

मौजूदा समाधान जो स्थिर कॉर्पोरा (static corpora) पर निर्भर करते हैं, वे वास्तविक दुनिया की खोज की जटिलताओं को पकड़ने में विफल रहते हैं, जबकि लाइव इंजनों का उपयोग करने वाले समाधान अत्यधिक खर्चीले और अस्थिर हैं।

कार्यप्रणाली (Methodology)

लेखक ZEROSEARCH का प्रस्ताव करते हैं, जो एक नवीन RL फ्रेमवर्क है जो LLMs को प्रशिक्षण के दौरान वास्तविक खोज इंजनों के साथ इंटरैक्ट किए बिना खोज क्षमताओं का उपयोग करने के लिए प्रोत्साहित करता है। मुख्य अंतर्दष्टि यह है कि LLMs प्री-ट्रेनिंग से व्यापक विश्व ज्ञान रखते हैं और यदि उन्हें सही ढंग से निर्देशित किया जाए, तो वे सर्च इंजन के व्यवहार का अनुकरण (simulate) कर सकते हैं।

यह फ्रेमवर्क तीन मुख्य घटकों से बना है:

1. सर्च सिमुलेशन ट्यूनिंग (Search Simulation Tuning)

केवल प्रॉम्प्टिंग पर निर्भर रहने के बजाय, लेखक एक LLM को "रिट्रीवल मॉड्यूल" में बदलने के लिए लाइटवेट सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) का उपयोग करते हैं।

डेटा निर्माण: ऐसे इंटरैक्शन ट्राजेक्टरीज एकत्र की जाती हैं जहाँ एक LLM वास्तविक खोज इंजन के साथ इंटरैक्ट करता है। क्वेरी-दस्तावेज़ जोड़े निकाले जाते हैं।
गुणवत्ता नियंत्रण: एक LLM एक जज के रूप में कार्य करता है जो दस्तावेज़ों को "उपयोगी" (पर्याप्त जानकारी युक्त) या "शोरयुक्त" (अपर्याप्त जानकारी युक्त) के रूप में लेबल करता है।
प्रॉम्प्ट डिज़ाइन: सिमुलेशन LLM को एक क्वेरी के जवाब में उपयोगी और शोरयुक्त दोनों प्रकार के दस्तावेज़ उत्पन्न करने के लिए फाइन-ट्यून किया जाता है। महत्वपूर्ण रूप से, विशिष्ट कीवर्ड्स (जैसे, "generate [useful/noisy] documents") को समायोजित करके आउटपुट की गुणवत्ता को गतिशील रूप से नियंत्रित किया जा सकता है। यह सिस्टम को विभिन्न स्तरों की रिट्रीवल कठिनाई को सिम्युलेट करने की अनुमति देता है।

2. करिकुलम-आधारित रोलआउट रणनीति (Curriculum-Based Rollout Strategy)

मॉडल की तर्क क्षमता को क्रमिक रूप से विकसित करने के लिए, ZEROSEARCH RL रोलआउट चरण के दौरान एक करिकुलम लर्निंग तंत्र का उपयोग करता है।

गतिशील कठिनाई: प्रशिक्षण के दौरान दस्तावेज़ों की गुणवत्ता को धीरे-धीरे कम किया जाता है।
संभाव्यता फलन (Probability Function): एक संभाव्यता फलन $p_i$ प्रशिक्षण चरण $i$ पर शोरयुक्त दस्तावेज़ उत्पन्न करने की संभावना को नियंत्रित करता है:
$p_i = p_s + \frac{b^{i/m} - 1}{b - 1}(p_e - p_s)$
जहाँ $p_s$ और $p_e$ प्रारंभिक और अंतिम शोर की संभावनाएँ हैं, $m$ कुल चरण हैं, और $b$ एक एक्सपोनेंशियल बेस (डिफ़ॉल्ट 4) है।
प्रगति: पॉलिसी मॉडल पहले उच्च-गुणवत्ता (उपयोगी) दस्तावेज़ों के साथ बुनियादी आउटपुट प्रारूप और कार्य आवश्यकताओं को सीखता है, फिर धीरे-धीरे अधिक चुनौतीपूर्ण और शोरयुक्त रिट्रीवल परिदृश्यों के अनुकूल होता है।

3. प्रशिक्षण एल्गोरिदम और रिवॉर्ड डिज़ाइन

एल्गोरिदम: यह फ्रेमवर्क REINFORCE, Proximal Policy Optimization (PPO), और Group Relative Policy Optimization (GRPO) सहित विभिन्न RL एल्गोरिदम के साथ संगत है।
लॉस मास्किंग (Loss Masking): प्रशिक्षण स्थिरता सुनिश्चित करने के लिए, सिमुलेशन LLM द्वारा लौटाए गए दस्तावेज़ टोकन पर लॉस मास्किंग लागू की जाती है। ग्रेडिएंट केवल पॉलिसी मॉडल के अपने आउटपुट (तर्क और उत्तर) के संबंध में ही कंप्यूट किए जाते हैं, जिससे बाहरी रूप से उत्पन्न टोकन के कारण होने वाली अस्थिरता को रोका जा सके।
रिवॉर्ड फंक्शन: उत्तर की सटीकता पर केंद्रित एक नियम-आधारित रिवॉर्ड का उपयोग किया जाता है। "रिवॉर्ड हैकिंग" (जैसे, मैच होने की संभावना बढ़ाने के लिए अत्यधिक लंबे उत्तर उत्पन्न करना) को रोकने के लिए, लेखक Exact Match (EM) के बजाय F1 स्कोर का उपयोग करते हैं।

मुख्य योगदान

एक नवीन RL फ्रेमवर्क: ZEROSEARCH LLMs को वास्तविक खोज इंजनों के साथ इंटरैक्ट किए बिना खोज रणनीतियों को सीखने में सक्षम बनाता है, जिससे महंगी और दर-सीमित APIs पर निर्भरता प्रभावी रूप से समाप्त हो जाती है।
नियंत्रित सिमुलेशन: SFT के माध्यम से, लेखक एक LLM को एक रिट्रीवल मॉड्यूल में बदल देते हैं जो उपयोगी और शोरयुक्त दोनों दस्तावेज़ उत्पन्न करने में सक्षम है, जिससे दस्तावेज़ की गुणवत्ता पर स्पष्ट नियंत्रण मिलता है।
करिकुलम रोलआउट: एक करिकुलम तंत्र का परिचय जो दस्तावेज़ की गुणवत्ता को क्रमिक रूप से कम करता है, मॉडल को जटिल और शोर वाले परिदृश्यों से निपटने से पहले सर्च टूल के उपयोग में महारत हासिल करने में मदद करता है।
स्केलेबिलिटी और सामान्यीकरण: यह विधि मजबूत स्केलेबिलिटी (GPU पैरेललिज्म द्वारा त्वरित) प्रदर्शित करती है और विभिन्न पैरामीटर आकार (3B, 7B, 14B) के बेस और इंस्ट्रक्शन-ट्यून्ड मॉडल्स पर अच्छी तरह से सामान्यीकृत होती है।

प्रयोगात्मक परिणाम

लेखकों ने विविध प्रश्न-उत्तर बेंचमार्क पर ZEROSEARCH का मूल्यांकन किया, जिसमें सिंगल-हॉप (NQ, TriviaQA, PopQA) और मल्टी-हॉप (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle) डेटासेट शामिल हैं।

वास्तविक खोज बनाम प्रदर्शन: ZEROSEARCH वास्तविक खोज इंजन (जैसे Search-R1) पर आधारित बेसलाइन विधियों सहित अन्य विधियों से लगातार बेहतर प्रदर्शन करता है। विशेष रूप से, एक 7B सिमुलेशन मॉड्यूल वास्तविक खोज इंजन के समान प्रदर्शन प्राप्त करता है, जबकि एक 14B सिमुलेशन मॉड्यूल उससे भी बेहतर प्रदर्शन करता है।
लागत दक्षता: इस फ्रेमवर्क में शून्य API लागत आती है। एक लागत विश्लेषण दिखाता है कि जबकि 64,000 अनुरोधों का उपयोग करने वाला वास्तविक खोज दृष्टिकोण (SerpAPI के माध्यम से) लगभग $586.70 खर्च करता है, सिमुलेटेड दृष्टिकोण (मॉडल के आकार के आधार पर) GPU सर्वर का उपयोग करके लगभग $17.70 से$ 70.80 खर्च करता है।
सामान्यीकरण: यह विधि बेस और इंस्ट्रक्शन-ट्यून्ड दोनों मॉडल्स के साथ प्रभावी ढंग से काम करती है और REINFORCE, PPO, और GRPO के साथ संगत है।
एब्लेशन अध्ययन (Ablation Studies):
- सिमुलेशन गुणवत्ता: फाइन-ट्यून्ड सिमुलेशन इंजन (SFT) प्रॉम्प्ट-आधारित इंजनों की तुलना में काफी बेहतर प्रदर्शन करते हैं। बड़े सिमुलेशन मॉडल (14B) छोटे मॉडल्स (3B) की तुलना में बेहतर पॉलिसी प्रदर्शन प्रदान करते हैं।
- करिकुलम प्रभावशीलता: आसान-से-कठिन (easy-to-hard) वाला करिकुलम रोलआउट रणनीति रैंडम रोलआउट बेसलाइन की तुलना में काफी बेहतर है।
- लॉस मास्किंग: दस्तावेज़ टोकन के लिए लॉस मास्किंग हटाने से रिवॉर्ड में भारी गिरावट और प्रशिक्षण अस्थिरता आती है।

महत्व और दावे

पेपर का दावा है कि ZEROSEARCH, RL प्रशिक्षण के लिए वास्तविक-विश्व खोज इंजन एकीकरण का एक व्यावहारिक, लागत प्रभावी और स्थिर विकल्प प्रदान करता है। नियंत्रित शोर स्तरों के साथ सिमुलेटेड वातावरण का उपयोग करके, यह फ्रेमवर्क मॉडल्स को लाइव API की वित्तीय और स्थिरता संबंधी बाधाओं के बिना मजबूत खोज रणनीतियों को सीखने की अनुमति देता है। लेखकों का मानना है कि यह दृष्टिकोण RL प्रशिक्षण की लागत को काफी कम कर सकता है और वास्तविक दुनिया के कार्यों के लिए सिमुलेटर के रूप में LLMs का उपयोग करने वाले भविष्य के शोध को प्रोत्साहित कर सकता है।

यह कार्य रेखांकित करता है कि उचित सिमुलेशन और करिकुलम डिज़ाइन के साथ, छोटे मॉडल्स (जैसे 7B) प्रभावी रूप से ऐसी खोज क्षमताएं विकसित कर सकते हैं जो वास्तविक, शोरयुक्त और महंगे वेब डेटा पर प्रशिक्षित मॉडल्स के बराबर या उनसे बेहतर हो सकती हैं।