← नवीनतम पेपर
🤖 AI

From Noise to Diversity: Random Embedding Injection in LLM Reasoning

यह शोध पत्र यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल (LLM) के इनपुट्स में बिना प्रशिक्षण वाले रैंडम एम्बेडिंग वेक्टर्स को इंजेक्ट करना, शुरुआती चरण की टोकन विविधता को बढ़ाकर और Pass@N को विस्तृत करके तर्क क्षमता (reasoning performance) को प्रभावी ढंग से बढ़ाता है, जो एक ऐसी प्रक्रिया है जो बिना किसी सीखे हुए सॉफ्ट प्रॉम्प्ट्स के अनुमान सटीकता (inference accuracy) और प्रशिक्षण परिणामों दोनों में सुधार करती है।

मूल लेखक: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

प्रकाशित 2026-05-13
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बेहद प्रतिभाशाली लेकिन बहुत ही जड़ स्वभाव वाला लाइब्रेरियन (Large Language Model) है, जो गणित की समस्याओं को हल करने में तो माहिर है, लेकिन कभी-कभी एक ही ढर्रे में फंस जाता है। वे हमेशा उत्तर तक पहुँचने के लिए एक ही रास्ते का पालन करते हैं, और यदि वह रास्ता किसी बंद गली या डेड एंड पर ले जाता है, तो वे हार मान लेते हैं।

लंबे समय तक, शोधकर्ताओं ने उन्हें बेहतर समाधानों की ओर निर्देशित करने के लिए विशेष, कस्टम-लिखे गए नोट्स (जिन्हें Soft Prompts कहा जाता है) के साथ "प्रशिक्षित" करके उन्हें ठीक करने की कोशिश की। उन्होंने माना कि जादू उन नोट्स की सामग्री (content) में है।

यह पेपर एक अलग सवाल पूछता है: क्या होगा अगर जादू उन नोट्स में नहीं, बल्कि काम शुरू करने से पहले लाइब्रेरियन के हाथ में कागज का एक नया, रैंडम टुकड़ा थमाने के सरल कार्य में हो?

यहाँ उनकी खोज, Random Soft Prompts (RSP) का विवरण, रोजमर्रा के उपमाओं (analogies) का उपयोग करके दिया गया है:

1. "रैंडम नॉइज़" (यादृच्छिक शोर) का प्रयोग

एक विशेष नोट प्रशिक्षित करने के बजाय, शोधकर्ताओं ने बस पूरी तरह से रैंडम, अर्थहीन लकीरों (रैंडम नंबरों) का एक मुट्ठी भर संग्रह लिया और उन्हें गणित की समस्या के आगे या पीछे जोड़ दिया।

  • आश्चर्य: भले ही इन लकीरों में शून्य उपयोगी जानकारी थी, लेकिन लाइब्रेरियन अचानक समस्याओं को बेहतर ढंग से हल करने लगा। कुछ मामलों में, उनका प्रदर्शन उतना ही अच्छा था जितना कि तब होता जब उन्हें एक सावधानीपूर्वक प्रशिक्षित, सटीक नोट दिया गया हो।
  • सबक: सुधार किसी नई चीज़ को सीखने से नहीं आया। यह मिश्रण में कुछ नया डालने (injecting) के कार्य से आया।

2. यह कैसे काम करता है: "शाखा मार्ग" (Branching Path) की उपमा

लाइब्रेरियन की विचार प्रक्रिया को एक गलियारे में चलने के रूप में सोचें जिसमें कई दरवाजे हैं।

  • रैंडम कागज के बिना: लाइब्रेरियन सीधे मुख्य हॉल में चलता है, जो पहला दरवाजा दिखता है उसे खोलता है, और उसी रास्ते पर चलता रहता है। यदि वह रास्ता एक डेड एंड है, तो वह विफल हो जाता है।
  • रैंडम कागज के साथ: रैंडम लकीरें शुरुआत में ही एक अचानक, भ्रमित करने वाली हवा के झोंके की तरह काम करती हैं।
    • प्रारंभिक चरण (शाखा/Branch): इस "हवा" के कारण, लाइब्रेरियन रुकता है और उन दरवाजों को देखता है जो वे आमतौर पर देखते हैं। वे शायद एक ऐसा दरवाजा खोल सकते हैं जिसे उन्होंने पहले कभी नहीं सोचा था। यह उनकी सोच में एक "शाखा" (branch) बनाता है, जो समाधान के लिए एक बिल्कुल अलग मार्ग की ओर ले जाता है।
    • बाद का चरण (स्थिरीकरण/Stabilization): जैसे-जैसे लाइब्रेरियन इस नए पथ पर आगे बढ़ता है, "हवा" (रैंडम कागज) धीरे-धीरे कम होती जाती है क्योंकि गलियारा लंबा होता जाता है और शुरुआत के बारे में लाइब्रेरियन की याद धुंधली होती जाती है। वे इस नए पथ पर आत्मविश्वास के साथ अपनी चाल स्थिर कर लेते हैं।

3. "पासे फेंकने" का प्रभाव (Pass@N)

पेपर में पाया गया कि यदि आप लाइब्रेरियन को एक ही समस्या को 10 बार हल करने के लिए कहते हैं, लेकिन हर बार उन्हें एक अलग रैंडम लकीर देते हैं, तो आपको 10 अलग-अलग रास्ते मिलते हैं।

  • परिणाम: भले ही उनमें से 9 रास्ते गलत हों, लेकिन तथ्य यह है कि आपने उन्हें 10 अलग-अलग शुरुआती बिंदुओं से प्रयास करने के लिए मजबूर किया, तो आप उनमें से एक सही पथ खोजने की बहुत अधिक संभावना रखते हैं।
  • सावधानी: यदि आप सभी 10 प्रयासों के लिए एक ही रैंडम लकीर का उपयोग करते हैं, तो वे सभी एक ही गलत रास्ते पर चलेंगे। जादू तभी काम करता है जब "हवा" हर बार बदलती है।

4. यह क्यों महत्वपूर्ण है

  • यह मुफ्त है: आपको मॉडल को प्रशिक्षित करने या उसे नई बातें सिखाने में हफ्तों खर्च करने की आवश्यकता नहीं है। आप बस रैंडम नॉइज़ जोड़ते हैं।
  • यह संरचनात्मक है: पेपर यह सिद्ध करता है कि इन उन्नत AI ट्रिक्स की "जादुई शक्ति" अक्सर अतिरिक्त टोकन जोड़ने की संरचना (structure) से आती है, न कि उन टोकनों की विशिष्ट सामग्री से। यह बिल्कुल वैसा ही है जैसे पहेली के टुकड़ों वाले बॉक्स को हिलाने से आपको कोने वाला सही टुकड़ा तेजी से मिल सकता है, भले ही हिलाने की क्रिया स्वयं पहेली को हल न करे।
  • यह प्रशिक्षण में मदद करता है: उन्होंने यह भी दिखाया कि मॉडल के प्रशिक्षण (सिखाने के चरण) के दौरान इस रैंडम "हवा" का उपयोग करने से मॉडल तेजी से और बेहतर तरीके से सीखता है, ठीक वैसे ही जैसे एक कोच अभ्यास के तरीकों को बदल सकता है ताकि एथलीट ऊब न जाए या एक ही रूटीन में न फंस जाए।

सारांश

पेपर का दावा है कि रैंडमनेस (यादृच्छिकता) एक शक्तिशाली उपकरण है। AI के इनपुट में रैंडम, अर्थहीन वेक्टर्स को इंजेक्ट करके, आप इसे शुरुआत में ही उत्तर के लिए अलग-अलग "रास्तों" को तलाशने के लिए मजबूर करते हैं। एक बार जब वे एक रास्ता चुन लेते हैं, तो वे उसी पर टिके रहते हैं, लेकिन क्योंकि आपने एक अलग रास्ते से शुरुआत की थी, इसलिए आप सामान्य रास्ते की तुलना में गंतव्य तक अधिक बार पहुँच सकते हैं। यह सच है कि कभी-कभी, चीजों को हिलाना या बदलना (shaking things up) कुछ नया सिखाने जितना ही प्रभावी होता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →