← नवीनतम पेपर
🤖 AI

Query Circuits: Explaining How Language Models Answer User Prompts

यह शोध पत्र "क्वेरी सर्किट्स" (query circuits) को प्रस्तुत करता है, जो व्यक्तिगत आउटपुट के लिए निष्ठावान (faithful), विरल (sparse) और गणनात्मक रूप से सुलभ स्पष्टीकरण प्रदान करने के लिए भाषा मॉडलों के भीतर इनपुट-विशिष्ट सूचना प्रवाह को ट्रैक करने की एक विधि है, जिसे "नॉर्मलाइज्ड डेविएशन फेथफुलनेस" (Normalized Deviation Faithfulness - NDF) नामक एक नए मीट्रिक द्वारा मान्य किया गया है और कई बेंचमार्क में प्रदर्शित किया गया है।

मूल लेखक: Tung-Yu Wu, Fazl Barez

प्रकाशित 2026-06-02
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Tung-Yu Wu, Fazl Barez

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, हलचल भरे शहर के रूप में करें जिसमें लाखों सड़कें, चौराहे और ट्रैफिक लाइटें हैं। जब आप मॉडल से कोई प्रश्न पूछते हैं (एक "प्रॉम्ट"), तो यह शहर में एक डिलीवरी ट्रक भेजने जैसा है ताकि वह उत्तर लेकर आ सके।

लंबे समय से, शोधकर्ता यह समझने की कोशिश कर रहे हैं कि यह शहर कैसे काम करता है, इसके लिए उन्होंने सामान्य ट्रैफिक पैटर्न का मानचित्र बनाया है। वे जानते हैं, उदाहरण के लिए, कि जब शहर को कोई छिपी हुई वस्तु ढूंढनी होती है, तो "रूट A" का उपयोग किया जाता है, या गणित की समस्याओं के लिए "रूट B" का उपयोग किया जाता है। इन्हें कैपेबिलिटी सर्किट्स (capability circuits) कहा जाता है।

हालाँकि, सामान्य रूट को जानने से यह पता नहीं चलता कि आज आपके विशिष्ट कार्य के लिए ट्रक ने एक विशेष रास्ता क्यों चुना। हो सकता है कि वहां कोई निर्माण कार्य चल रहा हो, अचानक कोई डायवर्जन आया हो, या कोई अनूठा ट्रैफिक लाइट हो जो केवल इस एक यात्रा के लिए महत्वपूर्ण था।

यह पेपर इस शहर को देखने का एक नया तरीका पेश करता है: क्वेरी सर्किट्स (Query Circuits)। सामान्य मानचित्र को देखने के बजाय, लेखक यह पता लगाना चाहते हैं कि आपके विशिष्ट प्रश्न के लिए ट्रक ने वास्तव में कौन सा छोटा और सटीक रास्ता लिया।

यहाँ उनकी खोज का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "सरोगेट" (Surrogate) मानचित्र गलत था

पहले, किसी विशिष्ट यात्रा को समझने के लिए, शोधकर्ता शहर का एक छोटा, सरलीकृत मॉडल (एक "सरोगेट") बनाने और वहां रास्ता खोजने की कोशिश करते थे।

  • उपमा: कल्पना करें कि आप न्यूयॉर्क शहर के एक जटिल ट्रैफिक जाम को समझने के लिए लेगो (LEGO) से शहर का एक खिलौना मॉडल बनाने की कोशिश कर रहे हैं। आप लेगो पर रास्ता ट्रेस करते हैं, इस उम्मीद में कि यह वास्तविक शहर से मेल खाएगा।
  • समस्या: पेपर का तर्क है कि ये लेगो मॉडल अक्सर वास्तविक शहर से पूरी तरह मेल नहीं खाते। वे विवरण छोड़ देते हैं, और उन्हें बनाना धीमा और महंगा है। लेखक बिना किसी खिलौने वाले संस्करण के, सीधे वास्तविक शहर (वास्तविक मॉडल) पर रास्ता ट्रेस करना चाहते थे।

2. समाधान: "बेस्ट-ऑफ-एन" (Best-of-N) लॉटरी

लेखकों ने पाया कि एक विशिष्ट प्रश्न के लिए सटीक रास्ता खोजना आश्चर्यजनक रूप से कठिन है। यदि आप केवल एक प्रश्न के लिए ट्रैफिक लाइट देखते हैं, तो डेटा अक्सर "शोर भरा" (जैसे रेडियो पर स्टेटिक/गूंज) होता है, जिससे वास्तविक रास्ता देखना कठिन हो जाता है।

  • उपमा: कल्पना करें कि आप एक जीतने वाली लॉटरी टिकट खोजने की कोशिश कर रहे हैं, लेकिन टिकट के नंबर थोड़े धुंधले हैं। यदि आप केवल एक टिकट के आधार पर विजेता चुनने की कोशिश करते हैं, तो आप गलत चुन सकते हैं।
  • समाधान: लेखक बेस्ट-ऑफ-एन (BoF) नामक एक विधि प्रस्तावित करते हैं।
    1. आपका मूल प्रश्न लें।
    2. मॉडल से वही प्रश्न 9 अलग-अलग तरीकों से पूछें (पैराफ्रेस)। यह पूछने जैसा है, "आसमान का रंग क्या है?" बनाम "साफ दिन पर आसमान के रंग का वर्णन करें।"
    3. इन सभी 10 संस्करणों के लिए रास्ता ट्रेस करें।
    4. विजेता चुनें: वह रास्ता चुनें जिसने सबसे अच्छा काम किया।
  • परिणाम: भले ही मूल प्रश्न "धुंधला" था, लेकिन उनके पुनर्गठित संस्करणों में से एक इतना स्पष्ट था कि उसने वास्तविक, छिपे हुए रास्ते को प्रकट कर दिया। कई संस्करणों की जांच करके, उन्होंने वह "विजेता टिकट" खोज निकाला जो सटीक रूप से बताता है कि मॉडल ने उत्तर कैसे दिया।

3. नया स्कोरकार्ड: NDF

यह जानने के लिए कि क्या उन्होंने सही रास्ता खोजा है, उन्हें सफलता मापने के लिए एक तरीके की आवश्यकता थी। पुराना स्कोरकार्ड (जिसे NFS कहा जाता था) जटिल प्रश्नों के लिए खराब था; यह "200%" या "-50%" जैसे स्कोर देता था, जिसका कोई अर्थ नहीं था।

  • उपमा: यह एक स्पीडोमीटर की तरह है जो कभी-कभी कहता है कि आप 100 मील प्रति घंटे की रफ्तार से पीछे की ओर जा रहे हैं या 500 मील प्रति घंटे की रफ्तार से आगे बढ़ रहे हैं, जबकि आप वास्तव में 60 की गति से चल रहे होते हैं।
  • समाधान: उन्होंने NDF (Normalized Deviation Faithfulness) नामक एक नया स्कोर बनाया। यह एक विश्वसनीय स्पीडोमीटर है जो हमेशा 0 और 1 के बीच रहता है।
    • 1.0 का अर्थ है कि उनके द्वारा पाया गया रास्ता एकदम सही है (यह मॉडल के उत्तर की सटीक व्याख्या करता है)।
    • 0.0 का अर्थ है कि रास्ता बेकार है।
    • यह नया स्कोरकार्ड उन्हें अपने निष्कर्षों पर भरोसा करने की अनुमति देता है, यहाँ तक कि चिकित्सा परीक्षाओं या खगोल विज्ञान जैसे कठिन विषयों पर भी।

4. बड़ी आश्चर्यजनक बात: शहर ज्यादातर खाली है

सबसे रोमांचक खोज यह है कि किसी भी एक प्रश्न के लिए, मॉडल पूरे शहर का उपयोग नहीं करता है। वह केवल एक छोटा, विशिष्ट पड़ोस उपयोग करता है।

  • उपमा: आप सोच सकते हैं कि एक डिलीवरी ट्रक को बिंदु A से बिंदु B तक जाने के लिए शहर की 50% सड़कों का उपयोग करने की आवश्यकता है। लेकिन लेखकों ने पाया कि एक विशिष्ट प्रश्न के लिए, ट्रक केवल लगभग 1.3% सड़कों का उपयोग करता है।
  • प्रमाण: उन्होंने दिखाया कि यदि वे 98.7% शहर को ब्लॉक कर दें और ट्रक को केवल उस छोटे 1.3% पथ का उपयोग करने दें, तो भी वह लगभग 60% बार प्रश्न का सही उत्तर दे सकता है। यह साबित करता है कि व्यक्तिगत कार्यों के लिए मॉडल का "मस्तिष्क" अविश्वसनीय रूप से स्पार्स (sparse) और कुशल है।

सारांश

यह पेपर एक नए टूल को पेश करता है जो यह समझाता है कि एक AI बिल्कुल कैसे एक विशिष्ट प्रश्न का उत्तर देता है।

  1. उन्होंने "खिलौना मॉडल" का उपयोग करना बंद कर दिया और सीधे वास्तविक AI के अंदर देखा।
  2. उन्होंने महसूस किया कि एक ही प्रश्न को अलग-अलग तरीकों से पूछने से AI के सोचने के छिपे हुए "सच" को प्रकट करने में मदद मिलती है।
  3. उन्होंने यह मापने के लिए एक बेहतर तरीका बनाया कि क्या उनका स्पष्टीकरण सही है।
  4. उन्होंने साबित किया कि किसी भी एक प्रश्न के लिए, AI अपना काम करने के लिए अपने विशाल मस्तिष्क के एक बहुत ही छोटे, विशिष्ट हिस्से का उपयोग करता है।

यह हमें "AI सामान्य रूप से गणित कैसे करता है" को जानने से हटाकर "AI ने यह गणित की समस्या वास्तव में कैसे हल की" को समझने की ओर ले जाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →