← नवीनतम पेपर
💬 NLP

How Does Reasoning Flow? Tracing Attention-Induced Information Flow for Targeted RL in LLMs

यह शोध पत्र FlowTracer को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो तर्क को एक अटेंशन-प्रेरित प्रवाह नेटवर्क (attention-induced flow network) के रूप में मॉडल करके LLMs में टोकन-स्तरीय क्रेडिट असाइनमेंट की समस्या का समाधान करता है ताकि उन उच्च-प्रभाव वाले टोकनों की पहचान और उन्हें पुरस्कृत किया जा सके जो सही उत्तरों की ओर सूचना प्रसार को मध्यस्थता प्रदान करते हैं।

मूल लेखक: Zhichen Dong, Yang Li, Yuhan Sun, Weixun Wang, Yijia Luo, Zinian Peng, Taiheng Ye, Chao Yang, Wenbo Su, Yu Cheng, Bo Zheng, Junchi Yan

प्रकाशित 2026-06-10
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Zhichen Dong, Yang Li, Yuhan Sun, Weixun Wang, Yijia Luo, Zinian Peng, Taiheng Ye, Chao Yang, Wenbo Su, Yu Cheng, Bo Zheng, Junchi Yan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े बिखरे हुए छात्र (AI) को एक जटिल गणितीय समस्या हल करना सिखाने की कोशिश कर रहे हैं। छात्र एक लंबा, चरण-दर-चरण स्पष्टीकरण लिखता है। अंत में, आप उत्तर की जाँच करते हैं: यदि वह सही है, तो आप उसे एक गोल्ड स्टार देते हैं; यदि वह गलत है, तो आप थम्स डाउन (अंगूठा नीचे) देते हैं।

समस्या: "गोल्ड स्टार" बहुत ही सतही है
पारंपरिक प्रशिक्षण में, AI को उस पूरे निबंध के लिए गोल्ड स्टार या थम्स डाउन मिलता है। इसे यह नहीं पता चलता कि वास्तव में किन विशिष्ट शब्दों या चरणों ने सही उत्तर तक पहुँचाया।

  • क्या छात्र किसी तीसरे चरण में मिली एक शानदार अंतर्दृष्टि के कारण सही हुआ?
  • या क्या वह केवल इसलिए सही हुआ क्योंकि उसने "इसलिए" और "निष्कर्षतः" जैसे बहुत सारे विनम्र फिलर शब्दों का उपयोग किया?

वर्तमान में, AI उस लंबे निबंध के प्रत्येक शब्द को समान रूप से महत्वपूर्ण मानता है। यह एक पूरे फुटबॉल टीम को गोल्ड स्टार देने जैसा है जब केवल एक खिलाड़ी ने गोल किया हो। टीम को यह नहीं पता चलता कि असली हीरो कौन था, और गोल करने वाले खिलाड़ी को सुधार के लिए आवश्यक विशिष्ट प्रशंसा भी नहीं मिल पाती।

समाधान: FlowTracer (द "रिवर डिटेक्टिव" या नदी का जासूस)
यह शोध पत्र एक नई विधि पेश करता है जिसे FlowTracer कहा जाता है। शब्दों को अलग-थलग देखने के बजाय, FlowTracer यह देखता है कि जानकारी AI के मस्तिष्क में एक नदी प्रणाली की तरह कैसे बहती है।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. अटेंशन का मानचित्र (नदी का नेटवर्क)

जब AI एक प्रश्न पढ़ता है और उत्तर लिखता है, तो वह विभिन्न शब्दों पर ध्यान देता है। कुछ शब्द दूसरों को बहुत अधिक देखते हैं (जैसे एक मजबूत नदी की धारा), जबकि अन्य एक-दूसरे को शायद ही देखते हैं (जैसे एक छोटी सी जलधारा)।

  • पुराना तरीका: शोधकर्ता केवल यह देखते थे कि अभी इस समय एक शब्द को कितना अटेंशन मिल रहा है।
  • FlowTracer का तरीका: यह शुरुआत से लेकर अंतिम उत्तर तक के पूरे नदी नेटवर्क का एक मानचित्र बनाता है। यह पूछता है: "यदि मैं शुरुआत में पानी की एक बूंद डाल दूँ, तो वह वास्तव में कहाँ समाप्त होगी?"

2. "मुख्य नदी" का पता लगाना (बैकबोन)

नदी प्रणाली का सारा पानी समुद्र तक नहीं पहुँचता। कुछ पानी दलदल में फंस जाता है, कुछ बगल की छोटी धारा में सूख जाता है, और कुछ बंद तालाब में बह जाता है।

  • "फिलर" (डेड एंड्स/बंद रास्ते): AI के उत्तर के कई शब्द केवल "फिलर" होते हैं। वे उन छोटी धाराओं की तरह हैं जो कहीं नहीं ले जातीं। वे समस्या को हल करने में मदद नहीं करते; वे बस वाक्य को सुंदर बनाने का काम करते हैं।
  • "हब्स" (मुख्य नदी): FlowTracer पथ का पता लगाता है और मुख्य नदी को खोज निकालता है। ये वे विशिष्ट शब्द (टोकन) हैं जो पूरी तरह से अंतिम उत्तर तक सबसे महत्वपूर्ण जानकारी ले जाते हैं। ये "निर्णायक चरण" हैं।

3. धारा का पुनर्मूल्यांकन (Doob-h transform)

यह शोध पत्र मानचित्र को साफ करने के लिए एक चतुर गणितीय ट्रिक (जिसे "Doob-h-like transform" कहा जाता है) का उपयोग करता है। यह अनिवार्य रूप से कहता है: "उस पानी को अनदेखा करें जो बंद रास्तों (dead ends) में बह जाता है। केवल उस पानी को गिनें जो सफलतापूर्वक उत्तर तक पहुँचता है।"
यह सुनिश्चित करता है कि AI को उन शब्दों के लिए श्रेय न मिले जो केवल उत्तर के पास थे, लेकिन वास्तव में वहां तक पहुँचने में मदद नहीं कर रहे थे। यह यह भी सुनिश्चित करता है कि शुरुआती महत्वपूर्ण चरण केवल इसलिए धुंधले या भुला न दिए जाएं क्योंकि वे अंत से दूर थे।

4. परिणाम: लक्षित प्रशंसा

एक बार जब FlowTraser "मुख्य नदी" वाले शब्दों (उच्च-प्रवाह वाले टोकन) की पहचान कर लेता है, तो यह प्रशिक्षण प्रणाली को बताता है: "इन विशिष्ट शब्दों की विशेष रूप से प्रशंसा करो!"

  • यदि AI उत्तर सही देता है, तो तर्क ले जाने वाले शब्दों को बहुत बड़ा इनाम मिलता है।
  • फिलर शब्दों को एक सामान्य, छोटा इनाम मिलता है।
  • यदि AI गलत होता है, तो सिस्टम को पता चल जाता है कि कौन से "नदी हब्स" विफल रहे, ताकि वह उन विशिष्ट कनेक्शनों को ठीक कर सके।

शोध पत्र ने क्या पाया

लेखकों ने गणितीय समस्याओं (जैसे AIME और MATH डेटासेट) और तर्क पहेलियों पर इसका परीक्षण किया।

  • "हाई-फ्लो" (उच्च-प्रवाह वाले) शब्द: उन्होंने पाया कि सबसे महत्वपूर्ण शब्द हमेशा जटिल गणितीय शब्द नहीं थे। अक्सर, वे विराम चिह्न, न्यूलाइन्स (नई लाइनें), या वेरिएबल नाम जैसे संरचनात्मक शब्द थे जो तर्क को जोड़ने वाले "पुलों" के रूप में कार्य करते थे।
  • "लो-फ्लो" (कम-प्रवाह वाले) शब्द: ये अक्सर केवल संज्ञा और क्रियाएं थीं जो स्थान भरने का काम करती थीं लेकिन तर्क को आगे नहीं बढ़ाती थीं।
  • परिणाम: इन "मुख्य नदी" वाले शब्दों पर प्रशिक्षण केंद्रित करके, AI ने पुराने "समान इनाम" वाले तरीके की तुलना में तेजी से सीखा और अधिक समस्याओं को सही ढंग से हल किया। यह विशेष रूप से बहुत लंबी, जटिल समस्याओं के लिए प्रभावी था जहाँ सिग्नल शोर (noise) में खो जाता है।

संक्षेप में:
FlowTracer एक ऐसे कोच की तरह है जो खेल देखता है और महसूस करता है, "हम केवल इसलिए नहीं जीत रहे हैं क्योंकि टीम अच्छी है; हम इसलिए जीत रहे हैं क्योंकि इस विशिष्ट खिलाड़ी ने तीन बार गेंद को बिल्कुल सही तरीके से पास किया।" पूरी टीम को समान रूप से प्रशंसा देने के बजाय, वह कोच उस विशिष्ट खिलाड़ी को अतिरिक्त प्रशिक्षण देता है, जिससे पूरी टीम बहुत तेजी से बेहतर होती है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →