SenTSR-Bench: Thinking with Injected Knowledge for Time-Series Reasoning

यहाँ SenTSR-Bench पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके किया गया विवरण दिया गया है।

बड़ी समस्या: "स्मार्ट जनरलिस्ट" बनाम "स्पेशलिस्ट"

कल्पना कीजिए कि आप एक कारखाने में एक विशाल, जटिल मशीन के अजीब शोर करने और हिलने (vibration) के कारण का पता लगाने की कोशिश कर रहे हैं। आपके पास मदद के लिए दो विशेषज्ञ हैं:

1. द जनरलिस्ट डिटेक्टिव (GRLM): यह एक सुपर-स्मार्ट AI है (एक प्रतिभाशाली मानव जासूस की तरह) जो तर्क, पहेलियाँ सुलझाने और कड़ियों को जोड़ने में माहिर है। हालाँकि, इसने पहले कभी कारखाने की मशीन नहीं देखी है। वह सोचना तो जानता है, लेकिन उसे यह नहीं पता कि मशीन में "वाइब्रेशन स्पाइक" का वास्तव में क्या अर्थ है। यदि आप उसे एक ग्राफ दिखाते हैं, तो वह गलत कारण का अनुमान लगा सकता है क्योंकि उसके पास विशिष्ट कारखाने का ज्ञान नहीं है।
2. द फैक्ट्री स्पेशलिस्ट (TSLM): यह एक ऐसा AI है जिसने हजारों कारखाने की मशीनों का अध्ययन किया है। वह ठीक जानता है कि एक टूटा हुआ गियर ग्राफ पर कैसा दिखता है। हालाँकि, वह अपने तर्क को समझाने में बुरा है। वह कह सकता है, "यह टूटा हुआ है," लेकिन वह यह नहीं समझा सकता कि क्यों या इसे तार्किक रूप से कैसे ठीक किया जाए। वे भ्रमित भी हो जाते हैं यदि मशीन उस मशीन से थोड़ी अलग हो जिसे उन्होंने पहले देखा है।

अंतराल (The Gap): डिटेक्टिव बहुत स्मार्ट है लेकिन मशीन के बारे में अनभिज्ञ है। स्पेशलिस्ट मशीन को जानता है लेकिन जटिल "क्यों" और "कैसे" वाले सवालों पर विचार नहीं कर सकता।

समाधान: "नॉलेज इंजेक्शन" (Knowledge Injection)

इस पेपर के लेखकों ने इन दोनों विशेषज्ञों को मिलाने का एक चतुर तरीका निकाला है। वे इसे नॉलेज इंजेक्शन कहते हैं।

डिटेक्टिव से अनुमान लगाने के लिए कहने के बजाय, या स्पेशलिस्ट से केवल उत्तर देने के लिए कहने के बजाय, वे स्पेशलिस्ट को डिटेक्टिव के सोचने के दौरान सीधे उसके कान में तथ्य फुसफुसाने देते हैं।

• यह कैसे काम करता है: डिटेक्टिव सोचना शुरू करता है, "हम्म, मशीन हिल रही है..."
• इंजेक्शन: डिटेक्टिव के उस विचार को पूरा करने से पहले ही, स्पेशलिस्ट बीच में कूद पड़ता है और कहता है, "रुको! यह हिलने वाला पैटर्न आमतौर पर ढीले बेल्ट (loose belt) का संकेत देता है, न कि टूटे हुए इंजन का।"
• परिणाम: डिटेक्टिव उस विशिष्ट तथ्य को लेता है, मूल कारण का पता लगाने के लिए अपने सुपर-स्मार्ट तर्क का उपयोग करता है, और सही समाधान सुझाता है।

डिटेक्टिव को स्पेशलिस्ट से तथ्य मिलते हैं और अपने स्वयं के मस्तिष्क से तर्क (reasoning) मिलता है।

सीक्रेट सॉस: रीइन्फोर्समेंट लर्निंग के माध्यम से "थिंकिंग ट्रांसफर"

इस योजना के साथ एक बड़ी समस्या थी। स्पेशलिस्ट AI को केवल एक अंतिम उत्तर देने के लिए प्रशिक्षित किया गया था ("यह एक टूटा हुआ बेल्ट है")। इसे अपनी सोचने की प्रक्रिया समझाने के लिए प्रशिक्षित नहीं किया गया था ("मैं यहाँ एक स्पाइक देख रहा हूँ, जिसका अर्थ है...")। यदि आप केवल उससे "सोचने" के लिए कहते, तो वह मनगढ़ंत बातें (hallucinate) बनाने लगता क्योंकि उसे ऐसा करने की आदत नहीं थी।

इसे ठीक करने के लिए, लेखकों ने वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) का उपयोग किया।

• उपमा: एक कुत्ते को प्रशिक्षित करने की कल्पना करें। आमतौर पर, आप उसे तभी ट्रीट देते हैं जब वह बैठ जाता है। लेकिन यहाँ, वे चाहते थे कि कुत्ता बैठने से पहले "ज़ोर से सोचे" (बोलकर अपनी सोच बताए)।
• ट्रिक: उन्हें कुत्ते के विचारों को लिखने के लिए किसी इंसान की ज़रूरत नहीं थी। इसके बजाय, उन्होंने एक गेम बनाया जहाँ AI को "रिवॉर्ड" (पॉइंट्स) मिलता था यदि:
  1. वह एक विशिष्ट प्रारूप (format) का पालन करता है (वह वास्तव में अपने विचार लिखता है)।
  2. उसके द्वारा दिया गया अंतिम उत्तर सही है।
• परिणाम: AI ने पॉइंट्स पाने के लिए खुद ही उच्च गुणवत्ता वाले "थिंकिंग ट्रेसेस" (व्याख्याएं) उत्पन्न करना सीख लिया। फिर उन्होंने इन "थिंकिंग ट्रेसेस" को डिटेक्टिव में इंजेक्ट किया। इसे थिंकिंग ट्रांसफर कहा जाता है।

नया प्लेग्राउंड: SenTSR-Bench

यह साबित करने के लिए कि यह काम करता है, टीम केवल नकली डेटा का उपयोग नहीं कर सकती थी। उन्हें एक वास्तविक दुनिया के परीक्षण की आवश्यकता थी। उन्होंने SenTSR-Bench बनाया।

• यह क्या है? वास्तविक कारखानों के वास्तविक मशीन डेटा (वाइब्रेशन, तापमान) का एक विशाल टेस्ट बैंक, जिसे मानव-लिखित डायग्नोस्टिक कहानियों के साथ जोड़ा गया है।
• यह क्यों विशेष है? पिछले परीक्षण या तो कंप्यूटर द्वारा बनाए गए थे या केवल "क्या यह टूटा हुआ है?" जैसे सरल प्रश्न पूछते थे। SenTSR-Bench कठिन, बहु-चरणीय (multi-step) प्रश्न पूछता है:
  1. क्या हुआ? (अजीब पैटर्न को पहचानें)।
  2. यह कैसे हुआ? (मूल कारण खोजें)।
  3. हमें क्या करना चाहिए? (सुझाव दें)।

परिणाम

जब उन्होंने अपने नए सिस्टम (डिटेक्टिव + स्पेशलिस्ट + इंजेक्शन) का परीक्षण किया:

• यह स्पेशलिस्ट से बहुत आगे निकल गया (26% तक बेहतर) क्योंकि डिटेक्टिव अब स्पेशलिस्ट के तथ्यों के माध्यम से तर्क करने में सक्षम था।
• यह डिटेक्टिव से बहुत आगे निकल गया (22% तक बेहतर) क्योंकि डिटेक्टिव के पास आखिरकार काम करने के लिए सही तथ्य थे।
• यह केवल डिटेक्टिव को स्पेशलिस्ट की "रिपोर्ट पढ़ने" के लिए कहने (जो कि प्रॉम्पटिंग का पुराना तरीका है) से कहीं बेहतर था। सोचने की प्रक्रिया के अंदर ज्ञान को इंजेक्ट करना बहुत अधिक प्रभावी रहा।

सारांश

इसे मेडिकल डायग्नोसिस की तरह समझें:

• जनरलिस्ट एक प्रतिभाशाली मेडिकल छात्र है जो बीमारियों को पहचानने में माहिर है लेकिन उसने कभी किसी विशिष्ट दुर्लभ वायरस को नहीं देखा है।
• स्पेशलिस्ट एक लैब तकनीशियन है जो वायरस की पहचान तुरंत कर सकता है लेकिन उपचार योजना नहीं लिख सकता।
• पेपर का तरीका: तकनीशियन छात्र को डायग्नोसिस लिखते समय एक नोट थमाता है, जिसमें लिखा होता है, "यह वायरस X लक्षण का कारण बनता है।" छात्र फिर अपने चिकित्सा ज्ञान का उपयोग करके पूर्ण उपचार योजना लिखता है।

यह पेपर दिखाता है कि बड़े AI के तर्क को छोटे, विशिष्ट AI के विशेष ज्ञान के साथ जोड़कर, हम जटिल टाइम-सीरीज समस्याओं को हल कर सकते हैं जिन्हें अकेले उनमें से कोई भी हल नहीं कर सकता था।