Reasoning Denoiser: Denoising Reasoning Traces for Hallucination Detection in Large Reasoning Models
यह शोध पत्र REDE को प्रस्तुत करता है, जो एक नवीन लर्निंग फ्रेमवर्क है जो फाइनल-आंसर अटेंशन को सुपरविजन सिग्नल के रूप में उपयोग करके रीजनिंग ट्रेसेस से अप्रासंगिक और पुनरावृत्ति वाले चरणों की स्वचालित रूप से पहचान करने और उन्हें फ़िल्टर करने के माध्यम से लार्ज रीजनिंग मॉडल्स में मतिभ्रम (hallucination) का पता लगाने की क्षमता को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पेचीदा पहेली सुलझाने की कोशिश कर रहे हैं, लेकिन आपको सीधा उत्तर देने के बजाय, एक सुपर-स्मार्ट रोबोट दोस्त अपने विचारों की एक विशाल, 50 पन्नों की डायरी लिख देता है। इस डायरी को "रीज़निंग ट्रेस" (reasoning trace) कहा जाता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये "लार्ज रीज़निंग मॉडल्स" (LRMs) बिल्कुल उस दोस्त की तरह हैं: वे चीज़ों को समझने के लिए लंबे समय तक सोचते हैं और कई कदम उठाते हैं। यह उम्मीद की जाती है कि उनकी डायरी पढ़कर हम यह पता लगा सकें कि वे झूठ बोल रहे हैं या मनगढ़ंत बातें बना रहे हैं—एक ऐसी समस्या जिसे "हैलुसिनेशन" (hallucination) कहा जाता है। विचार यह है कि यदि रोबोट की सोचने की प्रक्रिया कमजोर है, तो उसका अंतिम उत्तर भी संभवतः गलत होगा। लेकिन यहाँ एक पेंच है: ठीक वैसे ही जैसे एक वास्तविक व्यक्ति बड़बड़ा सकता है, खुद को दोहरा सकता है, या जब उसे गणित हल करना चाहिए तब मौसम के बारे में बात कर सकता है, इन AI डायरियों में अक्सर बहुत सारा "नॉइज़" (noise) भरा होता है। इनमें ऐसे चरण होते हैं जो उबाऊ, बेकार या कहानी के पिछले हिस्सों से कॉपी-पेस्ट किए गए होते हैं। यदि आप एक 50 पन्नों की डायरी में झूठ खोजने की कोशिश करते हैं जिसमें 30 पन्ने "उम, मुझे सोचने दें..." और "रुको, मैंने यह पहले ही कह दिया था" जैसे शब्दों से भरे हों, तो वास्तविक गलती को पहचानना अविश्वसनीय रूप से कठिन हो जाता है।
यह बिल्कुल वही पहेली है जिसे "रीज़निंग डिनोइज़र" (Reasoning Denoiser) नामक शोध पत्र हल करता है। लेखकों ने, जो शोधकर्ताओं की एक टीम है, महसूस किया कि ये लंबे, बातूनी रीज़निंग ट्रेस जो AI मॉडल बनाते हैं, वास्तव में उनके झूठ पकड़ने की हमारी क्षमता को नुकसान पहुँचा रहे हैं। उन्होंने पाया कि ये ट्रेस दो मुख्य प्रकार के "कचरे" से भरे होते हैं: अप्रासंगिक चरण (ऐसी चीज़ों के बारे में बात करना जो मायने नहीं रखते) और दोहराव वाले चरण (एक ही बात को बार-बार कहना)। जब उन्होंने झूठ खोजने के लिए मानक तरीकों का उपयोग करने की कोशिश की—जैसे कि यह जांचना कि रोबोट कितना "आत्मविश्वासी" लग रहा था या शब्दों के बीच कितनी समानता थी—तो यह अच्छी तरह काम नहीं कर पाया। कचरे वाले चरण उपयोगी चरणों के बहुत समान दिखे, जिससे संकेत धुंधला हो गया।
इसे ठीक करने के लिए, टीम ने REDE (Reasoning Denoiser) नामक एक चतुर उपकरण का आविष्कार किया। REDE को AI की डायरी के लिए एक सुपर-स्मार्ट संपादक के रूप में समझें। केवल शब्दों को पढ़ने के बजाय, REDE यह देखता है कि अंतिम उत्तर सोचने की प्रक्रिया के प्रत्येक चरण के प्रति कितना "परवाह" करता है। यदि अंतिम उत्तर किसी चरण को अनदेखा कर देता है, तो REDE जान जाता है कि वह चरण शायद कचरा है। फिर वह इस अंतर्दृष्टि का उपयोग चरणों को व्यवस्थित करने के एक विशेष तरीके को सीखने के लिए करता है, जिससे उपयोगी चरणों को एक साथ लाया जाता है और शोर वाले चरणों को दूर धकेला जाता है। एक बार जब शोर को फ़िल्टर कर दिया जाता है, तो शेष "साफ" डायरी को पढ़ना बहुत आसान हो जाता है। शोधकर्ताओं ने कठिन गणित और तर्क संबंधी समस्याओं पर इसका परीक्षण किया और पाया कि AI की सोच को पहले साफ करने से, वे हॉलुसिनेशन को बहुत बेहतर तरीके से पकड़ सकते थे—कुछ मामलों में डिटेक्शन सटीकता में लगभग 19% तक सुधार हुआ। उन्होंने दिखाया कि यह तरीका विभिन्न प्रकार के AI मॉडल्स और विभिन्न प्रकार की समस्याओं में काम करता है, जो यह सिद्ध करता है कि कभी-कभी, सत्य खोजने के लिए, पहले आपको रोबोट को बड़बड़ाने से रोकना पड़ता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।