← नवीनतम पेपर
💬 NLP

Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs

यह शोध पत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स में पहचाने गए "हैलुसिनेशन न्यूरॉन्स" विभिन्न ज्ञान डोमेन में सामान्यीकृत नहीं होते हैं, जो यह प्रकट करता है कि हैलुसिनेशन तंत्र सार्वभौमिक होने के बजाय डोमेन-विशिष्ट हैं और डोमेन-कैलिब्रेटेड डिटेक्टरों की आवश्यकता को अनिवार्य बनाते हैं।

मूल लेखक: Snehit Vaddi, Pujith Vaddi

प्रकाशित 2026-04-23
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Snehit Vaddi, Pujith Vaddi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "झूठ पकड़ने वाला यंत्र" का भ्रम

कल्पना कीजिए कि एक रोबट के दिमाग के अंदर एक हाई-टेक झूठ पकड़ने वाला यंत्र (lie detector) लगा है। यह यंत्र यह पहचानने के लिए बनाया गया है कि रोबोट कब अपनी बातें बना रहा है (हैलुसिनेशन/भ्रमित हो रहा है)।

वैज्ञानिकों ने हाल ही में पाया कि यह झूठ पकड़ने वाला यंत्र रोबोट के "न्यूरॉन्स" (रोबोट की मस्तिष्क कोशिकाओं) के एक बहुत ही छोटे और विशिष्ट समूह को देखकर काम करता है। उन्होंने पाया कि जब ये विशिष्ट कोशिकाएं सक्रिय होती हैं, तो रोबोट लगभग निश्चित रूप से झूठ बोल रहा होता है। यह एक बड़ी सफलता थी क्योंकि इसका मतलब था कि हम एक सार्वभौमिक "झूठ पकड़ने वाला यंत्र" बना सकते हैं जो रोबोट द्वारा किसी भी विषय पर बात करने पर काम करेगा।

लेकिन यह नया शोध एक सरल प्रश्न पूछता है:
यदि हम इस झूठ पकड़ने वाले यंत्र को रोबोट को इतिहास के बारे में बात करना सिखाकर प्रशिक्षित करते हैं, तो क्या यह तब भी काम करेगा जब रोबोट कानून या खाना पकाने के बारे में बात करने लगे?

दुर्भाग्य से, इसका उत्तर है नहीं

प्रयोग: झूठ पकड़ने वाले यंत्र का परीक्षण

शोधकर्ताओं ने रोबोट के दिमाग को लाखों छोटे श्रमिकों (न्यूरॉन्स) वाले एक विशाल शहर की तरह माना। वे यह देखना चाहते थे कि क्या "झूठ बोलने वाले श्रमिक" वही लोग होते हैं, चाहे रोबोट कुछ भी कर रहा हो।

उन्होंने 6 अलग-अलग "पड़ोस" (डोमेन) के साथ एक परीक्षण सेटअप किया:

  1. सामान्य ज्ञान (ट्रिविया)
  2. कानून (कानूनी मामले)
  3. वित्त (पैसा और शेयर)
  4. विज्ञान (दुनिया के तथ्य)
  5. नैतिकता (सही बनाम गलत)
  6. कोडिंग (कंप्यूटर बग्स)

उन्होंने प्रत्येक पड़ोस में एक "झूठ पकड़ने वाला यंत्र" प्रशिक्षित किया। फिर, उन्होंने कानून के पड़ोस से डिटेक्टर लिया और उसे विज्ञान के पड़ोस में इस्तेमाल करने की कोशिश की।

परिणाम: एक पूर्ण बेमेल (Mismatch)

परिणाम चौंकाने वाले थे। झूठ पकड़ने वाले यंत्र अत्यधिक विशिष्ट थे।

  • उसी पड़ोस के भीतर: डिटेक्टर बहुत अच्छा काम करता था। इसने 78% बार झूठ पकड़ा।
  • पड़ोसों के बीच: डिटेक्टर बुरी तरह विफल रहा। जब उन्होंने "कानून का झूठ पकड़ने वाला यंत्र" लिया और उसे "विज्ञान" पर इस्तेमाल किया, तो इसने सिक्का उछालकर अनुमान लगाने (56%) से थोड़ा ही बेहतर प्रदर्शन किया।

उपमा (Analogy):
कल्पना कीजिए कि आपने एक सुरक्षा गार्ड को काम पर रखा है जो नकली पेंटिंग्स को पहचानने में माहिर है। आपने उसे आर्ट गैलरी में महीनों तक प्रशिक्षित किया है। वह तेल चित्रों (oil paintings) में जालसाजी पकड़ने में उस्ताद बन गया है।

फिर, आप उसे एक बैंक की रखवाली करने और नकली नोटों को पकड़ने के लिए कहते हैं।

  • क्या उसे पता है कि एक नकली $20 का नोट कैसा दिखता है? नहीं।
  • क्या उसे पता है कि एक नकली पेंटिंग संदिग्ध दिखती है? हाँ।
  • यदि आप उसके "नकली पेंटिंग" वाले नियमों का उपयोग करके पैसे की जांच करने की कोशिश करते हैं, तो वह एक असली $20 के नोट को नकली घोषित कर सकता है क्योंकि वह कैनवास जैसा नहीं दिखता।

यहाँ बिल्कुल यही हुआ। जो "न्यूरॉन्स" तब चमकते हैं जब रोबोट कानून के बारे में झूठ बोलता है, वे उन न्यूरॉन्स से पूरी तरह अलग हैं जो विज्ञान के बारे में झूठ बोलने पर चमकते हैं।

अजीब अपवाद

शोधकर्ताओं ने कुछ दिलचस्प विसंगतियां पाईं:

  1. "कानून और विज्ञान" का सेतु: दिलचस्प बात यह है कि कानून और विज्ञान के झूठ पकड़ने वाले यंत्र एक-दूसरे को समझ सकते थे। क्यों? क्योंकि दोनों में सख्त तर्क (logic) और नियम शामिल हैं। यदि रोबोट किसी अदालती मामले में तर्क गलत करता है, तो वह उन्हीं "टूटे हुए तर्क" वाले मस्तिष्क कोशिकाओं का उपयोग करता है जो विज्ञान के तथ्य गलत होने पर करता है।
  2. "कोड" का अलग अस्तित्व: कोडिंग का पड़ोस पूरी तरह से अलग था। कंप्यूटर कोड के बारे में झूठ बोलने वाले न्यूरॉन्स इतने अलग थे कि वे किसी भी अन्य विषय के लिए काम ही नहीं आए। ऐसा लगता है जैसे रोबोट के पास कोडिंग के लिए एक पूरी तरह से अलग "दिमाग" है।
  3. "एंटी-लाइ" (विपरीत प्रभाव) प्रभाव: कुछ मामलों में, डिटेक्टर ने उल्टा काम किया। एक न्यूरॉन जिसने कानून के क्षेत्र में झूठ का संकेत दिया था, उसने नैतिकता के क्षेत्र में सच्चाई का संकेत दिया। ऐसा लग रहा था जैसे सुरक्षा गार्ड वास्तव में ईमानदार होने पर भी "चोर! चोर!" चिल्लाने लगा हो।

यह क्यों मायने रखता है? (वास्तविक दुनिया पर प्रभाव)

यह खोज हमें AI सुरक्षा उपकरणों को बनाने के तरीके को बदलने के लिए प्रेरित करती है।

  • पुराना तरीका: "आइए एक सामान्य ट्रिविया पर एक AI डिटेक्टर को प्रशिक्षित करें, और फिर हम इसका उपयोग चिकित्सा सलाह, कानूनी अनुबंधों और वित्तीय रिपोर्टों की जांच करने के लिए कर सकते हैं।"
  • नई वास्तविकता: "हमें छह अलग-अलग डिटेक्टरों की आवश्यकता है। आप एक 'मेडिकल झूठ पकड़ने वाले यंत्र' का उपयोग 'कानूनी अनुबंध' को चेक करने के लिए नहीं कर सकते।"

यदि आप किसी कानूनी अनुबंध की जांच करने के लिए सामान्य तथ्यों पर प्रशिक्षित डिटेक्टर का उपयोग करते हैं, तो आप झूठ को पूरी तरह से मिस कर सकते हैं, या इससे भी बुरा, आप ईमानदार जवाबों को झूठ के रूप में चिह्नित कर सकते हैं।

"चेन ऑफ थॉट" का मोड़

शोधकर्ताओं ने यह भी परीक्षण किया कि क्या होता है जब वे रोबोट को जवाब देने से पहले "कदम-दर-कदम सोचने" (Chain of Thought) के लिए कहते हैं।

  • परिणाम: इसने यह बदल दिया कि कौन से न्यूरॉन्स झूठ बोल रहे थे। इसने केवल रोबोट को अधिक गहराई से सोचने के लिए ही नहीं मनाया, बल्कि इसने सोचने के लिए एक अलग सेट की मस्तिष्क कोशिकाओं को सक्रिय कर दिया। इसका मतलब है कि "सोचने की प्रक्रिया" भी आंतरिक तंत्र को बदल देती है।

निष्कर्ष

हैलुसिनेशन (भ्रम) रोबोट के दिमाग में कोई एक अकेला "बग" नहीं है। यह एक अलग-अलग बग्स का परिवार है।

  • इतिहास के बारे में झूठ बोलना एक सेट टूल्स का उपयोग करता है।
  • कानून के बारे में झूठ बोलना दूसरे सेट का उपयोग करता है।
  • कोड के बारे में झूठ बोलना तीसरे सेट का उपयोग करता है।

रोबोट के झूठ पकड़ने के लिए, आप केवल एक सार्वभौमिक अलार्म नहीं रख सकते। आपको घर के हर विशिष्ट कमरे के लिए एक विशेष अलार्म की आवश्यकता है। यदि आप कानून या चिकित्सा जैसे उच्च-जोखिम वाले क्षेत्रों में AI को सुरक्षित रूप से तैनात करना चाहते हैं, तो आपको अपने सुरक्षा डिटेक्टरों को विशेष रूप से उस क्षेत्र के लिए बनाना और कैलिब्रेट करना होगा, न कि केवल यह उम्मीद करनी होगी कि एक सामान्य डिटेक्टर काम करेगा।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →