HalluTracer: Hallucination Detection via Depth-Averaging Truth Signals
HalluTracer एक व्हाइट-बॉक्स हेलुसिनेशन डिटेक्शन फ्रेमवर्क है जो सरल डेप्थ एवरेजिंग के माध्यम से सभी ट्रांसफॉर्मर लेयर्स में सत्यता संकेतों (truthfulness signals) को एकत्रित करके सटीकता में सुधार करता है, जिससे उन मौजूदा तरीकों की सूचना हानि (information loss) पर काबू पाया जा सके जो अलग-थलग लेयर्स या घटकों पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) कई आधुनिक आर्टिफिशियल इंटेलिजेंस टूल्स के पीछे के इंजन हैं, जो मानवीय सहजता के साथ प्रवाहपूर्ण टेक्स्ट लिखने, जटिल प्रश्नों के उत्तर देने और समस्याओं को हल करने में सक्षम हैं। हालाँकि, इन प्रणालियों में एक निरंतर दोष है: वे कभी-कभी आत्मविश्वासपूर्ण लेकिन तथ्यात्मक रूप से गलत कथन उत्पन्न करते हैं, जिसे 'हैलुसिनेशन' (hallucination) या भ्रम कहा जाता है। यह केवल आउटपुट की एक त्रुटि नहीं है; यह एक मौलिक विश्वसनीयता जोखिम है, विशेष रूप से जब इन मॉडल्स का उपयोग स्वास्थ्य सेवा या कानून जैसे उच्च-दांव वाले क्षेत्रों में किया जाता है। वर्षों से, शोधकर्ताओं को संदेह था कि भले ही मॉडल झूठ बोल रहा हो, उसकी आंतरिक मशीनरी सच्चाई को संजोए रखती है। मॉडल का मस्तिष्क, यूँ कहें तो, अंतिम शब्द स्क्रीन पर दिखने से बहुत पहले ही एक ऐसा संकेत एनकोड करता है जो तथ्य और बनावट (fabrication) के बीच अंतर करता है। चुनौती मॉडल की विशाल, जटिल वास्तुकला के शोर में खोए बिना उस संकेत को पढ़ने का तरीका सीखने की रही है।
शोधकर्ताओं की एक टीम ने अब इस समस्या को हल करने के लिए 'हैलुट्रेसर' (HalluTracer) नामक एक नई विधि विकसित की है। मॉडल के भीतर किसी एक "सत्य स्विच" को खोजने या इसके प्रसंस्करण के केवल एक हिस्से को देखने के बजाय, उन्होंने मॉडल द्वारा स्वयं के साथ की जा रही पूरी बातचीत को सुनने का निर्णय लिया। जैसे ही एक लार्ज लैंग्वेज मॉडल किसी प्रॉम्प्ट को प्रोसेस करता है, वह जानकारी को परतों (layers) की एक श्रृंखला के माध्यम से पारित करता है, जिससे वह चरण दर चरण अपनी समझ को परिष्कृत करता है। शोधकर्ताओं ने पाया कि इनमें से प्रत्येक परत पर, मॉडल एक सूक्ष्म, धुंधला संकेत उत्पन्न करता है जो यह दर्शाता है कि आने वाला उत्तर सत्य होने की कितनी संभावना है या असत्य। व्यक्तिगत रूप से, ये संकेत कमजोर और शोर युक्त होते हैं, जैसे भीड़ भरे कमरे में फुसफुसाहट सुनने की कोशिश करना। लेकिन शोधकर्ताओं ने पाया कि ये फुसफुसाहटें यादृच्छिक (random) नहीं हैं; वे इतनी सुसंगत हैं कि यदि आप उन सभी को एक साथ सुनते हैं, तो संदेश स्पष्ट हो जाता है।
उनकी खोज का मूल आधार इन परतों के काम करने के तरीके के बारे में एक ज्यामितीय अंतर्दृष्टि है। उन्होंने पाया कि प्रत्येक परत जिस तरह से सत्य की जाँच करती है, वह पिछली परत से थोड़ी भिन्न होती है, मानो प्रत्येक परत समस्या को थोड़े अलग कोण से देख रही हो। क्योंकि ये कोण इतने अलग हैं, इसलिए एक परत की त्रुटियाँ या शोर अगली परत के शोर से मेल नहीं खाते। यह अत्यंत महत्वपूर्ण है। जब शोधकर्ताओं ने प्रत्येक परत से संकेतों का औसत निकाला, तो यादृच्छिक शोर स्वयं समाप्त हो गया, जबकि सुसंगत सत्य संकेत और मजबूत हो गया। यह थोड़ा वैसा ही है जैसे कांपते हाथ से फोटो खींचना: एक एकल स्नैपशॉट धुंधला हो सकता है, लेकिन यदि आप कई स्नैपशॉट थोड़े अलग स्थानों से लेते हैं और उन्हें मिला देते हैं, तो अंतिम छवि स्पष्ट और तीक्ष्ण हो जाती है। केवल सभी परतों में सत्य संकेतों का औसत निकालकर, उनका सिस्टम उल्लेखनीय सटीकता के साथ हैलुसिनेशन का पता लगाने में सक्षम था, जो अक्सर उन तरीकों से बेहतर प्रदर्शन करता है जो देखने के लिए किसी एक "सर्वश्रेष्ठ" परत को चुनने का प्रयास करते हैं।
इस विचार का परीक्षण करने के लिए, टीम ने छह अलग-अलग लार्ज लैंग्वेज मॉडल्स और तथ्यात्मक त्रुटियों को पकड़ने के लिए डिज़ाइन किए गए पांच अलग-अलग बेंचमार्क पर हैलुट्रेसर को लागू किया। परिणाम सुसंगत और सशक्त थे। नए तरीके ने पूरे क्षेत्र में पिछले तकनीकों की तुलना में हैलुसिनेशन का बेहतर पता लगाया, जिसमें कार्य की कठिनाई के आधार पर एक से चौदह प्रतिशत अंकों तक का सुधार देखा गया। विशेष रूप से बहु-चरणीय तर्क (multi-step reasoning) वाले जटिल कार्यों में, सुधार और भी नाटकीय था, जहाँ नया सिस्टम उन जगहों पर लगभग पूर्ण पहचान स्कोर प्राप्त करने में सफल रहा जहाँ पुराने तरीके संघर्ष कर रहे थे। शोधकर्ताओं ने यह भी सिद्ध किया कि यह सफलता मॉडल के किस हिस्से को देखने के उनके भाग्यशाली चुनाव के कारण नहीं थी। उन्होंने दिखाया कि संकेत इतना समान रूप से फैला हुआ है कि इससे कोई फर्क नहीं पड़ता कि उन्होंने किस विशिष्ट आंतरिक घटक की जांच की; शक्ति पूरी तरह से मॉडल की संपूर्ण गहराई से जानकारी को संयोजित करने के कार्य से आई थी।
यह कार्य आर्टिफिशियल इंटेलिजेंस में झूठ का पता लगाने के बारे में हमारी सोच को बदल देता है। पहले, ध्यान मॉडल के मन को पढ़ने के लिए एकदम सही क्षण या एकदम सही परत खोजने पर केंद्रित था। हैलुट्रेसर दिखाता है कि सत्य किसी एक स्थान पर छिपा नहीं है बल्कि पूरी प्रक्रिया में बुना हुआ है। मॉडल की आंतरिक स्थिति को एक स्नैपशॉट के बजाय एक यात्रा के रूप में मानकर, शोधकर्ताओं ने चयन की एक कठिन समस्या को औसत निकालने की एक सरल समस्या में बदल दिया। यह विधि हल्की और तेज़ है, जो मॉडल के उत्तर पूरा करने से पहले ही संभावित हैलुसिनेशन को चिह्नित करने में सक्षम है। इसका अर्थ यह है कि भविष्य में, AI सिस्टम को एक वास्तविक समय के सुरक्षा मॉनिटर से लैस किया जा सकता है जो मॉडल के आंतरिक तर्क को सुनता है और एक गलत कथन के उपयोगकर्ता तक पहुँचने से पहले ही उसे रोक देता है, जिससे ये शक्तिशाली उपकरण वास्तविक दुनिया के लिए काफी अधिक विश्वसनीय बन जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।