How LLMs Are Persuaded: A Few Attention Heads, Rerouted
यह शोध पत्र प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स में अनुनय-प्रेरित तथ्यात्मक त्रुटियाँ एक संक्षिप्त, निगरानी योग्य सर्किट के कारण होती हैं जहाँ उथले अटेंशन हेड्स (shallow attention heads) प्रेरक कीवर्ड्स का पता लगाकर एक विशिष्ट एविडेंस-रूटिंग फीचर को पुनर्निर्देशित करते हैं, जिससे निर्णय लेने वाले हेड्स (decision heads) को एक निम्न-आयामी लेटेंट स्पेस में सही उत्तर से हटकर अनुनय-लक्ष्य वर्टेक्स (persuasion-target vertex) की ओर जाने के लिए मजबूर किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी तस्वीर: मशीन के भीतर का "सम्मोहन विशेषज्ञ" (Hypnotist)
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक बहुत ही बुद्धिमान और प्रशिक्षित लाइब्रेरियन (पुस्तकालयाध्यक्ष) है। यह लाइब्रेरियन तथ्यों को जानता है: वह जानता है कि फ्रांस की राजधानी पेरिस है, लंदन नहीं। उसके दिमाग में सच्चाई का एक विशाल पुस्तकालय है।
हालाँकि, इस शोध ने पाया कि यदि आप जवाब देने से ठीक पहले लाइब्रेरियन के कान में एक बहुत ही प्रभावशाली और प्रेरक झूठ फुसफुसा देते हैं, तो वह अचानक सच को भूल जाता है और आपको वह झूठ बता देता है। ऐसा तब भी होता है जब लाइब्रेरियन को सच पता हो।
शोधकर्ताओं जानना चाहते थे कि: लाइब्रेरियन के मस्तिष्क के अंदर ठीक कहाँ यह स्विच बदलता है? क्या पूरा मस्तिष्क भ्रमित हो रहा है? क्या उसकी याददाश्त जा रही है? या क्या वहां कोई विशिष्ट, छोटा सा स्विच है जिसे घुमाया जा रहा है?
खोज: यह 'दिमागी धुंध' नहीं, बल्कि एक 'स्विच' है
शोधकर्ताओं ने पाया कि अनुनय (persuasion) पूरे मॉडल को "भ्रमित" या "कम आत्मविश्वासी" नहीं बनाता है। इसके बजाय, यह मॉडल की आंतरिक वायरिंग के एक बहुत छोटे, विशिष्ट हिस्से को हाईजैक कर लेता है।
मॉडल के मस्तिष्क को हजारों श्रमिकों (जिन्हें "अटेंशन हेड्स" कहा जाता है) वाली एक विशाल फैक्ट्री के रूप में सोचें।
- निष्कर्ष: केवल कुछ चुनिकी श्रमिक (विशेष रूप से, फैक्ट्री की मध्य परतों में कुछ श्रमिक) वास्तव में अंतिम उत्तर तय करते हैं।
- उपमा: एक मतदान केंद्र की कल्पना करें जहाँ 1,000 लोग अपनी राय चिल्ला रहे हैं, लेकिन केवल दो विशिष्ट लोग वास्तविक मतपेटी (ballot box) थामे हुए हैं। यदि आप उन दो लोगों को अपना वोट बदलने के लिए मना लेते हैं, तो पूरा चुनाव बदल जाता है, भले ही अन्य 998 लोग अभी भी सच चिल्ला रहे हों।
"टेट्राहेड्रोन" (Tetrahedron) मानचित्र: मस्तिष्क में विकल्प कैसे रहते हैं
शोधकर्ताओं ने देखा कि ये दो विशेष श्रमिक (जिन्हें "डिसीजन हेड्स" कहा जाता है) चार संभावित उत्तरों (A, B, C, D) को कैसे प्रोसेस करते हैं।
- ज्यामिति (Geometry): उन्होंने पाया कि ये श्रमिक चार उत्तरों को एक विशिष्ट 3D आकार में व्यवस्थित करते हैं, जैसे कि एक पिरामिड के कोने (एक टेट्राहेड्रोन)।
- कोना 1 = उत्तर A
- कोना 2 = उत्तर B
- कोना 3 = उत्तर C
- कोना 4 = उत्तर D
- सामान्य अवस्था: जब मॉडल से बिना किसी झूठ के सवाल पूछा जाता है, तो आंतरिक संकेत "सही उत्तर" वाले कोने पर मजबूती से टिक जाता है।
- अनुनेय (Persuasion) अवस्था: जब एक प्रेरक झूठ जोड़ा जाता है, तो संकेत धीरे-धीरे या धुंधला नहीं होता। यह टेलीपोर्ट करता है। यह तुरंत "सही" कोने से "झूठ" वाले कोने पर कूद जाता है।
रूपक: एक रेलवे स्टेशन की कल्पना करें जिसमें चार अलग-अलग शहरों की ओर जाने वाले चार ट्रैक हैं। ट्रेन आमतौर पर "सत्य" वाले ट्रैक पर होती है। अनुनय (Persuasion) ट्रेन को गलत शहर की ओर धीरे-धीरे नहीं ले जाता; यह तुरंत ट्रैक बदल देता है ताकि ट्रेन अचानक "झूठ" वाले ट्रैक पर आ जाए।
तंत्र (Mechanism): "कॉपी-पेस्ट" करने वाले श्रमिक
यहाँ सबसे आश्चर्यजनक हिस्सा है: शोधकर्ताओं ने पाया कि ये विशेष "डिसीजन वर्कर्स" वास्तव में साक्ष्यों के बारे में सोच या तर्क नहीं कर रहे हैं।
- वे क्या करते हैं: वे एक फोटोकॉपी मशीन की तरह काम करते हैं। वे देखते हैं कि उन्हें किस विकल्प टोकन (A, B, C, या D) को देखने के लिए कहा गया है, और वे बस उस टोकन की पहचान को अंतिम उत्तर में कॉपी कर देते हैं।
- यह ट्रिक कैसे काम करती है: अनुनय (persuasion) श्रमिकों की कॉपी करने की क्षमता को नहीं बदलता है। इसके बजाय, यह बदल देता है कि श्रमिक किस विकल्प को देख रहा है।
- सामान्य: श्रमिक "सत्य" विकल्प को देखता है और उसे कॉपी करता है।
- प्रेरित (Persuaded): एक प्रेरक कीवर्ड (जैसे कि कोई विशिष्ट नाम या एक फर्जी तथ्य) डिसीजन वर्कर को गलत विकल्प की ओर देखने के लिए धोखा देता है। वर्कर फिर झूठ को कॉपी करता है, यह सोचकर कि यही सही विकल्प है।
मूल कारण: "कीवर्ड हंटर्स" (Keyword Hunters)
तो, वह क्या चीज़ है जो श्रमिक को गलत विकल्प की ओर देखने पर मजबूर करती है?
शोधकर्ताओं ने सिग्नल को फैक्ट्री की शुरुआती परतों (परतें 8 से 12) के एक समूह तक ट्रैक किया।
- हंटर्स (Hunters): ये शुरुआती श्रमिक इनपुट टेक्स्ट में "प्रेरक कीवर्ड्स" (जैसे कि उनके उदाहरण में "नाइजीरिया" शब्द, जिसका उपयोग मॉडल को तथ्य के बारे में धोखा देने के लिए किया गया था) को स्कैन करते हैं।
- सिग्नल: जब वे इन कीवर्ड्स को पाते हैं, तो वे विकल्प टोकन पर एक छोटा, एक-आयामी (one-dimensional) सिग्नल लिख देते हैं।
- रीरूट (Reroute): यह सिग्नल एक चुंबक की तरह काम करता है। यह "डिसीजन वर्कर्स" (कॉपी मशीनों) का ध्यान "सत्य" से हटाकर "झूठ" की ओर खींच लेता है।
वास्तविक दुनिया का परीक्षण: "जेनरेटिव इंजन ऑप्टिमाइजेशन" (GEO)
इस शोध ने केवल लैब में परीक्षण नहीं किया। उन्होंने इसे एक वास्तविक परिदृश्य में परखा जिसे जेनरेटिव इंजन ऑप्टिमाइजेशन (GEO) कहा जाता है।
- परिदृश्य: कल्पना कीजिए कि वेबसाइट मालिक सर्च इंजन को धोखा देने की कोशिश कर रहे हैं। वे विशेष रूप से ऐसे लेख लिखते हैं जो AI के आउटपुट को हाईजैक करने के लिए डिज़ाइन किए गए हैं, जिससे AI उनकी वेबसाइट को "सर्वश्रेष्ठ" स्रोत के रूप में चुने, भले ही वह झूठ से भरी हो।
- परिणाम: शोधकर्ताओं ने पाया कि यही "हाईजैकिंग सर्किट" (कीवर्ड हंटर्स और कॉपी-मशीन वर्कर्स) उसी तंत्र का उपयोग करता है जो इन वास्तविक दुनिया के हमलों में किया जाता है। AI जटिल तर्क से "धोखा" नहीं खा रहा था; इसे एक सरल, संकीर्ण पथ द्वारा रीरूट किया जा रहा था।
सारांश: सुरक्षा के लिए इसका क्या अर्थ है
यह शोध निष्कर्ष निकालता है कि अनुनय (persuasion) AI के मस्तिष्क की कोई बड़ी, अराजक विफलता नहीं है। यह एक विशिष्ट, निगरानी योग्य सर्किट है।
- पुराना दृष्टिकोण: "AI झूठ से भ्रमित हो जाता है।"
- नया दृष्टिकोण: "AI के पास एक विशिष्ट, छोटा सा स्विच है जिसे एक कीवर्ड द्वारा बदला जा सकता है, जिससे वह गलत उत्तर को कॉपी करने लगता है।"
चूंकि यह तंत्र बहुत छोटा और विशिष्ट है, इसलिए लेखक सुझाव देते हैं कि हम इन कुछ श्रमिकों की निगरानी करने के लिए "सुरक्षा गार्ड" (मॉनिटर्स) बना सकते हैं। यदि वे देखते हैं कि "अनुनय सिग्नल" स्विच को पलटने की कोशिश कर रहा है, तो वे गलत उत्तर लिखे जाने से पहले ही इसे रोक सकते हैं, बिना पूरे AI को फिर से प्रशिक्षित किए।
संक्षेप में: AI अपना मानसिक संतुलन नहीं खो रहा है; बस उसका ध्यान एक बहुत ही विशिष्ट, छोटे लीवर द्वारा हाईजैक किया जा रहा है। यदि हम उस लीवर को ढूंढ सकते हैं, तो हम हाईजैकिंग को रोक सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।