Stemma: Induced Decision Regions Reveal LLM Provenance
यह शोध पत्र स्टेम्मा (Stemma) को प्रस्तुत करता है, जो एलएलएम (LLM) प्रोवेनेंस टेस्टिंग के लिए एक सुदृढ़ ब्लैक-बॉक्स पद्धति है, जो सतही-रूप विविधताओं (surface-form variations) से पार पाने के लिए मुक्त-अंत वाले आउटपुट को प्रेरित निर्णय क्षेत्रों (induced decision regions) में मैप करती है, जिससे विविध मॉडल रूपांतरणों और परिनियोजन सेटिंग्स में अत्याधुनिक सटीकता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या एक रहस्यमय नई किताब उसी लेखक द्वारा लिखी गई है जिसने आपके पसंदीदा क्लासिक साहित्य की रचना की थी। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक बहुत बड़ी समस्या है। हमारे पास विशाल कंप्यूटर मस्तिष्क हैं जिन्हें 'लार्ज लैंग्वेज मॉडल्स' (LLMs) कहा जाता है, जो कहानियाँ लिखते हैं, गणित की समस्याओं को हल करते हैं और हमसे बातें करते हैं। लेकिन इन मॉडल्स को अक्सर बदला जाता है, आपस में मिलाया जाता है, या छोटे उपकरणों पर चलाने के लिए छोटा किया जाता है। कभी-कभी, लोग एक संरक्षित मॉडल को थोड़ा बदलकर उसे अपना बताकर बेच देते हैं। उन्हें पकड़ने के लिए, हमें उस मॉडल के "वंश वृक्ष" यानी उसके मूल स्रोत (provenance) को साबित करने की आवश्यकता है।
पेचीदा बात यह है कि ये AI मॉडल्स गिरगिट की तरह होते हैं। यदि आप एक ही सवाल को थोड़े अलग तरीके से पूछते हैं, या यदि मॉडल को तेज़ बनाने के लिए बदला गया है, तो भले ही वह अंदर से एक ही "मस्तिष्क" हो, वह पूरी तरह से अलग उत्तर दे सकता है। पिछले तरीकों ने इन मॉडल्स को पकड़ने के लिए उनके द्वारा चुने गए सटीक शब्दों को देखने की कोशिश की, लेकिन यह किसी व्यक्ति को केवल उसके कपड़ों से पहचानने जैसा है; यदि वे कपड़े बदल लेते हैं, तो शायद आप उन्हें पहचान न पाएं। वैज्ञानिकों को एक ऐसा तरीका चाहिए था जो सतह से परे देख सके और यह देख सके कि मॉडल के सोचने का गहरा, अपरिवर्तनीय ढांचा कैसा है।
यहीं पर ऑक्सफोर्ड विश्वविद्यालय की एक टीम एक चतुर नए विचार के साथ आती है जिसे स्टेमा (Stemma) कहा जाता है। स्टेमा को एक ऐसे जासूस के रूप में सोचें जो यह पूछना बंद कर देता है कि "आज आपने क्या पहना है?" और इसके बजाय पूछता है, "यदि मैं आपको चार विकल्पों वाला एक मेनू दिखाऊं, तो आप किसे चुनते हैं?" शोधकर्ताओं ने महसूस किया कि भले ही एक AI अपना व्यक्तित्व या अपनी शब्दावली बदल दे, फिर भी जब उसे विशिष्ट विकल्पों का सामना करना पड़ता है, तो वह एक ही श्रेणी के उत्तर को चुनने की प्रवृत्ति रखता है। वे इन छिपे हुए अभिरुचियों को "प्रेरित निर्णय क्षेत्र" (induced decision regions) कहते हैं।
टीम ने इसे एक फिंगरप्रिंटिंग सिस्टम बनाकर टेस्ट किया जो इस बात की परवाह नहीं करता कि AI किन फैंसी शब्दों का उपयोग करता है, बल्कि इस पर ध्यान केंद्रित करता है कि वह क्या चुनाव करता है। उन्होंने पाया कि यदि दो मॉडल संबंधित हैं (जैसे माता-पिता और संतान), तो वे लगभग हमेशा विकल्पों की एक सूची में से एक ही विकल्प चुनेंगे, भले ही सूची को उलट-पुलट दिया गया हो या मॉडल को पूरी तरह से अलग सेटिंग में तैनात किया गया हो। असंबंधित मॉडल, हालांकि, अलग-अलग विकल्प चुनते हैं। सैकड़ों अलग-अलग मॉडल्स और हजारों सवालों के माध्यम से इस "चुनाव निरंतरता" (choice consistency) का परीक्षण करके, स्टेमा ने मॉडल के पारिवारिक संबंधों को पहचानने में अविश्वसनीय दक्षता दिखाई। अपने परीक्षणों में, इसने संबंधित मॉडल्स की 96.7% बार सही पहचान की और यह भी पकड़ लिया कि एक संबंधित मॉडल को पकड़ने की संभावना केवल 1% होने पर भी यह सफल रहा। यह यह कहने का एक मजबूत तरीका है कि, "हाँ, यह संदिग्ध नया मॉडल निश्चित रूप से उस मूल मॉडल से संबंधित है," बिना मॉडल के गुप्त कोड को देखे।
जासूस का नया आवर्धक लेंस (Magnifying Glass)
तो, यह वास्तव में कैसे काम करता है? यह पेपर प्रेरित निर्णय क्षेत्र (Induced Decision Regions) नामक एक अवधारणा पेश करता है। कल्पना कीजिए कि आपके पास अनंत संभावनाओं से भरा एक विशाल, अस्त-व्यस्त कमरा है (यह आमतौर पर AI की तरह काम करता है)। यदि लोग बस इधर-उधर घूम रहे हों, तो यह बताना कठिन है कि क्या दो लोग एक ही कमरे में हैं। लेकिन, क्या होगा यदि आप कमरे के बीच में एक बाड़ लगा दें और सभी को एक तरफ चुनने के लिए कहें? अचानक, आपके पास एक स्पष्ट "निर्णय क्षेत्र" है।
शोधकर्ताओं ने महसूस किया कि जबकि AI खुले अंत वाले प्रश्नों के साथ अप्रत्याशित हो सकता है, विशिष्ट विकल्पों के बीच चुनाव करने के लिए मजबूर होने पर वह आश्चर्यजनक रूप से सुसंगत होता है। वे उस क्षेत्र को मॉडल का "प्रेरित निर्णय क्षेत्र" कहते हैं जहाँ वह लगातार एक विशिष्ट उत्तर चुनता है।
पेपर का तर्क है कि पिछले तरीके "सतही रूप" (surface form)—यानी AI द्वारा बोले गए सटीक शब्दों—पर बहुत अधिक केंद्रित थे। यदि आप एक AI को "बिल्ली के बारे में एक कविता लिखें" और फिर उससे "एक बिल्ली (feline) के बारे में एक छंद रचें" कहें, तो एक संबंधित मॉडल आपको दो बहुत अलग कविताएं दे सकता है, जिससे वे असंबंधित लग सकते हैं। लेकिन यदि आप दोनों मॉडल्स से पूछते हैं, "क्या उत्तर A, B, C या D है?" तो वे संभवतः एक ही अक्षर की ओर इशारा करेंगे, भले ही वे इसे अलग तरह से समझाएं। स्टेमा कविता को अनदेखा करता है और केवल अक्षर को देखता है।
खेल के तीन नियम
अपने फिंगरप्रिंट को बनाने के लिए, टीम ने केवल यादृच्छिक (random) प्रश्न नहीं चुने। उन्हें समझदार होना था। उन्होंने एक प्रणाली बनाई जो तीन सख्त नियमों के आधार पर प्रश्नों का चयन करती है, जिन्हें वे स्थिरता (Stability), मजबूती (Robustness) और विशिष्टता (Specificity) कहते हैं।
- स्थिरता (Stability): कल्पना कीजिए कि आपके पास एक प्रश्न है जिसमें चार उत्तर हैं: A, B, C और D। यदि आप क्रम को बदलकर D, C, B, A कर देते हैं, तो एक स्थिर मॉडल को अभी भी एक ही विचार चुनना चाहिए, भले ही अक्षर बदल जाए। स्टेमा केवल उन प्रश्नों का उपयोग करता है जहाँ मॉडल तब भी सुसंगत रहता है जब आप क्रम को उलट-पुलट देते हैं।
- मजबूती (Robustness): यह आपके चुनाव के प्रति आश्वस्त होने के बारे में है। यदि कोई मॉडल दो उत्तरों के बीच के किनारे पर मंडरा रहा है, तो सिस्टम में एक छोटा सा बदलाव उसे बदल सकता है। स्टेमा उन प्रश्नों की तलाश करता है जहाँ मॉडल निर्णय कक्ष की दीवारों से दूर, एक कोने में आत्मविश्वास के साथ खड़ा होता है।
- विशिष्टता (Specificity): यह सबसे महत्वपूर्ण हिस्सा है। आप ऐसा प्रश्न नहीं चाहते जहाँ हर मॉडल एक ही उत्तर चुने (जैसे "क्या आकाश नीला है?")। वह फिंगरप्रिंट नहीं है; वह सिर्फ सामान्य ज्ञान है। स्टेमा उन प्रश्नों की तलाश करता है जहाँ मूल मॉडल एक विशिष्ट उत्तर चुनता है जिसे अन्य असंबंधित मॉडल आमतौर पर गलत बताते हैं। यदि एक संदिग्ध मॉडल भी वही दुर्लभ, विशिष्ट उत्तर चुनता है, तो यह एक मजबूत संकेत है कि वे संबंधित हैं।
बड़ा परीक्षण
शोधकर्ताओं ने स्टेमा को एक बड़े प्रयोग के साथ परखने के लिए रखा। उन्होंने 56 अलग-अलग सार्वजनिक AI मॉडल्स (स्रोत) एकत्र किए और संदिग्धों के 770 जोड़े बनाए। कुछ संदिग्ध सीधे कॉपियां थे, कुछ फाइन-ट्यून किए गए संस्करण थे, कुछ अन्य मॉडल्स के साथ मिले हुए थे, और कुछ पूरी तरह से अलग थे। उन्होंने 1,260 जोड़ों का भी परीक्षण किया जहाँ मॉडल्स को अलग-अलग तरीकों से तैनात किया गया था, जैसे तापमान सेटिंग्स बदलना या रोल-प्ले निर्देश जोड़ना।
परिणाम चौंकाने वाले थे। स्टेमा ने 0.967 का AUC प्राप्त किया (एक ऐसा स्कोर जहाँ 1.0 पूर्ण है) और केवल 1% गलत अलार्म रखते हुए एक संबंधित मॉडल की 87.8% बार पहचान की। जब उन्होंने विभिन्न वास्तविक दुनिया की सेटिंग्स (जैसे "सुरक्षा" प्रॉम्प्ट जोड़ना या स्टेप-बाय-स्टेप सोचना) में तैनात मॉडल्स पर परीक्षण किया, तो स्कोर बढ़कर 0.995 AUC हो गया।
अन्य तरीकों (जैसे LLMmap, LLMPrint और अन्य) की तुलना करें जिन्हें उन्होंने टेस्ट किया। वे तरीके संघर्ष करते रहे, अक्सर मॉडल्स के बदलने या अलग तरह से तैनात होने पर रैंडम अनुमान लगाने से बेहतर प्रदर्शन नहीं कर सके। वे पुराने तरीके AI द्वारा उत्पन्न विशिष्ट शब्दों पर बहुत अधिक निर्भर थे, जो आसानी से बदल जाते हैं। स्टेमा, निर्णय क्षेत्रों के अंतर्निहित आधार पर ध्यान केंद्रित करके, स्थिर रहता है।
इसका क्या अर्थ है (और क्या नहीं)
पेपर बहुत स्पष्ट है कि स्टेमा क्या है और क्या नहीं है। यह एक ब्लैक-बॉक्स (black-box) विधि है, जिसका अर्थ है कि आपको मॉडल के आंतरिक कोड या वेट्स (weights) को देखने की आवश्यकता नहीं है; आप बस उससे प्रश्न पूछते हैं और देखते हैं कि वह क्या चुनता है। यह इसे वास्तविक दुनिया के ऑडिटिंग के लिए व्यावहारिक बनाता है।
हालाँकि, लेखक स्पष्ट करते हुए कि स्टेमा एक जादुगत समाधान नहीं है। वे नोट करते हैं कि स्टेमा सांख्यिकीय साक्ष्य (statistical evidence) प्रदान करता है, पूर्ण प्रमाण नहीं। यह एक डीएनए टेस्ट की तरह है जो कहता है, "99% संभावना है कि ये दोनों संबंधित हैं," लेकिन यह अपने आप में अदालत का फैसला नहीं है। वे यह भी चेतावनी देते हैं कि यदि हमलावर को पता चल जाए कि स्टेमा किन प्रश्नों का उपयोग कर रहा है, तो वे अपने मॉडल को उन विशिष्ट प्रश्नों पर धोखा देने के लिए प्रशिक्षित कर सकते हैं। लेकिन चूंकि स्टेमा प्रश्नों के एक विशाल पूल का उपयोग करता है और सर्वश्रेष्ठ प्रश्नों को मौके पर चुनता है, इसलिए ऐसा करना कठिन है।
पेपर एक सीमा को भी उजागर करता: स्टेमा वर्तमान में बहुविकल्पीय प्रश्नों (multiple-choice questions) पर निर्भर करता है। यदि कोई मॉडल बहुविकल्पीय प्रारूप को समझने के लिए बहुत कमजोर है, तो यह तरीका काम नहीं कर सकता है। लेकिन अधिकांश सक्षम मॉडल्स के लिए, खुले अंत वाले अराजक (chaos) को एक सीमित निर्णय स्थान (decision space) में मैप करने का यह नया दृष्टिकोण वास्तव में AI मॉडल्स के असली वंश वृक्ष को अनलॉक करने की कुंजी लगता है।
अंत में, स्टेमा एक याद दिलाता है कि भले ही AI मॉडल कई मुखौटे पहन सकते हैं और कई आवाजों में बोल सकते हैं, लेकिन उनके मूल तर्क का एक फिंगरप्रिंट होता जिसे मिटाना आश्चर्यजनक रूप से कठिन है। सही प्रश्न पूछकर और सतह से परे देखकर, हम आखिरकार यह देख सकते हैं कि वास्तव में कोड किसने लिखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।