Who Built This Model? Tracing LLM Lineage via Spectral Fingerprints in Weight Space
यह शोध पत्र एक एकीकृत ज्यामितीय फिंगरप्रिंटिंग फ्रेमवर्क प्रस्तावित करता है जो इनपुट डेटा तक पहुंच की आवश्यकता के बिना, मॉडल वंशावली का पता लगाने और स्वतंत्र, समान-श्रृंखला और साझा-आधार वाले मॉडलों के बीच अंतर करने के लिए LLM वेट मैट्रिसेस (weight matrices) के स्पेक्ट्रल ऊर्जा और सबस्पेस अलाइनमेंट का विश्लेषण करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ हर बार जब आप एक रोबोट बनाते हैं, तो आप उसके मस्तिष्क के भीतर एक अनूठा, अदृश्य डीएनए स्ट्रैंड छोड़ देते हैं। आर्टिफिशियल इंटेलिजेंस की इस तेज़ गति वाली दुनिया में, इन "रोबोटों" को लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है—बेहद स्मार्ट कंप्यूटर प्रोग्राम जो कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं, और मनुष्यों की तरह चैट कर सकते हैं। लेकिन यहाँ एक मोड़ है: ये मॉडल हमेशा शून्य से नहीं बनाए जाते। अक्सर, एक कंपनी एक विशाल, पहले से बने-बनाए मॉडल को लेती है, उसमें कुछ बदलाव करती है, उसे नए डेटा पर प्रशिक्षित करती है, और एक "नया" संस्करण रिलीज़ करती है। यह बिल्कुल वैसा ही है जैसे किसी प्रसिद्ध शेफ की गुप्त रेसिपी लेना, उसमें चुटकी भर नमक मिलाना, और उसे अपना बताकर पेश करना। यह एक उलझी हुई वंशावली बनाता है जहाँ यह बताना मुश्किल हो जाता है कि कौन किससे संबंधित है, किसने किसकी नकल की है, और वास्तव में एक मॉडल कहाँ से आया है। यह "प्रोवेनेंस" (provenance) की समस्या है: किसी चीज़ के वास्तविक मूल को जानना। वैज्ञानिकों ने इसे मॉडल्स के व्यवहार को देखकर (जैसे उनके उत्तरों का परीक्षण करके) हल करने की कोशिश की है, लेकिन यह कठिन है क्योंकि उत्तर इस बात पर निर्भर कर सकते हैं कि सवाल कैसे पूछे गए हैं। इसलिए, बड़ा सवाल यह बन जाता है: क्या हम मॉडल के मस्तिष्क (इसके वेट्स/weights) के अंदर देख सकते हैं ताकि एक स्थायी, अपरिवable फिंगरप्रिंट पा सकें जो उसकी पारिवारिक वंशावली बता सके, बिना उससे एक भी सवाल पूछे?
यह शोध पत्र, जिसका शीर्षक "इस मॉडल को किसने बनाया?" (Who Built This Model?), कहता है कि हाँ, हम ऐसा कर सकते हैं। इसके लेखक, मिशिगन स्टेट यूनिवर्सिटी के शोधकर्ता, मॉडल के आंतरिक वेट्स की ज्यामिति (geometry) को देखकर AI मॉडल्स की वंशावली को ट्रैक करने का एक नया तरीका प्रस्तावित करते हैं। वे मॉडल के मस्तिष्क को एक जटिल संगीत वाद्ययंत्र की तरह मानते हैं और दो अलग-अलग "ध्वनियों" को सुनते हैं जो यह उत्पन्न करता है: स्वरों की तीव्रता (स्पेक्ट्रल एनर्जी) और ध्वनि तरंगों के यात्रा करने की दिशा (सबस्पेस अलाइनमेंट)।
सबसे पहले, उन्होंने मॉडल के वेट्स की "तीव्रता" या समग्र ऊर्जा को देखा। उन्होंने पाया कि यह एक मोटे तौर पर काम करने वाले पारिवारिक पेड़ (coarse-grained family tree) की तरह कार्य करता है। यदि दो मॉडल पूरी तरह से अलग परिवारों के हैं (जैसे कंपनी A द्वारा बनाया गया रोबोट बनाम कंपनी B द्वारा बनाया गया रोबोट), तो उनकी "तीव्रता" के पैटर्न पूरी तरह से अलग होते हैं। यदि वे एक ही श्रृंखला के हैं (जैसे एक ही मॉडल का 3-बिलियन-पैरामीटर वाला संस्करण और 7-बिलियन-पैरामीटर वाला संस्करण), तो उनके पैटर्न बहुत समान होते हैं। शोधकर्ताओं ने दिखाया कि इस "स्पेक्ट्रल एनर्जी" को मापकर, वे आसानी से बता सकते थे कि दो मॉडल अजनबी हैं या दूर के चचेरे भाई। यह एक बड़ी बात है क्योंकि पिछले तरीके इन दोनों समूहों को मिला देते थे, और एक बिल्कुल नए मॉडल तथा पुराने के बढ़े हुए संस्करण के बीच अंतर करने में विफल रहते थे।
हालाँकि, "तीव्रता" वाला परीक्षण तब विफल हो जाता है जब मॉडल बहुत करीबी रिश्तेदार होते हैं। कल्पना कीजिए कि दो मॉडल एक ही आधार से शुरू हुए लेकिन फिर अलग-अलग प्रशिक्षण शिविरों से गुजरे: एक गणित का ट्यूटर बनने के लिए सीखा, और दूसरे ने एक रचनात्मक लेखक बनने के लिए सीखा। उनकी "तीव्रता" लगभग समान है, इसलिए पहला परीक्षण उन्हें अलग नहीं कर सकता। यहीं पर इस शोध पत्र का दूसरा जादू काम आता है: "सबस्पेस अलाइनमेंट" (subspace alignment)। केवल यह सुनने के बजाय कि संगीत कितना तेज़ है, लेखकों ने नोटों की दिशा को देखा। उन्होंने पाया कि भले ही समग्र वॉल्यूम समान हो, लेकिन मॉडल के मस्तिष्क की तरंगें किस दिशा में संकेत करती हैं, वह थोड़ा बदल जाता है जो इस बात पर निर्भर करता है कि मॉडल ने क्या सीखा है। यदि किसी मॉडल को बहुत छोटे डेटासेट पर प्रशिक्षित किया गया था, तो उसका दिशात्मक फिंगरप्रिंट मूल मॉडल के लगभग समान होता है। लेकिन यदि इसे एक विशाल, विविध डेटासेट पर प्रशिक्षित किया गया था, तो वे दिशाएँ स्पष्ट रूप से बदल जाती हैं।
टीम ने इसका परीक्षण 110 से अधिक विभिन्न ओपन-वेट मॉडल्स के जोड़ों पर किया। उन्होंने पाया कि उनका नया तरीका वह कर सकता था जो पुराने तरीके नहीं कर सके: वे "अजनबियों" को "चचेरे भाइयों" से अलग कर सके, और फिर गहराई से यह बता सके कि वे "चचेरे भाई" जिनके जीवन के अनुभव (विभिन्न प्रशिक्षण डेटा या एल्गोरिदम) अलग थे, उनमें अंतर कैसे किया जाए। उदाहरण के लिए, उन्होंने दिखाया कि उनका तरीका यह पता लगा सकता था कि एक मॉडल जिसे 100% डेटासेट पर प्रशिक्षित किया गया था, उसका ज्यामितीय फिंगरप्रिंट उस मॉडल से अलग था जिसे केवल 10% पर प्रशिक्षित किया गया था, भले ही वे एक ही आधार से शुरू हुए हों। उन्होंने यह भी पाया कि विभिन्न प्रशिक्षण एल्गोरिदम (जैसे DPO, PPO, और RAFT) मॉडल के मस्तिष्क के विभिन्न हिस्सों पर विशिष्ट ज्यामितीय निशान छोड़ते हैं।
संक्षेप में, यह पत्र सुझाव देता है कि AI मॉडल्स के पास उनके वेट स्पेस में छिपे हुए अंतर्निहित "बायोमेट्रिक्स" होते हैं। वैश्विक ऊर्जा (विभिन्न परिवारों को अलग करने के लिए) और दिशात्मक ज्यामिति (करीबी रिश्तेदारों के बीच अंतर करने के लिए) की जाँच को जोड़कर, हम एक विश्वसनीय मानचित्र बना सकते हैं कि किसने क्या बनाया, और वे कैसे विकसित हुए। यह केवल जिज्ञासा को संतुष्ट नहीं करता है; यह AI की आपूर्ति श्रृंखला (supply chain) की जाँच करने के लिए एक उपकरण प्रदान करता है, यह सुनिश्चित करता है कि हमें उन मॉडल्स के वास्तविक मूल का पता हो जिनका हम उपयोग कर रहे हैं, और जैसे-जैसे वे अधिक जटिल होते जा रहे हैं, उनके विकास को नियंत्रित करने में मदद करता है। लेखक इस बात पर जोर देते हैं कि यह तब भी काम करता है जब हमारे पास प्रशिक्षण डेटा तक पहुँच नहीं होती, केवल अंतिम मॉडल वेट्स उपलब्ध होते हैं, जो इसे AI की दुनिया में पारदर्शिता के लिए एक शक्तिशाली उपकरण बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।