LLM DNA: Tracing Model Evolution via Functional Representations
यह योगदान "LLM DNA" प्रस्तुत करता है, जो एक गणितीय रूप से आधारित, प्रशिक्षण-मुक्त ढांचा है जो सैकड़ों लार्ज लैंग्वेज मॉडल्स के बीच अलेखित विकासवादी संबंधों का पता लगाने और फाइलोगेनेटिक ट्री (phylogenetic trees) बनाने के लिए निम्न-आयामी कार्यात्मक निरूपणों को निकालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया लाखों किताबों वाली एक विशाल, अराजक लाइब्रेरी है। कुछ किताबें मूल उत्कृष्ट कृतियाँ हैं, कुछ प्रतियाँ हैं, कुछ सारांश हैं, और कुछ नए अध्याय जोड़े गए नए लिखे गए संस्करण हैं। समस्या यह है कि लाइब्रेरी में कोई स्पष्ट कैटलॉग नहीं है। हमें हमेशा यह नहीं पता होता कि कौन सी किताब किस किताब से कॉपी की गई थी, या एक किताब से दूसरी किताब तक का संक्रमण कैसे हुआ। यह समझना कठिन बना देता है कि क्या कोई किताब नियमों (लाइसेंस) का पालन करती है, यह पता लगाने के लिए कि क्या कोई खतरनाक विचार (जैसे कि सुरक्षा भेद्यता/security vulnerability) किसी त्रुटिपूर्ण किताब से कॉपी किया गया है, या यह समझने के लिए कि लाइब्रेरी कैसे बढ़ रही है।
यह लेख, जिसका शीर्षक "LLM DNA" है, जीव विज्ञान से प्रेरित एक समाधान प्रस्तावित करता है: प्रत्येक AI मॉडल को उसका अपना अद्वितीय जेनेटिक कोड प्रदान करना।
मुख्य विचार: AI जेनेटिक्स
जिस तरह जैविक DNA हमें बताता है कि आपके माता-पिता कौन हैं और आपने कौन से गुण विरासत में प्राप्त किए हैं, लेखक एक "DNA" बनाने का लक्ष्य रखते हैं जो AI मॉडल्स के पारिवारिक इतिहास और उनके कार्यात्मक व्यक्तित्व को प्रकट कर सके।
वे इस LLM DNA को संख्याओं की एक छोटी, संक्षिप्त सूची (एक वेक्टर) के रूप में परिभाषित करते हैं जो एक फिंगरप्रिंट की तरह कार्य करती है। यदि दो मॉडल संबंधित हैं (उदाहरण के लिए, यदि एक दूसरे का फाइन-ट्यून्ड संस्करण है), तो उनका DNA बहुत समान दिखना चाहिए। यदि वे असंबंधित हैं, तो उनका DNA बहुत अलग होना चाहिए।
यह कैसे काम करता है ("RepTrace" पाइपलाइन)
शोधकर्ताओं ने इस DNA को निकालने के लिए RepTrace नामक एक टूल विकसित किया है। यहाँ इसकी प्रक्रिया सरल रूप से समझाई गई है:
- टेस्ट ड्राइव: मॉडल के आंतरिक कोड (जो अक्सर छिपा हुआ होता है या हर मॉडल के लिए अलग होता है) की जांच करने के बजाय, वे मॉडल को एक 'ब्लैक बॉक्स' की तरह मानते हैं। वे इसे यादृच्छिक (random) प्रश्नों या प्रॉम्प्ट्स की एक श्रृंखला देते हैं (जैसे कि ड्राइविंग टेस्ट)।
- प्रतिक्रिया: वे रिकॉर्ड करते हैं कि मॉडल कैसे प्रतिक्रिया देता है।
- अनुवाद: वे इन टेक्स्ट प्रतिक्रियाओं को एक "सिमेंटिक मैप" (अर्थ का गणितीय प्रतिनिधित्व) में परिवर्तित करते हैं। उदाहरण के लिए, शब्द "vacation" और "holiday" अक्षरों के अलग-अलग अनुक्रम हैं, लेकिन DNA सिस्टम समझता है कि वे एक ही अर्थ रखते हैं।
- संपीड़न (Compression): वे इस विशाल मात्रा में जानकारी को संख्याओं की एक छोटी, प्रबंधनीय सूची में सिकोड़ने के लिए एक गणितीय ट्रिक (रैंडम प्रोजेक्शन) का उपयोग करते हैं। यह सूची ही DNA है।
महत्वपूर्ण बात यह है कि यह प्रक्रिया ट्रेनिंग-फ्री है। आपको सिस्टम को DNA खोजने के लिए सिखाने की आवश्यकता नहीं है; यह केवल इस आधार पर गणना करता है कि मॉडल कैसा व्यवहार करता है।
उन्होंने क्या खोजा
शोधकर्ताओं ने विभिन्न कंपनियों (जैसे मेटा, गूगल और अलीबाबा) के 305 अलग-अलग AI मॉडल्स पर इसका परीक्षण किया। यहाँ उन्हें क्या मिला:
- फैमिली ट्री: जब उन्होंने विभिन्न मॉडल्स के DNA की तुलना की, तो वे एक "फैमिली ट्री" (फाइलोजेनेटिक ट्री) बना सके। इस ट्री ने मॉडल्स के एक ही परिवार (जैसे सभी "Llama" मॉडल्स) को एक साथ सही ढंग से समूहीकृत किया, भले ही शोधकर्ताओं ने सिस्टम को यह नहीं बताया था कि कौन से मॉडल्स किस परिवार के हैं।
- छिपे हुए संबंध: DNA ने उन संबंधों को उजागर किया जो आधिकारिक तौर पर प्रलेखित (documented) नहीं थे। उदाहरण के लिए, इसने दिखाया कि किसी विशिष्ट संस्करण पर आधारित होने का दावा करने वाले कुछ मॉडल्स वास्तव में एक अलग संस्करण के अधिक करीब थे, या दो अलग-अलग कंपनियों के मॉडल्स आश्चर्यजनक रूप से एक ही "जेनेटिक्स" के समान थे।
- विकास की गति (Evolutionary Pace): फैमिली ट्री की शाखाओं का परीक्षण करके, वे देख सकते थे कि कौन से मॉडल परिवार दूसरों की तुलना में तेजी से विकसित होते हैं। कुछ परिवार (जैसे Qwen) तीव्र परिवर्तन दिखाते हैं, जबकि अन्य (जैसे Llama) अधिक स्थिर हैं।
- मजबूती (Robustness): पूछे गए प्रश्नों को बदलने या प्रतिक्रियाओं का मूल्यांकन करने के लिए विभिन्न मॉडल प्रकारों का उपयोग करने पर भी DNA सुसंगत रहा। यह एक फिंगरप्रिंट की तरह है जो वही रहता है चाहे आप अपनी उंगली को हल्के से दबाएं या जोर से।
यह क्यों महत्वपूर्ण है (लेख के अनुसार)
लेखक सुझाव देते हैं कि इस "DNA" का उपयोग तीन मुख्य अनुप्रयोगों के लिए किया जा सकता है:
- लाइसेंस सत्यापन: यह सत्यापित करने में मदद कर सकता है कि क्या एक नया मॉडल किसी संरक्षित मॉडल से अवैध रूप रूप से कॉपी किया गया है, भले ही उसके निर्माता इसे स्वीकार न करें।
- सुरक्षा ऑडिट: यदि एक "पैरेंट" मॉडल में कोई सुरक्षा भेद्यता (जैसे बैकडोर) है, तो उसके "चिल्ड्रन" (वंशज) में भी इसके होने की संभावना है। DNA ट्री ऑडिटर्स को इन जोखिम भरी वंशावलियों की पहचान करने में मदद करता है।
- मॉडल चयन: यह उपयोगकर्ताओं को सही मॉडल चुनने में मदद करता है। यदि आपको एक ऐसा मॉडल चाहिए जो बहुत स्थिर है और अपने व्यवहार में बदलाव नहीं करता है, तो उस शाखा को चुनें जिसमें विकास के चरण छोटे हैं। यदि आप नवीनतम, सबसे प्रयोगात्मक फीचर्स चाहते हैं, तो तीव्र विकास वाली शाखा को चुनें।
निष्कर्ष
लेख का तर्क है कि हम गणितीय रूप से सिद्ध कर सकते हैं कि यह "DNA" मौजूद है और यह एक AI के व्यवहार के सार को पूरी निष्ठा से कैप्चर करता है। जटिल, अपारदर्शी AI मॉडल्स को सरल, तुलनीय जेनेटिक कोड में बदलकर, हम अंततः कृत्रिम बुद्धिमत्ता के बढ़ते पारिस्थितिकी तंत्र को मैप, प्रबंधित और समझने की शुरुआत कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।