Which Models Are Our Models Built On? Auditing Invisible Dependencies in Modern LLMs
यह शोध पत्र ModSleuth को प्रस्तुत करता है, जो एक एजेंटिक प्रणाली है जो सार्वजनिक आर्टिफैक्ट्स से आधुनिक LLMs के जटिल, खंडित डिपेंडेंसी ग्राफ को पुनर्गठित और औपचारिक रूप से निर्मित करती है, जिससे लाइसेंस संबंधी दायित्वों, प्रशिक्षण-मूल्यांकन युग्मन (training-evaluation coupling) और दस्तावेज़ीकरण की विसंगतियों के बारे में महत्वपूर्ण अंतर्दृष्टि प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक उच्च श्रेणी के डेली (delicatessen) से एक शानदार, पहले से बना हुआ सैंडविच खरीदा है। मेनू कहता है, "ताजी सामग्री से निर्मित।" लेकिन आपको पता नहीं है कि ब्रेड कहाँ से आई, उसे किसने बनाया, या क्या पनीर को उस मशीन द्वारा प्रोसेस किया गया था जिसका उपयोग पहले कुछ और बनाने के लिए किया गया था। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के संदर्भ में, यह बिल्कुल वही समस्या है।
आधुनिक AI मॉडल अब केवल कच्चे मानव डेटा से शून्य से नहीं बनाए जाते हैं। वे दूसरे शेफ की रेसिपी, पहले से कटे हुए सब्जियों और अन्य रोबोटों द्वारा बनाए गए सॉस से बने उत्कृष्ट व्यंजनों की तरह हैं।
यहाँ इस पेपर का सरल विवरण दिया गया है:
समस्या: "अदृश्य सामग्री" का सूप
अतीत में, AI बनाना केक बनाने जैसा था: आप आटा, अंडे और चीनी (कच्चा डेटा) इकट्ठा करते थे और उसे बेक करते थे। आज, यह एक जटिल भोजन को असेंबल करने जैसा है जहाँ आटा खुद एक रोबोट द्वारा पीसा गया था, अंडे एक दूसरे रोबोट द्वारा छांटे गए थे, और रेसिपी तीसरे रोबोट द्वारा लिखी गई थी जिसने चौथे से सीखा था।
लेखक इसे "रिकर्सिव डिपेंडेंसी" (पुनरावर्ती निर्भरता) कहते हैं।
- समस्या: यदि मॉडल A, मॉडल B द्वारा उत्पन्न डेटा का उपयोग करता है, और मॉडल B को मॉडल C द्वारा फ़िल्टर किए गए डेटा पर प्रशिक्षित किया गया था, तो यह श्रृंखला अविश्वसनीय रूप से लंबी और अव्यवस्थित हो जाती है।
- भ्रम: ये श्रृंखलाएं छिपी हुई हैं। एक पेपर कह सकता है कि "हमने एक डेटासेट का उपयोग किया," लेकिन यह उल्लेख नहीं करता कि वह डेटासेट किसी अन्य कंपनी के एक विशिष्ट मॉडल के संस्करण द्वारा बनाया गया था। यह एक सैंडविच मेनू में "हैम" कहने जैसा है बिना यह बताए कि वह हैम एक ऐसे फार्म से आया है जिसका निरीक्षण एक विशिष्ट, बिना सूचीबद्ध एजेंसी द्वारा किया गया था।
- जोखिम: यदि मूल "सामग्री" (मॉडल C) के पास एक सख्त नियम था जैसे "मेरे आउटपुट का उपयोग अन्य रोबोटों को प्रशिक्षित करने के लिए न करें," तो वह नियम मॉडल B से मॉडल A में गुजरते समय खो सकता है। यह कानूनी दुःस्वप्न, पक्षपाती परिणाम, या "दूषित" डेटा पैदा करता है जो अंतिम उत्पाद को खराब कर देता है।
समाधान: ModSleuth (AI जासूस)
लेखकों ने ModSleuth नामक एक टूल बनाया है। इसे एक सुपर-पावर्ड डिटेक्टिव या AI के लिए एक सप्लाई-चेन ऑडिटर के रूप में सोचें।
केवल अंतिम मेनू (मॉडल का पेपर) पढ़ने के बजाय, ModSleuth रसोई में जाता है, रसीदें चेक करता है, सप्लायर लॉग पढ़ता है, और हर एक सामग्री को उसके स्रोत तक ट्रैक करता है।
यह कैसे काम करता है (जासूस का टूलकिट):
- यह केवल पढ़ता नहीं है; यह जांच करता है: यह तकनीकी रिपोर्ट, कोड और मॉडल कार्ड पढ़ने के लिए एक AI एजेंट (एक डिजिटल डिटेक्टिव) का उपयोग करता है।
- यह "नाम के खेल" को सुलझाता है: कभी-कभी एक मॉडल को पेपर में "Olmo 3" कहा जाता है, लेकिन कोड में "Olmo-3-Think" कहा जाता है। ModSलेuth स्मार्ट है और यह समझ सकता है कि ये एक ही चीज़ हैं, बस अलग-अलग भूमिकाओं में हैं।
- यह एक मानचित्र बनाता है: यह एक विशाल, दृश्य मानचित्र (डिपेंडेंसी ग्राफ) बनाता है जो दिखाता है कि मॉडल A कैसे मॉडल B से जुड़ता है, जो मॉडल C से जुड़ता है, इत्यादि।
उन्होंने क्या पाया (चौंका देने वाला सच)
लेखकों ने चार प्रमुख AI मॉडल्स पर ModSleuth का परीक्षण किया। यहाँ वह है जो जासूस ने पाया जो इंसान चूक गए थे:
- "छिपे हुए हाथ" का प्रभाव (The "Hidden Hand" Effect): उन्होंने पाया कि निर्भरताएं 8 चरणों तक गहरी थीं। उदाहरण के लिए, एक मॉडल के प्रशिक्षण डेटा को एक क्लासिफायर द्वारा फ़िल्टर किया गया था, जिसे एक मॉडल द्वारा उत्पन्न डेटा पर प्रशिक्षित किया गया था, जिसे एक पूरी तरह से अलग कंपनी के डेटा से प्रशिक्षित किया गया था।
- "डबल एजेंट" बेंचमार्क: उन्होंने ऐसे मामले पाए जहाँ एक मॉडल का परीक्षण एक विशिष्ट गणित की समस्या सेट पर किया जा रहा था, लेकिन उसी गणित की समस्या का उपयोग मॉडल को प्रशिक्षित करने के लिए भी किया गया था। यह एक छात्र के परीक्षा देने जैसा है जिसे गुप्त रूप से अध्ययन सत्र के दौरान उत्तर दिए गए थे।
- लाइसेंस का लूपहोल: उन्होंने पाया कि कुछ मॉडल उन मॉडल्स द्वारा उत्पन्न डेटा का उपयोग कर रहे थे जिनके पास सख्त "No-Reuse" (पुन: उपयोग न करें) लाइसेंस थे। क्योंकि श्रृंखला बहुत लंबी थी, अंतिम मॉडल निर्माताओं को यह एहसास ही नहीं हुआ कि वे नियमों को तोड़ रहे थे।
- "घोस्ट" (भूतिया) निर्भरताएं: कभी-कभी, पेपर एक बात कहता था, लेकिन कोड कुछ और कहता था। पेपर दावा कर सकता था कि "हमने मानव डेटा का उपयोग किया," लेकिन कोड से खुलासा हुआ कि वास्तव में उन्होंने एक रोबोट द्वारा उत्पन्न डेटा का उपयोग किया था।
मुख्य निष्कर्ष
लेखक तर्क देते हैं कि हम अब केवल "मेनू" (मॉडल कार्ड और पेपर) पर भरोसा नहीं कर सकते। AI का पारिस्थितिकी तंत्र बहुत जटिल और आपस में जुड़ा हुआ है जिसे मैन्युअल रूप से ट्रैक करना संभव नहीं है।
ModSleuth सिद्ध करता है कि:
- AI एक विशाल जाल है: लगभग हर मॉडल कई अन्य मॉडल्स से ऐसे तरीकों से जुड़ा है जिन्हें हम नहीं जानते।
- पारदर्शिता टूट गई है: वर्तमान दस्तावेज़ीकरण इन गहरी, बहु-स्तरीय कड़ियों को पकड़ने के लिए बहुत सपाट और सरल है।
- हमें एक नए मानक की आवश्यकता है: ठीक वैसे ही जैसे खाद्य लेबल अब एलर्जी और उत्पत्ति को सूचीबद्ध करते हैं, AI मॉडल्स को एक "डिपेंडेंसी मैप" की आवश्यकता है जो दिखाता है कि उनकी सामग्री कहाँ से आई है, सीधे स्रोत तक।
संक्षेप में, पेपर कहता है: "हमने अपने AI सैंडविच में छिपी हुई सामग्रियों को खोजने के लिए एक जासूस बनाया है, और हमने पाया कि रसोई हमारी कल्पना से कहीं अधिक अव्यवस्थित और आपस में जुड़ी हुई है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।