🤖 machine learning

WARP: Weight-Space Analysis for Recovering Training Data Portfolios

यह शोध पत्र WARP को प्रस्तुत करता है, जो उनके वेट स्पेस (weight space) में ज्यामितीय विशेषताओं का विश्लेषण करके फाउंडेशन मॉडल्स को प्रशिक्षित करने के लिए उपयोग किए गए विशिष्ट डोमेन मिश्रण भार (domain mixture weights) को पुनः प्राप्त करने वाला एक फ्रेमवर्क है, जिससे उन पूर्ववर्ती विधियों की सीमाओं को दूर किया जा सके जो केवल व्यक्तिगत डेटा नमूनों का पता लगा सकती हैं।

मूल लेखक: Tzu-Heng Huang, Aditya Goyal, John Cooper, Frederic Sala

प्रकाशित 2026-07-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tzu-Heng Huang, Aditya Goyal, John Cooper, Frederic Sala

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक प्रसिद्ध बेकरी से एक स्वादिष्ट, जटिल केक खरीदा है। बेकरी आपको तैयार केक तो देती है, लेकिन वे आपको रेसिपी बताने से इनकार कर देते हैं: उन्होंने कितना आटा, चीनी या वैनिला इस्तेमाल किया, या उनके अनुपात क्या थे। वे बस इतना कहते हैं, "यह रहा केक; आनंद लें।"

AI की दुनिया में, ये "केक" फाउंडेशन मॉडल्स (जैसे कि ऑनलाइन दिखने वाले चैटबॉट्स या टेक्स्ट जनरेटर) हैं। "रेसिपी" वह डेटा मिश्रण (data mixture) है—विभिन्न प्रकार की जानकारी (जैसे समाचार, कोड, वैज्ञानिक शोध पत्र या सोशल मीडिया पोस्ट) का विशिष्ट मिश्रण जिसका उपयोग मॉडल को प्रशिक्षित करने के लिए किया गया था। आमतौर पर, ऐसी रेसिपी एक रहस्य होती है।

यह एक समस्या पैदा करता है: शोधकर्ता केक (मॉडल) का अध्ययन तो कर सकते हैं, लेकिन वे उन सामग्रियों (डेटा) को नहीं देख सकते जिनसे इसे बनाया गया है। यह जानना कठिन हो जाता है कि मॉडल ने अच्छे स्रोतों से सीखा है या इसने अनजाने में कुछ ऐसा "खा लिया" है जो उसे नहीं खाना चाहिए था।

समस्या: खोया हुआ रास्ता

आमतौर पर, रेसिपी का पता लगाने के लिए, आपको बेकर को सामग्री मिलाते हुए चरण-दर-चरण देखना होगा। AI के संदर्भ में, इसका अर्थ है ट्रेनिंग ट्रेजेक्टरी (training trajectory) को देखना—मॉडल के "मस्तिष्क" के बदलने का रिकॉर्ड जैसे-जैसे वह सीखता है। लेकिन अधिकांश जारी किए गए मॉडल्स के लिए, हमें केवल दो स्नैपशॉट मिलते हैं:

बेस मॉडल (Base Model): कच्चा, बिना प्रशिक्षित आटा।
फाइन-ट्यून्ड मॉडल (Fine-Tuned Model): तैयार केक।

उनके बीच का रास्ता खो गया है। पिछले तरीकों ने व्यक्तिगत "कणों" (specific data points) को देखकर यह अनुमान लगाने की कोशिश की कि क्या वे मिश्रण में थे, लेकिन यह एक सिंगल स्प्रिंकल (छोटा सा दाना) चखकर पूरे केक की रेसिपी का अनुमान लगाने जैसा है। यह आपको पूरी तस्वीर नहीं देता।

समाधान: WARP (द "टाइम-ट्रैवल" केक)

लेखक एक नया टूल पेश करते हैं जिसे WARP (Weight-Space Analysis for Recovering Training Data Portfolios) कहा जाता है। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:

1. खोए हुए रास्ते का पुनर्निर्माण करना (सिमुलेटिंग द ट्रेजेक्टरी)
चूंकि हम वास्तविक रास्ता नहीं देख सकते जो बेकर ने लिया था, WARP "मॉडल मर्जिंग" नामक तकनीक का उपयोग करके एक नकली रास्ता बनाता है। कल्पना कीजिए कि आपके पास कच्चा आटा और तैयार केक है। WARP गणितीय रूप से आटे और केक को छोटे चरणों में मिलाकर बीच में कई "छद्म-केक" (pseudo-cakes) बनाता है।

चरण 1: 90% आटा, 10% केक।
चरण 2: 80% आटा, 20% केक।
...और इसी तरह, जब तक आप 100% केक तक नहीं पहुँच जाते।

ये नकली चरण वास्तविक प्रशिक्षण प्रक्रिया के विकल्प के रूप में कार्य करते हैं, जिससे शोधकर्ताओं को अध्ययन करने के लिए एक "रोडमैप" मिलता है।

2. एक ज्यामितिक "फुटप्रिंट" लेना (द मिमिक स्कोर)
अब, WARP परीक्षण सामग्रियों का एक छोटा, ज्ञात सेट (एक "प्रोबिंग डेटासेट") लेता है और पूछता है: "यदि हमने हमारे नकली पथ में यह विशिष्ट सामग्री जोड़ी, तो यह केक को अंतिम परिणाम की दिशा में कितना धकेलेगी?"

यह अलाइनमेंट (alignment) को मापता है। यदि अंतिम केक मुख्य रूप से "न्यूज़" डेटा से बना था, तो "न्यूज़" सामग्रियां नकली पथ को अंतिम केक की ओर मजबूती से धकेलेंगी। "साइंस" सामग्रियां इसे कमजोर रूप से या गलत दिशा में धकेल सकती हैं। यह एक ज्यामितिक फुटप्रिंट (geometric footprint) बनाता है—मॉडल के "मस्तिष्क" में एक अद्वितीय आकार जो प्रकट करता है कि कौन सी सामग्रियां प्रमुख थीं।

3. रेसिपी को पढ़ना (द डिकोडर)
अंत में, WARP इस फुटप्रिंट को देखता है और इसे वापस एक रेसिपी में अनुवादित करता है। इसके दो तरीके हैं:

एक त्वरित अनुमान (Unsupervised): यह आकार को देखने के लिए एक सरल गणितीय फॉर्मूला (softmax) का उपयोग करता है और कहता है, "यह 40% न्यूज़, 30% कोड, 30% साइंस जैसा दिखता है।"
एक प्रशिक्षित विशेषज्ञ (Supervised):ely यह एक छोटे AI (एक MLP) का उपयोग करता है जिसे पहले ज्ञात रेसिपी वाले नकली केक पर प्रशिक्षित किया गया था। यह AI फुटप्रिंट को देखता है और कहता है, "जो मैंने सीखा है उसके आधार पर, यह निश्चित रूप से 40% न्यूज़, 30% कोड, 30% साइंस है।"

परिणाम: यह कितनी अच्छी तरह काम कर रहा था?

शोधकर्ताओं ने इसका परीक्षण दो अलग-अलग "बेकरी" (BERT और GPT-2) पर विभिन्न प्रकार के डेटा (न्यूज़, रिव्यूज, आदि) का उपयोग करके किया।

यह अनुमान लगाने से बहुत बेहतर है: रैंडम गेसिंग या सिंगल क्रम्ब्स (पिछले तरीकों) को देखना अक्सर गलत था।
यह आश्चर्यजनक रूप से सटीक है: WARP ने बहुत उच्च सटीकता के साथ रेसिपी का अनुमान लगाया। BERT मॉडल के लिए, औसत त्रुटि केवल 0.046 थी (इसका मतलब है कि यह लगभग सटीक था)। GPT-2 के लिए, त्रुटि 0.104 थी।
यह काम करता है चाहे बेकर ने जल्दी रुककर बनाया हो या बहुत ज्यादा पका दिया हो: चाहे मॉडल को पर्याप्त प्रशिक्षित किया गया हो, पूरी तरह से प्रशिक्षित किया गया हो, या ओवर-ट्रेन किया गया हो, WARP अभी भी रेसिपी का पता लगा सकता था।
नकली रास्ता असली रास्ते से बेहतर था: आश्चर्यजनक रूप से, नकली पथ (मर्ज किए गए मॉडल्स) का उपयोग करना वास्तव में असली प्रशिक्षण चरणों (यदि उनके पास होते) का उपयोग करने से बेहतर काम कर गया। ऐसा इसलिए है क्योंकि वास्तविक प्रशिक्षण पथ "शोर" (noisy) और अस्त-व्यस्त हो सकता है, जबकि नकली पथ सुचारू और साफ होता है, जिससे रेसिपी को पढ़ना आसान हो जाता है।

मुख्य निष्कर्ष

WARP यह सिद्ध करता है कि भले ही आपके पास केवल तैयार AI मॉडल और मूल बेस मॉडल हो, फिर भी आप उस डेटा की "रेसिपी" को रिवर्स-इंजीनियर कर सकते हैं जिसका उपयोग इसे प्रशिक्षित करने के लिए किया गया था। दो मॉडल्स के बीच एक नकली यात्रा बनाकर और उस यात्रा के ज्यामितिक आकार को मापकर, आप डेटा के उन छिपे हुए अनुपातों को उजागर कर सकते हैं जिन्होंने मॉडल का निर्माण किया है, जिससे इन शक्तिशाली उपकरणों को कैसे बनाया जाता है, इसमें आवश्यक पारदर्शिता आती है।

तकनीकी सारांश: WARP – प्रशिक्षण डेटा पोर्टफोलियो को रिकवर करने के लिए वेट-स्पेस विश्लेषण

समस्या विवरण (Problem Statement)

फाउंडेशन मॉडल्स तेजी से सार्वजनिक रूप से रिलीज़ किए जा रहे हैं, फिर भी विशिष्ट "डेटा रेसिपीज़"—विशेष रूप से वे डोमेन मिश्रण भार (domain mixture weights) जो यह निर्धारित करते हैं कि विभिन्न स्रोतों (जैसे वेब टेक्स्ट, कोड, वैज्ञानिक साहित्य) को प्रशिक्षण के दौरान कैसे सैंपल किया जाता है—निजी और अपारदर्शी बनी हुई हैं। यह एक महत्वपूर्ण पहुंच विषमता (access asymmetry) पैदा करता है: शोधकर्ता मॉडल वेट्स का अध्ययन तो कर सकते हैं, लेकिन उनके पास उस प्रशिक्षण वितरण (training distribution) को देखने की दृश्यता नहीं होती है जिसने उन्हें बनाया है।

प्रशिक्षण डेटा का अनुमान लगाने के लिए मौजूदा दृष्टिकोण, जैसे कि मेंबरशिप इन्फरेंस (Membership Inference - MI), व्यक्तिगत सैंपल्स के स्तर पर काम करते हैं ताकि यह पता लगाया जा सके कि क्या कोई विशिष्ट डेटा पॉइंट प्रशिक्षण सेट में था। हालाँकि, MI प्रशिक्षण कॉर्पस के वैश्विक संयोजन या डोमेन अनुपातों का वर्णन नहीं कर सकता है। इसके अलावा, प्रशिक्षण प्रक्षेपवक्र (training trajectories) को रिकवर करने के लिए पिछले तरीकों को अक्सर मध्यवर्ती चेकपॉइंट्स (intermediate checkpoints) तक पहुंच की आवश्यकता होती है, जो रिलीज़ किए गए मॉडल्स के लिए शायद ही कभी उपलब्ध होते हैं (जहाँ आमतौर पर केवल बेस मॉडल और अंतिम फाइन-ट्यून्ड वेट्स ही सार्वजनिक होते हैं)। इस कार्य द्वारा संबोधित मुख्य चुनौती इनवर्स प्रॉब्लम (inverse problem) है: केवल रिलीज़ किए गए बेस मॉडल ( $\theta_{base}$ ), फाइन-ट्यून्ड मॉडल ( $\theta_{ref}$ ), और एक छोटे प्रोबिंग डेटासेट को देखते हुए, हम अज्ञात डोमेन मिश्रण अनुपातों ( $\pi^*$ ) को कैसे रिकवर कर सकते हैं, बिना वास्तविक प्रशिक्षण प्रक्षेपवक्र या मध्यवर्ती चेकपॉइंट्स तक पहुंच के?

कार्यप्रणाली: WARP फ्रेमवर्क (Methodology: The WARP Framework)

लेखक WARP (Weight-space Analysis for Recovering Training Data Portfolios) प्रस्तावित करते हैं, जो वेट स्पेस की ज्यामितीय संरचना (geometric structure) का लाभ उठाकर सीधे मॉडल वेट्स से डोमेन मिश्रण को रिकवर करता है। यह कार्यप्रणाली तीन चरणों में आगे बढ़ती है:

1. प्रशिक्षण प्रक्षेपवोट का अनुकरण (Simulating the Training Trajectory)

चूंकि $\theta_{base}$ से $\theta_{ref}$ तक का वास्तविक पथ अवलोकित नहीं है, इसलिए WARP दोनों एंडपॉइंट्स के बीच इंटरपोलेशन करने के लिए मॉडल मर्जिंग तकनीकों का उपयोग करता है। मिक्सिंग कोएफिशिएंट्स $\alpha_t \in (0,1)$ के शेड्यूलिंग के साथ मर्जिंग ऑपरेटर्स (जैसे लीनियर इंटरपोलेशन/LERP, स्फेरिकल इंटरपोलेशन/SLERP, या TIES) को लागू करके, यह फ्रेमवर्क स्यूडो-चेकपॉइंट्स ( $\tilde{\theta}_t$ ) की एक श्रृंखला उत्पन्न करता है। ये स्यूडो-चेकपॉइंट्स अनऑब्जर्व्ड पैरामीटर इवोल्यूशन के प्रॉक्सी के रूप में कार्य करते हैं, जो प्रभावी रूप से एक "सिम्युलेटेड" प्रशिक्षण प्रक्षेपवोट का पुनर्निर्माण करते हैं।

2. ज्यामितीय पदचिह्नों का आसवन (Distilling Geometric Footprints)

इन सिम्युलेटेड चेकपॉइंट्स से, WARP Mimic Score से अनुकूलित एक मीट्रिक का उपयोग करके डोमेन-स्तरीय सिग्नल निकालता है। प्रत्येक स्यूडो-चेकपॉइंट $\tilde{\theta}_t$ के लिए, विधि लक्ष्य मॉडल की ओर इशारा करने वाला एक दिशा वेक्टर $v_t = \theta_{ref} - \tilde{\theta}_t$ परिभाषित करती है।

सैंपल एलाइनमेंट (Sample Alignment): एक छोटे प्रोबिंग डेटासेट $D_{probe}$ (जो प्रशिक्षण डेटा के समान स्रोत डोमेन से लिया गया है) के लिए, विधि प्रत्येक सैंपल के लिए $\tilde{\theta}_t$ पर नेगेटिव ग्रेडिएंट की गणना करती है।
प्रोजेक्शन (Projection): Mimic Score ( $m_{i,t}$ ) को $v_t$ के यूनिट वेक्टर पर इस नेगेटिव ग्रेडिएंट के प्रोजेक्शन के रूप में गणना किया जाता है। यह स्कोर मापता है कि एक सैंपल उस दिशा के साथ कितनी मजबूती से संरेखित (align) होता है जिस दिशा में मॉडल वास्तव में फाइन-ट्यूनिंग के दौरान विकसित हुआ।
पूलिंग (Pooling): इन स्कोर्स को प्रत्येक चरण $t$ पर प्रत्येक डोमेन $k$ के भीतर सामान्यीकृत (normalize) और औसत किया जाता है, जिससे एक फीचर मैट्रिक्स $M \in \mathbb{R}^{K \times T}$ प्राप्त होता है। यह मैट्रिक्स प्रशिक्षण डेटा के "ज्यामितीय पदचिह्न" (geometric footprint) को दर्शाता है, जो यह ट्रैक करता है कि जैसे-जैसे मॉडल विकसित होता है, प्रत्येक डोमेन फाइन-ट्यूनिंग दिशा के साथ कितनी मजबूती से संरेखित होता है।

3. ज्यामिति को मिश्रण में मैप करना (Mapping Geometry to Mixture)

अंतिम चरण ज्यामितीय पदचिह्न $M$ को एक अनुमानित डोमेन मिश्रण $\hat{\pi}$ में अनुवादित करता है। लेखक दो वेरिएंट्स प्रस्तावित करते हैं:

अनसुपरवाइज्ड रीडआउट (Unsupervised Readout): एक पैरामीटर-मुक्त दृष्टिकोण जो टाइम स्टेप्स केAcross पूल किए गए स्कोर्स को औसत करता है और मिश्रण का अनुमान लगाने के लिए सॉफ्टमैक्स फंक्शन लागू करता है।
सुपरवाइज्ड प्रोजेक्शन (Supervised Projection): एक सिंथेटिक डेटा पर प्रशिक्षित MLP प्रोजेक्टर। लेखक रैंडम मिश्रणों पर बेस मॉडल्स को फाइन-ट्यून करके सिंथेटिक पेयर्स जेनरेट करते हैं ताकि ग्राउंड-ट्रुथ लेबल्स बनाए जा सकें, और फिर ज्ञात मिश्रण $\pi$ के साथ ज्यामितीय पदचिह्न $M$ को मैप करने के लिए MLP को प्रशिक्षित करते हैं। यह मॉडल को सिम्युलेटेड प्रक्षेपवोट के विभिन्न चरणों को अनुकूल रूप से वेट करने के लिए सक्षम बनाता है।

मुख्य योगदान (Key Contributions)

पहुंच विषमता को समाप्त करना: WARP अधिकांश रिलीज़ किए गए मॉडल्स के लिए उपलब्ध आर्टिफैक्ट्स (बेस और फाइनल वेट्स) का उपयोग करके एक फाइन-ट्यून्ड मॉडल के डोमेन मिश्रण की रिकवरी को औपचारिक रूप देता है, जिससे मालिकाना डेटा या मध्यवर्ती चेकपॉइंट्स की आवश्यकता समाप्त हो जाती है।
सिम्युलेटेड ट्रेनिंग ट्रेजेक्टरीज: यह फ्रेमवर्क उपयोग योग्य ज्यामितीय संरचना को उजागर करने के लिए अनऑब्जर्व्ड ट्रेनिंग पाथ्स को सिम्युलेट करने हेतु मॉडल मर्जिंग के एक नवीन उपयोग को पेश करता है।
मजबूत अनुभवजन्य प्रदर्शन: नियंत्रित प्रयोगों में, WARP सैंपल-लेवल मेंबरशिप इन्फरेंस बेसलाइन्स और यहाँ तक कि एक "ओरेकल" वेरिएंट को भी पीछे छोड़ देता है जिसके पास वास्तविक मध्यवर्ती चेकपॉइंट्स तक पहुंच है।
मजबूती (Robustness): यह विधि विभिन्न प्रशिक्षण व्यवस्थाओं में सटीक रहती है, जिसमें अर्ली-स्टेप्ड, कन्वर्ज्ड और ओवरट्रेन्ड चेकपॉइंट्स शामिल हैं।

प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन BERT और GPT-2 मॉडल्स पर किया गया, जिन्हें ज्ञात ग्राउंड-ट्रुथ मिश्रणों वाले चार टेक्स्ट डेटासेट्स (SNLI, AGNews, Yelp, Yahoo) पर फाइन-ट्यून किया गया था।

सटीकता (Accuracy): WARP ने BERT पर 0.046 और GPT-2 पर 0.104 (TIES मर्जिंग के साथ सुपरवाइज्ड MLP वेरिएंट का उपयोग करते हुए) जितना कम मीन एब्सोल्यूट एरर (MAE) प्राप्त किया।
तुलना: ये परिणाम काफी बेहतर थे:
- Random Guess और Centroid Guess बेसलाइन्स की तुलना में।
- सैंपल-लेवल मेंबरशिप इन्फरेंस (MI) की तुलना में, जिसने उच्च त्रुटि (जैसे BERT पर 0.063 MAE बनाम WARP के लिए 0.046) प्रदर्शित की।
- ओरेकल वेरिएंट्स: आश्चर्यजनक रूप से, सिम्युलेटेड ट्रेजेक्टरीज (LERP/TIES) का उपयोग करने वाला WARP अक्सर वास्तविक मध्यवर्ती चेकपॉइंट्स का उपयोग करने वाले वेरिएंट से बेहतर प्रदर्शन करता है। लेखक इसका श्रेय "स्मूथनेस गैप" (smoothness gap) को देते हैं: वास्तविक प्रशिक्षण पथों में शोर (स्टोकेस्टिक मिनी-बैचेस, लर्निंग रेट वार्मअप) होता है, जबकि इंटरपोलेटेड पथ एक स्वच्छ, मोनोटोन प्रक्षेपवोट प्रदान करते हैं जो ज्यामितीय पदचिह्न को डिकोड करना आसान बनाता है।
Unsupervised बनाम Supervised: पैरामीटर-मुक्त अनसुपरवाइज्ड सॉफ्टमैक्स रीडआउट प्रतिस्पर्धी था, जिसने सभी बेसलाइन्स को पछाड़ दिया और सुपरवाइज्ड वेरिएंट के अंतर को काफी हद तक कम कर दिया, जो यह दर्शाता है कि ज्यामितीय सिग्नल बिना सीखे गए प्रोजेक्टर्स के भी मजबूत है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि WARP केवल अपने वेट-स्पेस ज्योमेट्री से एक मॉडल के प्रशिक्षण वितरण को रिवर्स-इंजीनियर करने की व्यवहार्यता को प्रदर्शित करता है। यह दिखाकर कि एक बेस और फाइन-ट्यून्ड मॉडल के बीच का "पथ" प्रशिक्षण डेटा के वितरण संबंधी पदचिह्न को एनकोड करता है, यह कार्य निम्नलिखित के लिए एक नया उपकरण प्रदान करता है:

ऑडिटिंग (Auditing): डेटा कंटैमिनेशन का पता लगाना या मॉडल प्रशिक्षण की उत्पत्ति (provenance) को सत्यापित करना।
व्याख्यात्मकता (Interpretability): यह समझना कि मॉडल अपने प्रशिक्षण मिश्रण के आधार पर विशिष्ट व्यवहार क्यों प्रदर्शित करते हैं।
पारदर्शिता (Transparency): फ्रंटियर मॉडल विकास की अपारदर्शिता को संबोधित करना जहाँ वेट्स साझा किए जाते हैं लेकिन डेटा रेसिपी नहीं।

लेखक इस दृष्टिकोण पर जोर देते हैं कि यह डोमेन मिश्रण अनुकूलन के पारंपरिक 'फॉरवर्ड-ओनली' प्रतिमान को तोड़ता है, और एक व्यावहारिक तरीका प्रदान करता है जिससे तब भी मॉडल के "सामग्री" (ingredients) का अनुमान लगाया जा सकता है जब केवल "अंतिम व्यंजन" (वेट्स) ही उपलब्ध हो।