🤖 machine learning

The Geometry of Memorization: Finite-Time Spectral Sensitivity as a Diagnostic for Flow Matching Models

यह शोध पत्र फाइनाइट-टाइम स्पेक्ट्रल सेंसिटिविटी (FTSS) प्रस्तुत करता है, जो एक ग्रेडिएंट-मुक्त मीट्रिक है जो फ्लो मैचिंग मॉडल्स में स्टेट-ट्रांजिशन मैट्रिसेस के सिंगुलर वैल्यूज का विश्लेषण करके स्पेक्ट्रल कोलैप्स के माध्यम से जनरेटिव मेमोराइजेशन और ओवरफिटिंग का पता लगाता है, जिससे बाहरी डेटा या मेंबरशिप क्वेरीज़ की आवश्यकता समाप्त हो जाती है।

मूल लेखक: Shuchan Wang

प्रकाशित 2026-07-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuchan Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जादुई नदी को एक विशाल, अराजक महासागर (प्रारंभिक बिंदु) से एक विशिष्ट, शांत झील (अंतिम छवि) की ओर बहते हुए देख रहे हैं। AI आर्ट की दुनिया में, यह नदी एक "फ्लो मैचिंग" (Flow Matching) मॉडल है। सैद्धांतिक रूप से, आदर्श नदी को एक सीधी, सुचारू रेखा में बहना चाहिए। लेकिन वास्तव में, AI एक घुमावदार, टेढ़ा-मेढ़ा रास्ता बनाता है।

बड़ा सवाल यह है कि क्या AI वास्तव में नई तस्वीरें बनाना सीख रहा है, या यह केवल उन्हीं सटीक स्थानों को याद कर रहा है जहाँ उसने पहले तस्वीरें देखी थीं? इसे "मेमोराइजेशन" (याद करना) कहा जाता है, और यह एक चालाकी भरी समस्या है। आमतौर पर, AI को नकल करते हुए पकड़ने के लिए, आपको उसके आउटपुट की तुलना उसके प्रशिक्षण डेटा की एक विशाल सूची से करनी पड़ती है। लेकिन क्या होगा यदि आप सूची को देखे बिना, केवल नदी को देखकर ही बता सकें कि वह नकल कर रहा है?

यही वह बात है जिसे शुचन वांग का पेपर, The Geometry of Memorization, संभव बताता है।

जादुई पैमाना: FTSS

लेखक एक नया टूल पेश करते हैं जिसे फाइनाइट-टाइम स्पेक्ट्रल सेंसिटिविटी (Finite-Time Spectral Sensitivity), या संक्षेप में FTSS कहा जाता है। FTSS को एक विशेष, अदृश्य पैमाने के रूप में समझें जो यह मापता है कि नदी कितनी "सिकुड़ती" (squish) या "फैलती" (stretch) है।

सामान्यतः, एक स्वस्थ नदी समान रूप से फैलती है। लेकिन जब AI याद करना (memorize) शुरू करता है, तो वह हताश हो जाता है। वह चौड़ी, बहती हुई नदी को उन छोटे, विशिष्ट छेदों में जबरदस्ती दबाने की कोशिश करता है जहाँ उसकी प्रशिक्षण तस्वीरें छिपी होती हैं। इससे नदी ढह (collapse) जाती है।

पेपर दिखाता है कि जब यह पतन होता है, तो FTSS नंबर गिर जाता है। विशेष रूप से, लेखकों ने पाया कि बहुत कम डेटा पर प्रशिक्षित मॉडलों में (जहाँ मेमोराइजेशन की संभावना अधिक होती है), FTSS कर्व बहुत अधिक नीचे गिर जाता है। वे इस गिरावट को स्पेक्ट्रल कोलैप्स रेश्यो (Spectral Collapse Ratio) कहते हैं।

"सिकुड़ने" का सादृश्य (The "Squishy" Analogy)

कल्पना कीजिए कि आपके पास कपास की कैंडी (cotton candy) का एक विशाल, फूला हुआ बादल है।

एक सामान्यीकरण करने वाला मॉडल (अच्छा): जैसे-जैसे बादल फिनिश लाइन की ओर बढ़ता है, वह फूला हुआ और गोल रहता है। वह यहाँ-वहाँ थोड़ा खिंच सकता है, लेकिन वह अपना आयतन बनाए रखता है। FTSS पैमाना कहता है, "सब कुछ संतुलित दिख रहा है!"
एक मेमोराइजिंग मॉडल (बुरा): जैसे-जैसे यह बादल आगे बढ़ता है, यह एक दीवार के खिलाफ चपटा होकर दब जाता है। एक विशिष्ट लक्ष्य स्थान को हिट करने के लिए यह एक पतली, द्वि-आयामी (two-dimensional) पैनकेक में बदल जाता है। FTSS पैमाना चिल्लाता है, "ओह! बादल ढह गया है! इसने अपना 3D आकार खो दिया है!"

पेपर गणितीय रूप से सिद्ध करता है कि यह "सिकुड़ना" इस बात का संकेत है कि मॉडल ओवरफिटिंग कर रहा है—यानी, वह एक सुचारू प्रवाह सीखने के बजाय विशिष्ट बिंदुओं को हिट करने के लिए रास्ते को मजबूर कर रहा है।

यह एक बड़ी बात क्यों है (और क्या नहीं है)

लेखक इस बारे में बहुत स्पष्ट हैं कि वे क्या कर रहे हैं और क्या नहीं।

वे क्या खारिज करते हैं:
वे स्पष्ट रूप से मेमोराइजेशन की पुरानी पद्धति के खिलाफ तर्क देते हैं। पुराने तरीके में आपको AI के आउटपुट को लेना होता है और प्रशिक्षण डेटाबेस के विरुद्ध एक "नियरस्ट-नेबर सर्च" चलाना होता है। आपको पूछना पड़ता है, "क्या यह तस्वीर वैसी ही है जैसी वे 1,000 तस्वीरें AI ने देखी थीं?" लेखक कहते हैं कि यह धीमा है, इसके लिए गुप्त प्रशिक्षण डेटा तक पहुंच की आवश्यकता होती है, और यह अव्यवस्थित है। उनका नया तरीका, FTSS, इनमें से किसी की भी आवश्यकता नहीं रखता। यह "ग्रेडिएंट-फ्री" है, जिसका अर्थ है कि इसे नदी के हर एक ढलान की गणना करने के भारी गणित की आवश्यकता नहीं है। यह बस प्रवाह को देखता है।

वे कितने आश्वस्त हैं?
पेपर इसे सिमुलेशन और प्रयोगों पर आधारित एक डायग्नोस्टिक फ्रेमवर्क के रूप में प्रस्तुत करता है।

उन्होंने सेक्शन 3.1 में प्रदर्शन किया कि डेटा की कमी होने पर जनरेशन के अंतिम चरणों में स्पेक्ट्रल कोलैप्स लगातार होता है।
उन्होंने सेक्शन 3.2 में दिखाया कि उनका नया मीट्रिक, स्पेक्ट्रल कोलैप्स रेश्यो ( $M$ ), विभिन्न आर्किटेक्चर के ओवरफिटेड मॉडलों की सटीक पहचान करता है।
हालाँकि, वे इसे एक अनुभवजन्य लक्षण वर्णन (empirical characterization) के रूप में वर्णित करते हैं। वे कह रहे हैं, "हमारे परीक्षणों में, यह पैटर्न सच साबित हुआ," न कि यह दावा कर रहे हैं कि उन्होंने ब्रह्मांड के हर संभावित AI के लिए मेमोराइजेशन की समस्या को हमेशा के लिए हल कर दिया है।

"नो-बैकवर्ड्स" ट्रिक (The "No-Backwards" Trick)

इस पेपर का सबसे दिलचस्प हिस्सा यह है कि वे सिकुड़ने को कैसे मापते हैं। आमतौर पर, नदी के मुड़ने को मापने के लिए, आपको सिमुलेशन को उल्टा (backward) चलाना पड़ता है, जो बड़े AI मॉडलों (जैसे उच्च-रिज़ॉल्यूशन वाली छवियां बनाने वाले) के लिए बहुत धीमा और महंगा होता है।

लेखकों ने एक चतुर शॉर्टकट खोजा है। गणित को उल्टा चलाने के बजाय, वे एक "फॉरवर्ड-पास" ट्रिक का उपयोग करते हैं। वे एक विशिष्ट समय पर नदी का एक स्नैपशॉट लेते हैं, उसे एक छोटी सी छड़ी से धीरे से छूते हैं (एक छोटा सा रैंडम धक्का देते हैं), और देखते हैं कि नदी का अंत कितना हिलता है। अलग-अलग धक्कों के साथ इसे कई बार करके, वे भारी "बैकवर्ड पास" गणित किए बिना FTSS नंबर की गणना कर सकते हैं।

निचोड़ (The Bottom Line)

पेपर सुझाव देता है कि यदि आप AI के आंतरिक पथ के "सिकुड़ने" (squishiness) को देखते हैं, तो आप बता सकते हैं कि क्या वह मेमोराइजेशन करके नकल कर रहा है।

यदि पथ चौड़ा और स्थिर रहता है: तो मॉडल संभवतः सामान्यीकरण (generalizing) कर रहा है (नियम सीख रहा है)।
यदि पथ एक पतली रेखा में ढह जाता है: तो मॉडल संभवतः मेमोराइजिंग (नकल) कर रहा है।

यह हमें एक नया, आंतरिक "ज्यामितीय ऑडिट" देता है जिसके लिए प्रशिक्षण डेटा में झांकने की आवश्यकता नहीं है। यह AI नदियों के लिए एक झूठ पकड़ने वाले यंत्र (lie detector) की तरह है जो केवल पानी के बहाव को देखकर काम करता है।

तकनीकी सारांश: स्मृति का ज्यामिति (The Geometry of Memorization)

समस्या विवरण

निरंतर-समय जनरेटिव फ्रेमवर्क, जैसे कि फ्लो मैचिंग (Flow Matching), बेस और टारगेट डोमेन के बीच संभाव्यता पथों (probability paths) का निर्माण समय-निर्भर वेग क्षेत्रों (velocity fields) को अनुकूलित करके करते हैं। जबकि ऑप्टिमल ट्रांसपोर्ट थ्योरी वैश्विक इष्टतमता (global optimality) पर सीधी रेखा वाले प्रक्षेप पथों (straight-line trajectories) का सुझाव देती है, अनुभवजन्य रूप से प्रशिक्षित न्यूरल नेटवर्क अक्सर आर्किटेक्चर और डेटासेट की विशेषताओं से प्रभावित जटिल, गैर-रेखीय पथ विरूपण (non-linear path deformations) विकसित करते हैं।

इस क्षेत्र में एक महत्वपूर्ण चुनौती जनरेटिव मेमोराइजेशन (generative memorization) का निदान करना है, जहाँ उच्च-क्षमता वाले मॉडल निरंतर लेटेंट स्पेस को असतत प्रशिक्षण नमूनों (discrete training samples) पर कोलैप्स करके ओवरफिट हो जाते हैं। मौजूदा नैदानिक विधियाँ मुख्य रूप से बाह्य (extrinsic) और डेटा-निर्भर (data-dependent) हैं, जो प्रशिक्षण पूल के विरुद्ध पोस्ट-हॉक निकटतम-पड़ोसी खोज (nearest-neighbor searches) या मेंबरशिप इन्फरेंस हमलों पर निर्भर करती हैं। ये दृष्टिकोण प्रशिक्षण डेटा और बाहरी बेसलाइन तक पहुंच की आवश्यकता रखते हैं, जो उन ऑडिटिंग परिदृश्यों में उनकी उपयोगिता को सीमित करता है जहाँ डेटा गोपनीयता या उपलब्धता बाधित होती है। इसके अलावा, सटीक स्थानिक डेरिवेटिव (जैसे कि पूर्ण स्थानिक जैकोबियन का निर्माण) के माध्यम से इन मॉडलों की आंतरिक ज्यामिति को ट्रैक करना उच्च-आयामी इमेज मॉडल्स के लिए कम्प्यूटेशनल रूप से निषेधात्मक है, क्योंकि इसके लिए एम्बिएंट डायमेंशन $d$ के लिए $O(d)$ बैकवर्ड पासेस की आवश्यकता होती है।

कार्यप्रणाली: फाइनाइट-टाइम स्पेक्ट्रल सेंसिटिविटी (FTSS)

इन सीमाओं को संबोधित करने के लिए, यह शोध पत्र फाइनाइट-टाइम स्पेक्ट्रल सेंसिटिविटी (FTSS) पेश करता है, जिसे $g(t)$ द्वारा दर्शाया गया है। यह एक ग्रेडिएंट-मुक्त, फॉरवर्ड-पास मेट्रिक है जिसे स्टेट-ट्रांजिशन मैट्रिक्स के रूट-मीन-स्क्वायर (RMS) सिंगुलर मान को ट्रैक करके फ्लो मैचिंग मॉडल्स की ज्यामिति को उजागर करने के लिए डिज़ाइन किया गया है।

गणितीय आधार

FTSS को $d x_t / dt = v_\theta(x_t, t)$ नामक ODE द्वारा नियंत्रित प्रक्षेप पथ के साथ सूक्ष्म विक्षोभों (infinitesimal perturbations) $\delta_t$ के प्रसार के आधार पर परिभाषित किया गया है।

परिभाषा: $g(t)$ यूनिट स्फीयर $S^{d-1}$ पर आइसोट्रोपिक विक्षोभों (isotropic perturbations) पर फ्लो मैप $\phi_{t \to 1}$ के अपेक्षित दिशात्मक नॉर्म (expected directional norm) को मापता है।
स्पेक्ट्रल व्याख्या: प्रपोजिशन 2.2 स्थापित करता है कि $g(t)$ स्टेट-ट्रांजिशन मैट्रिक्स $\Phi(1, t; x_t)$ के RMS सिंगुलर मान के सीधे समकक्ष है। विशेष रूप से, $g(t)^2$ अपेक्षित मीन-स्क्वायर सिंगुलर मान का प्रतिनिधित्व करता है:
$g(t)^2 = \frac{1}{d} \mathbb{E}_{x_t} \left[ \sum_{i=1}^d \sigma_i^2(t; x_t) \right]$
डिटरमिनेंट्स पर लाभ: जैकोबियन डिटरमिनेंट के विपरीत, जो डायमेंशनल कोलैप्स को छिपा सकता है यदि एक अक्ष विस्तारित होता है जबकि दूसरा संकुचित होता है (जैसे, $\sigma_1 \to 0, \sigma_2 \to \infty$ ), FTSS स्पेक्ट्रम को योगात्मक रूप से एकत्रित करता है। यह सुनिश्चित करता है कि स्थानीय डायमेंशनल कोलैप्स आउटलायर एक्सपेंशन द्वारा ओझल न हो।
एन्ट्रॉपी बाउंड: शोध पत्र जनरेटेड टारगेट डिस्ट्रीब्यूशन के डिफरेंशियल एन्ट्रॉपी पर एक ऊपरी सीमा (upper bound) व्युत्पन्न करता है, यह दिखाते हुए कि ग्लोबल FTSS $g(0)$ में गिरावट जनरेटेड डिस्ट्रीब्यूशन की सूचना क्षमता (information capacity) को मौलिक रूप से प्रतिबंधित करती है।

कम्प्यूटेशनल कार्यान्वयन

घने जैकोबियन निर्माण की $O(d)$ लागत से बचने के लिए, लेखक एल्गोरिदम 1 प्रस्तावित करते हैं, जो एक समानांतर (parallelized), ग्रेडिएंट-मुक्त मोंटे कार्लो एस्टिमेटर है।

तंत्र: एल्गोरिदम कैश किए गए इंटरमीडिएट स्टेट्स में आइसोट्रोपिक विक्षोभ $\epsilon u$ इंजेक्ट करता है, उन्हें फॉरवर्ड-पास प्रक्षेप पथ सिमुलेशन के माध्यम से टर्मिनल टाइम तक प्रसारित करता है, और RMS गेन की गणना करता है।
जटिलता: इसकी लागत $O(K \cdot T \cdot \text{Cost}(\phi))$ है, जहाँ $K$ प्रक्षेप पथों की संख्या है और $T$ टाइम ग्रिड का आकार है। इसके लिए केवल फॉरवर्ड पास की आवश्यकता होती है, जिससे यह उच्च-आयामी मॉडल्स के लिए स्केलेबल बनता है।

प्रमुख योगदान

FTSS का औपचारिककरण: शोध पत्र $g(t)$ को एक अंतर्निहित ज्यामितीय अवलोकन (intrinsic geometric observable) के रूप में औपचारिक रूप देता है, जो स्टेट-ट्रांजिशन मैट्रिक्स के RMS सिंगुलर मान के इसके समकक्ष होने को सिद्ध करता है और इसे स्टेबल रैंक के निरंतर प्रॉक्सी के रूप में स्थापित करता है।
सैद्धांतिक सीमाएँ (Theoretical Bounds): अंकगणितीय-ज्यामितीय माध्य असमानता (arithmetic-geometric mean inequality) का उपयोग करते हुए, लेखक स्थानीय RMS सिंगुलर मान द्वारा पॉइंटवाइज एब्सोल्यूट जैकोबियन डिटरमिनेंट को बाउंड करते हैं। यह जनरेटेड डिस्ट्रीब्यूशन के डिफरेंशियल एन्ट्रॉपी के एक स्पष्ट ऊपरी बाउंड के प्रमाण की ओर ले जाता है (प्रपोजिशन 2.5)।
स्पेक्ट्रल कोलैप्स रेशियो ( $M$ ): लेखक एक मेट्रिक $M := g_{\min} / g_{\min}^{\text{full}}$ को परिभाषित करते हैं, जहाँ $g_{\min}$ प्रक्षेप पथ जनरेशन के दौरान न्यूनतम FTSS मान है। वे प्रदर्शित करते हैं कि यह अनुपात जनरलाइजेशन से मेमोराइजेशन के संक्रमण को दर्शाता है।
आंतरिक ज्यामितीय ऑडिट: शोध पत्र एक फ्रेमवर्क (एल्गोरिदम 2) प्रस्तावित करता है जो शुद्ध रूप से आंतरिक प्रक्षेप पथ गतिशीलता (internal trajectory dynamics) का उपयोग करके जनरेटिव मेमोराइजेशन का पता लगाता है। यह बाहरी मेंबरशिप क्वेरी या बेसलाइन डेटा तुलना की आवश्यकता को समाप्त करता है।

अनुभवजन्य परिणाम

शोध पत्र विभिन्न प्रशिक्षण डेटा आकारों, मॉडल आर्किटेक्चर और डेटासेट्स के बीच स्पेक्ट्रल कोलैप्स के अनुभवजन्य चरित्र चित्रण प्रस्तुत करता है।

स्पेक्ट्रल कोलैप्स घटना: कम-डेटा शासन (low-data regimes) में जहाँ मॉडल मेमोराइज करते हैं, FTSS कर्व प्रक्षेप पथ जनरेशन के अंतिम चरणों ( $t \to 1$ ) के दौरान एक विशिष्ट "स्पेक्ट्रल कोलैप्स" प्रदर्शित करता है। वेग क्षेत्र (velocity field) पथों के उच्च-आयामी प्रवाह को बिखरे हुए, असतत लक्ष्यों तक पहुँचने के लिए कम आयाम में "पिंच" (pinch) कर देता है।
नैदानिक सटीकता: स्पेक्ट्रल कोलैप्स रेशियो $M$ ओवरफिटेड निरंतर-समय मॉडल्स की सटीक पहचान करता है। सामान्यीकरण करने वाले मॉडल्स स्थिर प्रभावी आयाम (स्थिर $g(t)$ ) बनाए रखते हैं, जबकि ओवरफिटिंग के कारण $g_{\min}$ में महत्वपूर्ण गिरावट आती है, जिससे निम्न $M$ मान प्राप्त होता है।
स्केलेबिलिटी: विधि ने उन मॉडल्स का सफलतापूर्वक ऑडिट किया है जहाँ सटीक जैकोबियन-आधारित डायग्नोस्टिक्स कम्प्यूटेशनल रूप से अव्यवहार्य होते।

महत्व और दावे

शोध पत्र का दावा है कि FTSS जनरेटिव मेमोराइजेशन के लिए एक स्केलेबल, अंतर्निष्यित नैदानिक (intrinsic diagnostic) प्रदान करता है। बाह्य डेटा तुलना के बजाय आंतरिक ज्यामितीय गुणों पर ध्यान केंद्रित करके, यह फ्रेमवर्क प्रशिक्षण पूल तक पहुंच के बिना ओवरफिटिंग का पता लगाने की अनुमति देता है। लेखक तर्क देते हैं कि मेमोराइजेशन केवल एक सांख्यिकीय आर्टिफैक्ट नहीं है बल्कि ट्रांसपोर्ट मैप का एक संरचनात्मक रोग (structural pathology) है, जो फ्लो के स्पेक्ट्रल गुणों के कोलैप्स द्वारा पहचाना जाता है। यह दृष्टिकोण जनरेटिव मॉडल्स के ऑडिटिंग के लिए एक नया दृष्टिकोण प्रदान करता है, जो वेग क्षेत्र की ज्यामिति को सीधे जनरेटेड डिस्ट्रीब्यूशन की सूचना क्षमता और स्थिरता से जोड़ता है।