Iterative Erasure Count Is Not an Affine-Invariant Concept Dimension
यह शोध पत्र यह प्रदर्शित करता है कि अवधारणा आयामों (concept dimensions) का अनुमान लगाने के लिए उपयोग किए जाने वाले पुनरावृत्ति विलोपन गणना (iterative erasure counts) अफ़ाइन-अपरिवर्तनीय (affine-invariant) नहीं हैं और इस प्रकार वे तंत्रिका प्रतिनिधित्व (neural representation) के किसी अंतर्निहित अर्थ संबंधी गुण को दर्शाने के बजाय विशिष्ट मापन प्रक्रिया और प्रतिनिधित्व ज्यामिति पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
न्यूरल "डायरेक्शंस" को गिनने में छिपा हुआ जाल
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक सुपर-स्मार्ट रोबोट दुनिया को कैसे देखता है। आप सोच सकते हैं, "अगर मैं रोबोट से एक सवाल पूछ सकता हूँ और मुझे जवाब मिल जाता है, तो जानकारी उसके दिमाग के भीतर एक विशिष्ट दिशा (direction) में संग्रहीत होनी चाहिए।" वैज्ञानिकों ने इन दिशाओं को गिनने के लिए "इटरेटिव इरेज़र" (iterative erasure) नामक एक चतुर तकनीक विकसित की है। यह इस प्रकार काम करती है: आप उस दिशा को पाते हैं जिसका उपयोग रोबोट किसी प्रश्न का उत्तर देने के लिए करता है, फिर आप गणितीय रूप से उस दिशा को "मिटा" (erase) देते हैं और फिर से वही प्रश्न पूछते हैं। यदि रोबोट को अभी भी उत्तर पता है, तो आप एक और दिशा मिटा देते हैं। आप तब तक गिनती जारी रखते हैं जब तक कि रोबोट अंततः कहता है, "मुझे नहीं पता।" आपके द्वारा की गई मिटाने की संख्या को उस अवधारणा का वास्तविक "डायमेंशन" (dimension) माना जाता था—जैसे कि यह गिनना कि बैंगनी रंग की एक विशिष्ट शेड बनाने के लिए कितने अलग-अलग रंगों को मिलाया गया है।
लेकिन यहाँ एक पेंच है: क्या होगा अगर रोबोट का दिमाग एक निश्चित, कठोर डिब्बा नहीं, बल्कि एक खिंचने वाला, आकार बदलने वाला गुब्बारा है? यदि आप गुब्बारे को दबाते या खींचते हैं (जिसे गणितीय भाषा में "रीपैरामीट्राइजेशन" कहा जाता है), तो अंदर की दिशाएं अपने कोण और लंबाई बदल लेती हैं, भले ही रोबोट को ठीक वही बातें पता हों। यह पेपर आर्टिफिशियल इंटेलिजेंस के एक कोने में जाता है जिसे "रिप्रेजेंटेशन लर्निंग" (representation learning) कहा जाता है, जहाँ शोधकर्ता इस बात का अध्ययन करते हैं कि AI मॉडल सूचना को कैसे व्यवस्थित करते हैं। बड़ा सवाल यह है कि: जब हम यह गिनते हैं कि हमें किसी दिशा को कितनी बार मिटाना पड़ा ताकि AI किसी अवधारणा को भूल जाए, तो क्या हम एक वास्तविक, अपरिवर्तनीय विशेषता को गिन रहे हैं, या हम केवल यह गिन रहे हैं कि उस समय गुब्बारा किस तरह से फैला हुआ है?
महान खिंचने वाले गुब्बारे का प्रयोग
यह पेपर AI अवधारणाओं को मापने के लिए उपयोग की जाने वाली एक लोकप्रिय विधि से पर्दा उठाता है, जो एक आश्चर्यजनक और कुछ हद तक शरारती सच्चाई को उजागर करता है: आपको जो गिनती मिलती है वह पूरी तरह से इस पर निर्भर करती है कि आपने डेटा को कैसे खींचा है, न कि स्वयं अवधारणा पर।
लेखक, टिंगन जिन, शुहांग डोंग, हाओसोंग ली और चुंग-ह्सिएन चौ, तर्क देते हैं कि "इटरेटिव इरेज़र काउंट"—वह संख्या जिसे आपको किसी अवधारणा को भुलाने के लिए मिटाना पड़ता है—AI के ज्ञान का एक निश्चित, आंतरिक गुण नहीं है। इसके बजाय, यह एक "प्रोसीजर-रिलेटिव" (procedure-relative) संख्या है, जिसका अर्थ है कि यह उन विशिष्ट गणितीय उपकरणों और नियमों पर बदल जाती है जिनका उपयोग आप गिनती करने के लिए करते हैं।
इसे सिद्ध करने के लिए, उन्होंने एक गणितीय "लैब" बनाई जहाँ वे हर वेरिएबल को नियंत्रित कर सकते थे। उन्होंने एक ऐसी स्थिति बनाई जहाँ एक अवधारणा (जैसे कि एक सरल "हाँ/नहीं" सिग्नल) केवल एक छिपे हुए स्रोत द्वारा उत्पन्न की गई थी। वास्तविक दुनिया में, यह एक सिंगल लाइट स्विच की तरह है जो लैंप को चालू करता है। हालाँकि, इसके बाद उन्होंने डेटा पर एक गणितीय "शेयर" (एक तिरछा खिंचाव या shear) लागू किया, जिससे उस एकल स्विच को कुछ रैंडम शोर (noise) के साथ मिला दिया गया। भले ही वह अवधारणा अभी भी केवल एक स्रोत द्वारा उत्पन्न की जा रही थी, और AI को अभी भी केवल एक दिशा हटाकर "सुरक्षित" (भुलवाया) किया जा सकता था, फिर भी इरेज़र काउंटिंग गेम ने एक अलग उत्तर दिया।
जब उन्होंने एक मानक, सीधी रेखा (यूक्लिडियन) पद्धति का उपयोग किया:
- यदि डेटा पूरी तरह से सीधा था (कोई खिंचाव नहीं), तो काउंटर 1 पर रुक गया।
- यदि उन्होंने थोड़ा सा भी खिंचाव लगाया (एक शेयर फैक्टर केवल 0.5 या 2), तो काउंटर अचानक उछलकर 2 हो गया।
यह ऐसा है जैसे आपके पास एक सिंगल लाइट स्विच है, लेकिन यदि आप कमरे को एक झुके हुए कोण से देखते हैं, तो आपको अचानक लगता है कि लाइट बंद करने के लिए आपको दो अलग-अलग तारों को अनप्लग करने की आवश्यकता है। पेपर गणितीय रूप से सिद्ध करता है कि एक विशिष्ट प्रकार के AI प्रोब के लिए, काउंट केवल कोर्डिनेट सिस्टम को बदलकर 1 से 2 (या अधिक जटिल सेटअप में 2 से 4) तक उछल सकता है, भले ही अंतर्निहित "कॉन्सेप्ट डायमेंशन" कभी नहीं बदला।
असली रोबोटों के साथ "स्ट्रेस टेस्ट"
लेखकों ने केवल गणित तक ही सीमित नहीं रहे; उन्होंने इसे वीडियो और इमेज का विश्लेषण करने वाले वास्तविक, फ्रीज्ड AI मॉडल्स (विशेष रूप से V-JEPA2 और DINOv2) पर परखा। उन्होंने "हैंड-ऑब्जेक्ट कॉन्टैक्ट" (hand-object contact) नामक एक अवधारणा को देखा—मूल रूप से, क्या हाथ किसी वस्तु को छू रहा है?
उन्होंने AI के आंतरिक फीचर्स (उसके "दिमाग" की स्थिति) को लिया और उन पर विभिन्न गणितीय खिंचाव (जिन्हें "डेंस मैप्स" कहा जाता है) लागू किए। फिर उन्होंने इरेज़र काउंटिंग गेम को फिर से चलाया।
- परिणाम: जब उन्होंने एक मानक, बिना खिंचाव वाले दृश्य का उपयोग किया, तो AI को कॉन्टैक्ट को भुलाने के लिए कुछ संख्या में इरेज़र्स की आवश्यकता थी। लेकिन जब उन्होंने डेटा को खींचा (फैक्टर 2, 3, 5, या 10 का उपयोग करके), तो AI को "भूलने" के लिए आवश्यक इरेज़र्स की संख्या काफी बदल गई।
- प्रमाण: 4,000 सैंपल्स के एक प्रयोग में, एक मानक (आइडेंटिटी) सेटअप सभी 20 रन में 1 अपडेट के बाद रुक गया। लेकिन जब उन्होंने एक खिंचाव (शेयर 1) लागू किया, तो प्रत्येक 20 रन में से कम से कम 2 अपडेट स्वीकार किए गए, और कुछ तो 8 तक पहुँच गए।
यह दर्शाता है कि "काउंट" यह मापने का स्थिर पैमाना नहीं है कि अवधारणा में कितने "भौतिक चर" (physical variables) शामिल हैं। यह इस बात का माप है कि गणित डेटा के विशिष्ट आकार के साथ कैसे इंटरैक्ट करता है।
सिल्वर लाइनिंग: गिनने का एक नया तरीका
पेपर केवल यह नहीं कहता कि "यह तरीका टूटा हुआ है"; यह गणित को ठीक करने का एक तरीका भी बताता है, लेकिन केवल तभी जब आप सख्त नियमों का पालन करें। वे सिद्ध करते हैं कि यदि आप अपने "रूलर" (मेट्रिक) को खिंचाव के साथ ले जाते हैं, तो काउंट समान रहता है। इसे "एफाइन इक्विवेरिएंट" (affine equivariance) कहा जाता है।
इसे ऐसे समझें: यदि आप एक ड्राइंग वाले रबर शीट को खींचते हैं, तो ड्राइंग विकृत हो जाती है। यदि आप एक ऐसा रूलर उपयोग करते हैं जो रबर के साथ खिंचता भी है, तो आपके माप सटीक रहेंगे। यदि आप एक कठोर धातु का रूलर उपयोग करते हैं, तो आपके माप गलत होंगे। लेखक दिखाते हैं कि यदि आप "सही" रूलर (एक ट्रांसपोर्टेड मेट्रिक) का उपयोग करते हैं और सही चरणों का पालन करते हैं, तो काउंट स्थिर हो जाता है। हालाँकि, वे इस बात पर जोर देते हैं कि क्षेत्र में वर्तमान में उपयोग की जाने वाली लोकप्रिय विधियाँ अक्सर "कठोर धातु के रूलर" का उपयोग करती हैं, जिससे भ्रामक काउंट मिलते हैं।
यह आपके लिए क्या मायने रखता है
मुख्य बात उन लोगों के लिए एक चेतावनी है जो AI के विचारों के "डायमेंशन्स" को गिनने की कोशिश कर रहे हैं। यदि आप कोई ऐसा पेपर देखते हैं जिसमें दावा किया गया है कि एक अवधारणा "दर्जनों दिशाओं" का उपयोग करती है क्योंकि एक इरेज़र एल्गोरिदम ने उतनी गिनती की है, तो आपको संदेह करना चाहिए। वह संख्या केवल इस बात का परिणाम हो सकती है कि डेटा को कैसे खींचा गया था या एल्गोरिदम को कैसे सेट किया गया था।
लेखक निष्कर्ष निकालते हैं कि "इटरेटिव इरेज़र काउंट" AI के मन के बारे में कोई जादुई, को-ऑर्डिनेट-फ्री सत्य नहीं है। यह रिप्रजेंटेशन की ज्यामिति और पूर्ण मापन प्रक्रिया द्वारा संयुक्त रूप से निर्धारित परिणाम है। वास्तविक उत्तर पाने के लिए, आपको अपने नियम, अपना रूलर और अपना स्टॉपिंग पॉइंट पहले से घोषित करना होगा। उन प्रतिबद्धताओं के बिना, आपको जो संख्या मिलती है वह आपके अपने गणित का प्रतिबिंब है, न कि AI का रहस्य।
संक्षेप में: गिनती पर तब तक भरोसा न करें जब तक कि आप ठीक से न जानते हों कि गुब्बारे को कैसे खींचा गया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।