Counting Circuits: Mechanistic Interpretability of Visual Reasoning in Large Vision-Language Models
यह शोध पत्र प्रकट करता है कि लार्ज विजन-लैंग्वेज मॉडल्स दृश्य तर्क (विजुअल रीजनिंग) के लिए एक संरचित, मानव-समान "काउंटिंग सर्किट" का उपयोग करते हैं और यह प्रदर्शित करता है कि सिंथेटिक काउंटिंग डेटा पर लक्षित फाइन-ट्यूनिंग, गणना सटीकता और सामान्य दृश्य तर्क प्रदर्शन दोनों को महत्वपूर्ण रूप से बढ़ाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, अत्यंत बुद्धिमान रोबोट सहायक (एक लार्ज विजन-लैंग्वेज मॉडल, या LVLM) है जो किताबें पढ़ सकता है, कविताएं लिख सकता है और तस्वीरों का अद्भुत विस्तार से वर्णन कर सकता है। आप सोचेंगे कि वह टोकरी में सेबों की गिनती आसानी से कर लेगा, है ना?
आश्चर्यजनक रूप से, वह नहीं कर पाता। यहाँ तक कि पाँच काले बिंदुओं वाली एक साधारण तस्वीर दिखाने पर भी, यह रोबोट अक्सर "चार" या "छह" का अनुमान लगा लेता है। यह एक ऐसे जीनियस की तरह है जो एक सिम्फनी लिख सकता है लेकिन दस तक गिनने में ही खो जाता है।
यह शोध पत्र एक जासूसी कहानी है कि ऐसा क्यों होता है और शोधकर्ताओं ने रोबोट के मस्तिष्क के भीतर झाँककर इसे कैसे ठीक किया।
समस्या: रोबोट का "ब्रेन फॉग" (मस्तिष्क का धुंधलापन)
शोधकर्ताओं ने पाया कि ये AI मॉडल वास्तव में उस तरह से "गिनती" नहीं करते जैसे इंसान करते हैं।
- इंसान: हमारे पास सबिटाइजिंग (subitizing) नामक एक सुपरपावर है। यदि आप 1, 2, 3, या 4 बिंदु देखते हैं, तो हम बिना सोचे तुरंत संख्या जान जाते हैं। यदि 20 हैं, तो हम अनुमान लगाते हैं।
- AI: यह पैटर्न को याद करने की कोशिश करता है। यह तस्वीर को देखता है और जो कुछ उसने पहले देखा है उसके आधार पर अनुमान लगाता है, न कि वास्तव में एक-एक करके वस्तुओं को गिनता है। यह उस छात्र की तरह है जिसने गणित के टेस्ट के उत्तर रट लिए हैं लेकिन उसे जोड़ना नहीं आता।
जांच: मस्तिष्क को खोलना
इसे ठीक करने के लिए, शोधकर्ताओं ने AI के न्यूरल नेटवर्क (इसके मस्तिष्क) के अंदर देखने के लिए दो नए "सूक्ष्मदर्शी" (microscopes) का उपयोग किया:
- विजुअल एक्टिवेशन पैचिंग (द "स्वैप टेस्ट"): कल्पना कीजिए कि आपके पास बिंदुओं को गिनने वाला एक रोबोट है। शोधकर्ता 3 बिंदुओं वाली एक तस्वीर लेते हैं और बिंदुओं के लिए "ब्रेन सिग्नल" को 5 बिंदुओं वाली तस्वीर के साथ बदल देते हैं। यदि रोबोट अचानक अपना उत्तर "3" से बदलकर "5" कर देता है, तो उन्हें पता चल जाता है कि मस्तिष्क का कौन सा हिस्सा गिनती के लिए जिम्मेदार था।
- हेड लेंस (The "Translator"): AI का मस्तिष्क हजारों छोटे श्रमिकों (जिन्हें "अटेंशन हेड्स" कहा जाता है) से बना है। कुछ रंगों को देखते हैं, कुछ आकृतियों को, और कुछ शब्दों को। हेड लेंस एक ऐसा उपकरण है जो प्रत्येक छोटे श्रमिक की सोच को मानवीय भाषा में अनुवादित करता है।
खोज: "काउंटिंग सर्किट" (गिनती का सर्किट)
इन उपकरणों का उपयोग करते हुए, उन्होंने AI के मस्तिष्क के भीतर एक विशिष्ट असेंबली लाइन का पता लगाया जो गिनती के लिए समर्पित है। यह एक कारखाने की तरह चार चरणों में काम करती है:
- स्कैनर्स (प्रारंभिक परतें): ये श्रमिक तस्वीर को देखते हैं और कहते हैं, "मुझे यहाँ एक काला बिंदु दिख रहा है, और वहाँ एक और।" वे बस कच्चे दृश्य डेटा को पकड़ते हैं।
- अनुवादक (मध्यवर्ती परतें): ये श्रमिक दृश्य डेटा ("बिंदु, बिंदु, बिंदु") को एक अवधारणा ("तीन") में बदलते हैं। वे देखने और संख्या समझने के बीच के अंतर को पाटते हैं।
- लेखाकार (विलंबित परतें): ये श्रमिक सभी अनुवादित जानकारी को एकत्र करते हैं और उन्हें जोड़ते हैं। वे ही वास्तव में अंतिम संख्या तय करते हैं।
- प्रबंधक (विशेष हेड्स): ये श्रमिक जाँच करते हैं, "क्या वास्तव में गिनने के लिए कुछ है?" और "क्या यह तस्वीर गिनने के लिए बहुत कठिन है?"
बड़ी हैरानी: शोधकर्ताओं ने पाया कि यह "काउंटिंग सर्किट" केवल गिनती के लिए नहीं है। यह वही असेंबली लाइन है जिसका उपयोग AI गणित, तर्क और जटिल तर्क (reasoning) के लिए करता है। जब AI गिनती में भ्रमित होता है, तो इसका कारण यह होता है कि उसका पूरा तर्क करने वाला कारखाना जाम हो गया होता है।
समाधान: "काउंटिंग बूट कैंप"
AI को हर चीज़ में जीनियस बनाने की कोशिश करने के बजाय, शोधकर्ताओं ने निर्णय लिया कि वे उसे केवल गिनती के लिए एक विशेषीकृत बूट कैंप देंगे।
- प्रशिक्षण: उन्होंने सफेद पृष्ठभूमि पर काले बिंदुओं और रंगीन आकृतियों की हजारों सरल, उबाऊ तस्वीरें बनाईं।
- विधि: उन्होंने केवल AI को उत्तर रटने के लिए नहीं सिखाया। उन्होंने अपने "सूक्ष्मदर्शी" का उपयोग करके विशिष्ट श्रमिकों (स्कैनर्स, ट्रांसलेटर्स और अकाउंटेंट्स) को उनके काम को बेहतर ढंग से करने के लिए धीरे से प्रेरित किया। उन्होंने "स्कैनर्स" को बिंदुओं पर अधिक ध्यान केंद्रित करने के लिए और "अकाउंटेंट्स" को उनके योग में अधिक आत्मविश्वासी होने के लिए कहा।
परिणाम: एक लहर का प्रभाव (A Ripple Effect)
यही जादू वाला हिस्सा है: गिनती को ठीक करके, उन्होंने तर्क करने की क्षमता को भी ठीक कर दिया।
इस सरल "काउंटिंग बूट कैंप" के बाद, AI न केवल बिंदुओं को गिनने में बेहतर हुआ, बल्कि वह निम्नलिखित में भी बेहतर हो गया:
- गणित की समस्याओं को हल करना।
- वास्तविक दुनिया के बारे में जटिल प्रश्नों के उत्तर देना।
- कठिन दृश्य पहेलियों को समझना।
उपमा:
AI के मस्तिष्क को एक व्यस्त शहर की तरह समझें। "काउंटिंग सर्किट" उपनगरों को मुख्य व्यावसायिक जिले से जोड़ने वाला मुख्य राजमार्ग है।
- पहले: राजमार्ग पर गड्ढे थे (खराब गिनती)। यातायात (सूचना) फंस गया, जिससे मुख्य व्यावसायिक जिले (जटिल तर्क) को आपूर्ति नहीं मिल सकी।
- बाद में: शोधकर्ताओं ने केवल उस एक राजमार्ग के गड्ढों को ठीक किया (साधारण बिंदुओं पर प्रशिक्षण देकर)।
- परिणाम: न केवल गिनती के लिए यातायात बेहतर हुआ, बल्कि शहर का हर व्यवसाय बेहतर तरीके से काम करने लगा क्योंकि मुख्य आपूर्ति रेखा अंततः खुल गई थी।
निष्कर्ष
यह शोध पत्र हमें सिखाता है कि गिनती दृश्य बुद्धिमत्ता (visual intelligence) की नींव है। आप ऐसा AI नहीं बना सकते जो गिनती नहीं कर सकता। इन मॉडलों को सरल, कृत्रिम छवियों का उपयोग करके सही ढंग से गिनना सिखाकर, हम जटिल दुनिया के बारे में तार्किक रूप से सोचने की उनकी क्षमता को अनलॉक करते हैं। यह एक याद दिलाता है कि कभी-कभी, एक गगनचुंबी इमारत बनाने के लिए, आपको बस यह सुनिश्चित करने की आवश्यकता होती है कि उसकी नींव ठोस हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।