Bar-JEPA: Extracting Values from Bar Chart with Joint-Embedding Predictive Architecture

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास एकमात्र सुराग के रूप में केवल रंगीन चित्रों की एक श्रृंखला है। ये चित्र बार चार्ट (bar charts) हैं, वे चार्ट जो समाचार लेखों या स्कूल रिपोर्टों में देखे जाते हैं, जहाँ अलग-अलग ऊँचाई वाले बार संख्याओं की एक कहानी बताते हैं। मनुष्यों के लिए, इन्हें पढ़ना आसान है; हम बस एक बार की ऊँचाई देखते हैं और संख्या का अनुमान लगा लेते हैं। लेकिन एक कंप्यूटर के लिए, एक चार्ट पिक्सेल से बनी एक तस्वीर मात्र है। उसे यह नहीं पता कि एक लंबा नीला आयत "500 डॉलर" का अर्थ है या किनारे पर एक छोटा सा निशान "100" का। एक मशीन के लिए, डेटा उस कला के भीतर छिपा हुआ है।

यहीं पर "कंप्यूटर विज़न" नामक एक क्षेत्र आता है। यह विज्ञान की वह शाखा है जो कंप्यूटर को छवियों को "देखने" और समझने के लिए सिखाती है। आमतौर पर, कंप्यूटर को चार्ट पढ़ना सिखाने के लिए, आपको उसे हजारों ऐसे उदाहरण दिखाने होते हैं जहाँ किसी इंसान ने पहले से ही उनके उत्तर लिख दिए हों। यह एक शिक्षक के साथ बैठकर घंटों काम करने जैसा है, जो हर एक बार की ओर इशारा करता है और कहता है, "यह 50 है, यह 100 है।" लेकिन वास्तविक दुनिया में, सटीक उत्तर लिखे हुए हजारों चार्ट खोजना अविश्वसनीय रूप से कठिन और धीमा काम है। यह घास के ढेर में सुई खोजने जैसा है, सिवाय इसके कि वह ढेर कागज का बना है और सुइयाँ गायब हैं। यह शोध पत्र एक चतुर नए तरीके के बारे में बताता है जिससे कंप्यूटर को हर उदाहरण को लेबल करने के लिए पहले से किसी मानव शिक्षक की आवश्यकता के बिना चार्ट पढ़ना सिखाया जा सके।

इस अध्ययन के पीछे के शोधकर्ताओं, पूनम पूनम और उनकी टीम (जो जर्मनी के उल्म विश्वविद्यालय से हैं), ने "चार्ट डी-रेंडरिंग" (chart de-rendering) की समस्या को हल करना चाहा। यह एक फैंसी तरीका है यह कहने का कि "एक चार्ट की तस्वीर लें और उसे वापस उन कच्चे नंबरों में बदल दें जिनसे वह आया था।" उन्होंने देखा कि जबकि कंप्यूटर बिल्लियों या कारों को पहचानने में माहिर हैं, वे चार्ट की विशिष्ट ज्यामिति (geometry) के साथ संघर्ष करते हैं, खासकर जब चार्ट अलग-अलग आकार के हों या उनका बैकग्राउंड अव्यवस्थित हो।

इसे हल करने के लिए, उन्होंने JEPA (जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर) नामक एक विशेष प्रकार के AI आर्किटेक्चर का उपयोग किया। JEPA को एक ऐसे छात्र के रूप में न सोचें जो उत्तर रट लेता है, बल्कि एक जिज्ञासु खोजकर्ता के रूप में सोचें जो अनुमान लगाने वाला खेल खेलकर सीखता है। यह बताने के बजाय कि "यह बार 50 है," AI को एक चार्ट की तस्वीर दिखाई जाती है जिसका एक बड़ा हिस्सा ढका हुआ (मास्क किया हुआ) होता है। उसे दृश्य भागों के आधार पर यह अनुमान लगाना होता है कि छिपा हुआ भाग कैसा दिखता होगा। लाखों चार्टों के साथ इस खेल को बार-बार खेलकर, AI चार्ट के "नियमों" को सीख जाता है—कि बार, टिक मार्क्स के साथ कैसे संबंधित हैं, अक्ष (axes) कैसे खींचे जाते हैं, और एक "बार" गहरे, गणितीय अर्थ में वास्तव में क्या होता है। इसे "स्व-पर्यवेक्षित शिक्षण" (self-supervised learning) कहा जाता है क्योंकि कंप्यूटर उन पैटर्न का उपयोग करके खुद को सिखाता है जो उसे डेटा में मिलते हैं, न कि किसी मानव द्वारा उसे पाठ्यपुस्तक देने का इंतज़ार करता है।

टीम ने एक पाइपलाइन बनाई जिसे वे "Bar-JEPA" कहते हैं। सबसे पहले, उन्होंने इस AI खोजकर्ता को 100,000 कंप्यूटर-जनरेटेड बार चार्ट के विशाल पुस्तकालय पर प्रशिक्षित किया। उन्होंने केवल मानक छवियों का उपयोग नहीं किया; उन्होंने AI को विभिन्न आकारों और साइज़ के चार्टों को संभालने के लिए संशोधित किया, ताकि यदि चार्ट लंबा और पतला या छोटा और चौड़ा हो, तो वह भ्रमित न हो। एक बार जब AI ने चार्ट की "भाषा" सीख ली, तो उन्होंने इसके साथ एक सरल, हल्का "डिकोडर" जोड़ दिया। इस डिकोडर का काम AI की समझ को देखना और ठीक से बताना है कि बार और संख्याएँ कहाँ हैं।

परिणाम काफी उत्साहजनक थे। जब उन्होंने वास्तविक दुनिया के चार्टों (वे चार्ट जो आप समाचार पत्र में पाते हैं) पर अपने सिस्टम का परीक्षण किया, तो वह AI जिसने इस स्व-पर्यवेक्षित अनुमान लगाने वाले खेल के माध्यम से सीखा था, वह एक मानक AI की तुलना में बहुत बेहतर था जिसने इस तरह से प्रशिक्षण नहीं लिया था। वास्तव में, इस विशेष प्रशिक्षण के बिना, कंप्यूटर लगभग पूरी तरह से खो जाता, और कोई भी मान (value) खोजने में विफल रहता। JEPA प्रशिक्षण के साथ, यह बहुत अधिक सटीकता के साथ डेटा को पुनः प्राप्त कर सका। शोध पत्र सुझाव देता है कि यह विधि कंप्यूटर को चार्ट समझने के लिए एक मजबूत और कुशल तरीका है, खासकर जब आपके पास पहले से लेबल किया गया डेटा का बड़ा ढेर उपलब्ध न हो।

हालाँकि, लेखक सावधानी बरतते हुए यह दावा नहीं करते कि यह अंतिम, पूर्ण समाधान है। वे स्वीकार करते हैं कि उनका सिस्टम अभी भी थोड़ा सरल है; यह केवल वर्टिकल बार चार्ट पढ़ सकता है और स्टैक्ड बार (stacked bars) या 3D चार्ट जैसे अधिक जटिल प्रकारों के साथ संघर्ष करता है। यह अभी भी दुनिया का सबसे अच्छा सिस्टम भी नहीं है, लेकिन यह साबित करता है कि कंप्यूटर को पहले चार्ट की संरचना का "अनुमान" लगाना सिखाना एक शक्तिशाली तरकीब है। वे सुझाव देते हैं कि भविष्य में, इस स्मार्ट "खोजकर्ता" AI को और भी अधिक शक्तिशाली उपकरणों, जैसे बड़े भाषा मॉडल (large language models) के साथ जोड़ा जा सकता है, ताकि न केवल संख्याओं को पढ़ा जा सके बल्कि डेटा के बारे में प्रश्नों के उत्तर भी दिए जा सकें, जैसे "कौन सा बार सबसे बड़ा है?" या "कुल योग क्या है?" फिलहाल के लिए, Bar-JEPA हमें दिखाता है कि कभी-कभी, कंप्यूटर को देखने का सबसे अच्छा तरीका यह है कि उसे पहेली को खुद सुलझाने दिया जाए।