iStructTab: Structured Feature Sequencing for Multimodal Learning of Image and Tabular Data

कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। आप उसे दो बहुत ही अलग प्रकार की जानकारी देते हैं: एक दृश्य की तस्वीर और उस दृश्य के बारे में तथ्यों से भरी एक स्प्रेडशीट। इसे "मल्टीमॉडल लर्निंग" (multimodal learning) कहा जाता है, और इसी तरह से कंप्यूटर इंसान की तरह देखने और सोचने की कोशिश करते हैं, यानी जो वे देखते हैं उसे जो वे जानते हैं उसके साथ जोड़ते हैं। लेकिन यहाँ एक पेचीदा बात है: तस्वीरों का एक स्वाभाविक क्रम होता है। आकाश आमतौर पर ऊपर होता है, ज़मीन नीचे होती है, और पेड़ों की शाखाओं के नीचे जड़ें होती हैं। कंप्यूटर को पता होता है कि उसे कहाँ देखना है। हालाँकि, स्प्रेडशीट की कहानी अलग है। तथ्यों की एक सूची—जैसे किसी व्यक्ति की आयु, उनका पसंदीदा रंग और उनके जूते का आकार—में कोई अंतर्निहित मानचित्र नहीं होता। कंप्यूटर को यह नहीं पता होता कि उसे पहले आयु देखनी चाहिए या जूते का आकार। लंबे समय तक, वैज्ञानिकों ने इन तथ्यों को उसी क्रम में कंप्यूटर में डाल दिया जैसा वे लिखे गए थे, इस उम्मीद में कि मशीन इसे समझ लेगी। लेकिन अक्सर, कंप्यूटर भ्रमित हो जाता था, महत्वपूर्ण सुरागों को मिला देता था और बड़ी तस्वीर को समझने में चूक जाता था।

यह शोध पत्र इस भ्रम को दूर करने के लिए एक सरल प्रश्न पूछता है: "क्या तथ्यों का क्रम मायने रखता है?" लेखक सुझाव देते हैं कि जिस तरह विषयों (genre) के आधार पर किताबों को शेल्फ पर व्यवस्थित करने से उन्हें ढूँढना आसान हो जाता है, उसी तरह डेटा कॉलम को इस आधार पर व्यवस्थित करना कि वे एक-दूसरे से कैसे संबंधित हैं, कंप्यूटर को बेहतर सीखने में मदद करता है। वे इन तथ्यों को कंप्यूटर के सीखने शुरू करने से पहले ही व्यवस्थित करने के लिए एक नई विधि प्रस्तावित करते हैं, जिससे सूचना के एक बिखरे हुए ढेर को एक व्यवस्थित, तार्किक कहानी में बदल दिया जाता है। ऐसा करके, वे एक स्मार्ट AI बनाने की उम्मीद करते हैं जो छवियों और डेटा को बिना शोर में खोए आपस में जोड़ सके।

---

मुख्य विचार: बिखरे हुए ढेर को व्यवस्थित करना

मिलिए iStructTab से, जो एक नया AI टूल है जिसे कंप्यूटर के लिए परम संगठक (ultimate organizer) बनने के लिए डिज़ाइन किया गया है, जो चित्रों और स्प्रेडशीट दोनों को देखता है। इस टूल के पीछे के शोधकर्ताओं ने महसूस किया कि जब आप इमेज डेटा (जैसे कार की फोटो) को टैबुलर डेटा (जैसे कार का वर्ष, रंग और माइलेज) के साथ मिलाते हैं, तो कंप्यूटर अक्सर अभिभूत (overwhelmed) हो जाता है। यह एक ऐसी किताब पढ़ने जैसा है जिसके पन्ने बेतरतीब ढंग से इधर-उधर बिखरे हुए हैं; आप मूल बात तो समझ सकते हैं, लेकिन आप कथानक (plot) को मिस कर सकते हैं।

मुख्य समस्या यह है कि स्प्रेडशीट "अव्यवस्थित" (unordered) होती हैं। कंप्यूटर पहले कॉलम और अंतिम कॉलम के साथ ऐसे व्यवहार करता है जैसे वे केवल यादृच्छिक पड़ोसी हों। लेकिन वास्तव में, कुछ तथ्य सबसे अच्छे दोस्त होते हैं, जबकि अन्य अजनबी। लेखक तर्क देते हैं कि यदि हम यह पता लगा सकें कि इन तथ्यों को कंप्यूटर के सामने प्रस्तुत करने का सबसे अच्छा क्रम क्या है, तो वह बहुत तेज़ी से सीखेगा और कम गलतियाँ करेगा।

जासूसी कार्य: GEDS

इसे हल करने के लिए, टीम ने एक चतुर सॉर्टिंग एल्गोरिदम बनाया जिसे GEDS (Graph-Enhanced Descriptor Sequencing) कहा जाता है। GEDS को बिखरे हुए सुरागों से भरे कमरे में प्रवेश करने वाले एक अत्यंत बुद्धिमान जासूस के रूप में सोचें।

1. सुराग इकट्ठा करना: सबसे पहले, GEDS डेटा के प्रत्येक कॉलम को देखता है। यह केवल नंबरों को नहीं पढ़ता; यह प्रत्येक के लिए एक "सांख्यिकीय फिंगरप्रिंट" (statistical fingerprint) की गणना करता है। यह पूछता है, "इस कॉलम में कितना बदलाव आता है? इसका औसत क्या है?"
2. मानचित्र बनाना: इसके बाद, यह कॉलम को जोड़ने वाला एक मानचित्र (ग्राफ) बनाता है। यदि दो कॉलम बहुत समान या संबंधित हैं, तो यह उनके बीच एक मजबूत रेखा खींचता है। यदि वे पूरी तरह से अलग हैं, तो रेखा कमजोर होती है।
3. महान फेरबदल (The Great Shuffle): इस मानचित्र का उपयोग करके, GEDS सही क्रम का पता लगाता है। यह कॉलम को इस तरह पुनर्व्यवस्थित करता है कि सबसे अधिक संबंधित तथ्य एक-दूसरे के बगल में बैठें, जिससे एक सहज, तार्किक प्रवाह बने। यह एक प्लेलिस्ट को व्यवस्थित करने जैसा है ताकि भारी मेटल से सीधे लोरी पर कूदने के बजाय, समान वाइब वाले गाने एक के बाद एक बजें।

शोध पत्र दिखाता है कि यह केवल एक अनुमान नहीं है; यह "कॉलम परम्यूटेशन प्रॉब्लम" (Column Permutation Problem) नामक एक जटिल पहेली का गणितीय समाधान है। हालाँकि, इन तथ्यों का सटीक क्रम खोजना कंप्यूटरों के लिए अविश्वसनीय रूप से कठिन है (इतना कठिन कि इसे "NP-hard" समस्या माना जाता है), GEDS एक बहुत अच्छा, व्यावहारिक समाधान खोजता है जो वास्तविक जीवन में अच्छी तरह काम करता है।

कक्षा: OEMT

एक बार जब GEDS डेटा को व्यवस्थित कर लेता है, तो वह व्यवस्थित सूची को सिस्टम के दूसरे भाग को सौंप देता है जिसे OEMT (Order-Aware Efficient Transformer with Memory Augmentation) कहा जाता है।

एक छात्र की कल्पना करें जो परीक्षा दे रहा है। यदि प्रश्न अस्त-व्यस्त हैं, तो छात्र भ्रमित हो सकता है। लेकिन यदि प्रश्न एक तार्किक क्रम में हैं, तो छात्र बिंदुओं को जोड़ने के लिए अपनी स्मृति का उपयोग कर सकता है। OEMT वही स्मार्ट छात्र है। इसके पास एक विशेष "मेमोरी टोकन" (memory token) है—एक छोटा सा स्टिकी नोट जिसे यह अपने मन में रखता है—ताकि यह पूरे डेटासेट के वैश्विक संदर्भ को याद रख सके। क्योंकि डेटा पहले से ही GEDS द्वारा व्यवस्थित है, छात्र अपना ध्यान छवि और तथ्यों के बीच गहरे संबंधों को सीखने पर केंद्रित कर सकता है, बजाय इसके कि वह क्रम को समझने में अपनी ऊर्जा बर्बाद करे।

इस सिस्टम को एक विशेष नियम के साथ प्रशिक्षित किया जाता है: यदि यह उस क्रम में डेटा सीखने की कोशिश करता है जो GEDS ने सुझाया था, तो इसे एक "दंड" (loss function) मिलता है। यह AI को संरचना का सम्मान करने और संबंधों को ठीक से सीखने के लिए मजबूर करता है।

परिणाम: स्मार्ट और तेज़

शोधकर्ताओं ने कार मॉडल और पालतू जानवरों को गोद लेने की गति से लेकर एक्स-रे और त्वचा की छवियों से चिकित्सा स्थितियों का निदान करने तक, छह अलग-अलग वास्तविक दुनिया के डेटासेट्स पर iStructTab का परीक्षण किया।

• बेहतर सटीकता: लगभग हर परीक्षण में, iStructTab ने पिछले सर्वश्रेष्ठ तरीकों को पीछे छोड़ दिया। उदाहरण के लिए, कार की छवियों और विशेषताओं के एक डेटासेट पर, इसने शीर्ष रैंकिंग हासिल की जो अन्य शीर्ष-स्तरीय मॉडलों की तुलना में काफी बेहतर थी। इसने केवल मामूली अंतर से जीत नहीं हासिल की; इसने लगातार लीडरबोर्ड में सबसे ऊपर स्थान बनाया।
• शोर (Noise) को संभालना: वास्तविक दुनिया का डेटा अव्यवस्थित होता है। कभी-कभी लेबल गलत होते हैं (जैसे कुत्ते की फोटो को बिल्ली लेबल किया जाना)। शोध पत्र दिखाता है कि iStruct-Tab इस तरह के शोर के प्रति बहुत मजबूत है। यहाँ तक कि जब 60% लेबल गलत थे, तब भी इसने अन्य तरीकों से बेहतर प्रदर्शन किया, जो यह दर्शाता है कि इसने केवल गलतियों को याद करने के बजाय वास्तविक पैटर्न को सीखा।
• दक्षता (Efficiency): आप सोच सकते हैं कि डेटा को सॉर्ट करने और एक फैंसी ट्रांसफार्मर का उपयोग करने से कंप्यूटर धीमा हो जाएगा। आश्चर्यजनक रूप रूप से, iStructTab वास्तव में बहुत कुशल है। यह अपने कई प्रतिस्पर्धियों की तुलना में कम कंप्यूटिंग संसाधनों (जैसे ऊर्जा और मेमोरी) का उपयोग करता है और फिर भी बेहतर परिणाम प्राप्त करता है। यह एक ऐसी तेज़ कार पाने जैसा है जो कम पेट्रोल का उपयोग भी करती है।

इसका क्या अर्थ है

शोध पत्र सुझाव देता है कि हम AI को डेटा कैसे खिलाते हैं, यह उतना ही महत्वपूर्ण है जितना कि स्वयं AI। डेटा कॉलम के क्रम को एक समाधान योग्य पहेली के रूप में मानकर, लेखकों ने दिखाया है कि हम ऐसे मॉडल बना सकते हैं जो अधिक सटीक, त्रुटियों के प्रति अधिक मजबूत और अधिक कुशल हैं।

उन्होंने केवल यह नहीं कहा, "क्रम मायने रखता है।" उन्होंने एक ऐसा टूल बनाया है जो स्वचालित रूप से क्रम का पता लगाता है और सिद्ध करता है कि यह चिकित्सा इमेजिंग से लेकर पालतू जानवरों को गोद लेने तक विभिन्न प्रकार की समस्याओं में काम करता है। हालाँकि यह शोध पत्र यह दावा नहीं करता है कि इसने AI की हर समस्या को हल कर लिया है, लेकिन यह दृढ़ता से संकेत देता है कि हमारे डेटा की संरचना को अनदेखा करना एक ऐसी गलती है जिसे हम अब और नज़रअंदाज़ नहीं कर सकते। iStructTab जैसे उपकरणों के साथ, हम एक ऐसे AI के करीब हैं जो वास्तव में हमारी तस्वीरों और स्प्रेडशीट में छिपी जटिल कहानियों को समझ सकता है।