Thinking with Tables: Enhancing Multi-Modal Tabular Understanding via Neuro-Symbolic Reasoning
यह शोधपत्र थिंकिंग विद टेबल्स (TWT) को प्रस्तुत करता है, जो एक न्यूरो-सिम्बोलिक रीजनिंग फ्रेमवर्क है जो सारणीबद्ध डेटा (tabular data) में संरचनात्मक और निर्भरता संबंधी चुनौतियों को संबोधित करने के लिए प्रोग्राम-आधारित कोड का लाभ उठाता है, जो मल्टीमॉडल सारणीबद्ध समझ कार्यों में मौजूदा बेसलाइनों से काफी बेहतर प्रदर्शन करता है और प्रोप्रायटरी मॉडलों को टक्कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं एक जासूस के रूप में, लेकिन सुराग अलग-अलग जगहों पर बिखरे हुए हैं: एक धुंधली फोटो, एक बिखरा हुआ हस्तलिखित नोट, और एक स्प्रेडशीट जिसमें आधे नंबर गायब हैं।
अधिकांश वर्तमान AI जासूस (जिन्हें मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स कहा जाता है) नोट को पढ़ने और फोटो को देखने में माहिर हैं। लेकिन जब वे एक बिखरी हुई स्प्रेडशीट का सामना करते हैं, तो वे अक्सर भ्रमित हो जाते हैं। वे नंबरों का अनुमान लगा सकते हैं, छिपे हुए पैटर्न को मिस कर सकते हैं, या यह समझने में विफल हो सकते हैं कि केस सुलझाने के लिए फोटो और स्प्रेडशीट को आपस में जोड़ने की आवश्यकता है।
यह पेपर एक नए जासूस से परिचय कराता है जिसका नाम है TWT (Thinking with Tables - टेबल्स के साथ सोचना)। केवल "अनुमान लगाने" के बजाय, TWT कोड के साथ सोचना सीखता है।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. समस्या: "बिखरी हुई स्प्रेडशीट" की दुविधा
वास्तविक दुनिया में, डेटा परफेक्ट नहीं होता।
- आकार बदलने वाले (The Shape Shifters): टेबल हर तरह के आकार में आते हैं—कुछ मर्ज किए हुए हैं, कुछ कटे हुए हैं, कुछ बस पन्ने पर खींची गई रेखाएं हैं।
- गायब टुकड़े: महत्वपूर्ण नंबर धुंधले हो सकते हैं या पूरी तरह से गायब हो सकते हैं।
- छिपे हुए संबंध: कभी-कभी, उत्तर केवल एक सेल में नहीं होता; यह एक कुत्ते की फोटो और उसकी उम्र और नस्ल के बारे में डेटा की एक जटिल रिलेशनशिप होती है।
पुराने AI मॉडल उत्तर को याद करने या देखे गए पैटर्न के आधार पर अनुमान लगाने की कोशिश करते हैं। जब डेटा बिखरा हुआ होता है, तो वे विफल हो जाते हैं।
2. समाधान: "कोड-प्रेमी" जासूस
TWT केवल टेबल को देखता नहीं है; यह एक टूलबॉक्स खोलता है। यह एक विशेष विधि का उपयोग करता है जिसे न्यूरो-सिंबोलिक रीजनिंग (Neuro-Symbolic Reasoning) कहा जाता है।
इसे इस तरह सोचें:
- "न्यूरो" (Neuro) वाला हिस्सा AI का मस्तिष्क है। यह संदर्भ (Context) को समझने के लिए इमेज और टेक्स्ट को देखता है (जैसे, "यह एक कुत्ते की तस्वीर है, और सवाल इस बारे में है कि वह कितना लोकप्रिय है")।
- "सिंबोलिक" (Symbolic) वाला हिस्सा AI के हाथ हैं। गणित का अनुमान लगाने के बजाय, यह काम करने के लिए एक छोटा कंप्यूटर प्रोग्राम (कोड) लिखता है।
उपमा (Analogy):
कल्पना कीजिए कि आपको अलग-अलग कीमतों और टैक्स के साथ 500 वस्तुओं की कुल लागत की गणना करनी है।
- पुराना AI: मन में गणित करने की कोशिश करता है। वह थक जाता है, गलती करता है, और आपको गलत उत्तर देता है।
- TWT: कहता है, "मैं स्प्रेडशीट खोलने, नंबरों को जोड़ने और परिणाम बताने के लिए एक त्वरित स्क्रिप्ट लिखूंगा।" यह कोड को एक सुरक्षित, नियंत्रित कंप्यूटर कमरे (सैंडबॉक्स/Sandbox) में चलाता है और सटीक उत्तर प्राप्त करता है।
3. TWT कैसे सीखता है (दो-चरणीय प्रशिक्षण)
इस विशेषज्ञ जासूस बनने के लिए, TWT ने दो विशिष्ट प्रशिक्षण शिविरों (Training Camps) से गुजरना पड़ा:
चरण 1: इंटर्नशिप (सुपरवाइज्ड फाइन-ट्यूनिंग)
TWT को इन समस्याओं को हल करने के हजारों उदाहरण दिखाए गए। इसने विभिन्न प्रकार के मामलों के लिए "रेसिपी" सीखी। इसने सीखा कि "क्वेश्चन अनस्वर्सिंग" (प्रश्न पूछने वाले) मामले के लिए, इसे टेबल को खोजना होगा। इसने सीखा कि "प्रेडिक्शन" (भविष्यवाणी) के मामले के लिए, इसे एक मॉडल बनाना होगा। इसने कोड की भाषा बोलना सीखा ताकि यह डेटा फाइलों के साथ इंटरैक्ट कर सके।चरण 2: बूट कैंप (रीइन्फोर्समेंट लर्निंग)
केवल रेसिपी जानना काफी नहीं है; आपको इसे पूरी तरह से निष्पादित करना होगा। इस चरण में, TWT ने अपने आप समस्याओं को हल करने का अभ्यास किया।- यदि इसने ऐसा कोड लिखा जिससे एरर आया या गलत उत्तर मिला, तो इसे "खराब ग्रेड" मिला।
- यदि इसने ऐसा कोड लिखा जो सुचारू रूप से चला और सही उत्तर ढूंढ लिया, तो इसे "गोल्ड स्टार" मिला।
- समय के साथ, इसने साफ-सुथरा, अधिक स्थिर कोड लिखना और बिना घबराए बिखरे हुए डेटा को संभालना सीखा।
4. सुपरपावर: "सैंडबॉक्स" (The Sandbox)
TWT की सबसे कूल चीजों में से एक इसका सैंडबॉक्स है।
एक सुरक्षित, घेरे हुए खेल के मैदान की कल्पना करें जहाँ AI अपना कोड चला सकता है।
- यदि AI एक ऐसा प्रोग्राम लिखता है जो गलती से कंप्यूटर से सब कुछ डिलीट करने की कोशिश करता है, तो सैंडबॉक्स उसे तुरंत रोक देता है।
- यदि कोड में कोई बग (Bug) है, तो सैंडबॉक्स AI को बताता है कि क्या गलत हुआ ("एरर: आपने शून्य से भाग देने की कोशिश की!") और AI इसे ठीक कर सकता है और फिर से कोशिश कर सकता है।
- यह TWT को अधूरे डेटा को संभालने की अनुमति देता है। यदि कोई नंबर गायब है, तो कोड कह सकता है, "हे, यह गायब है, आइए इसे औसत (Average) से भर दें," बजाय इसके कि वह केवल अंधाधुंध अनुमान लगाए।
5. परिणाम: यह क्यों मायने रखता है
शोधकर्ताओं ने वित्तीय रिपोर्टों से लेकर यह भविष्यवाणी करने तक कि एक पालतू जानवर को कितनी जल्दी गोद लिया जाएगा, आठ अलग-अलग वास्तविक दुनिया की चुनौतियों पर TWT का परीक्षण किया।
- परिणाम: TWT ने लगभग हर अन्य AI मॉडल को हरा दिया, जिसमें कुछ बहुत महंगे, व्यावसायिक मॉडल भी शामिल थे।
- प्रभाव: इसने न केवल सही उत्तर प्राप्त किया; बल्कि यह अपना काम दिखाकर वहां तक पहुँचा। आप कोड देख सकते हैं जो इसने लिखा, जो कदम इसने उठाए, और जो तर्क इसने इस्तेमाल किया। यह इसे भरोसेमंद बनाता है।
सारांश
थिंकिंग विद टेबल्स (TWT) एक ऐसा AI है जो बिखरी हुई स्प्रेडशीट से उत्तर का "अनुमान" लगाने की कोशिश करना बंद कर देता है। इसके बजाय, यह स्प्रेडशीट को पढ़ने, उसके गायब हिस्सों को ठीक करने, गणित करने और परिणामों को छवियों के साथ जोड़ने के लिए एक प्रोग्राम लिखना सीखता है ताकि आपको सही उत्तर मिल सके। यह एक AI को केवल आंखों के बजाय कैलकुलेटर और पेचकस देने जैसा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।