On the Cultural Anachronism and Temporal Reasoning in Vision Language Models
यह शोध पत्र "सांस्कृतिक कालदोष" (cultural anachronism)—विज़न-लैंग्वेज मॉडल्स द्वारा ऐतिहासिक कलाकृतियों की समयानुसार अनुपयुक्त अवधारणाओं का उपयोग करके गलत व्याख्या करने की प्रवृत्ति—की पहचान और मात्रा निर्धारण करता है, जिसके लिए TAB-VLM बेंचमार्क पेश किया गया है, जो भारतीय सांस्कृतिक विरासत के बारे में तर्क करने के दौरान अत्याधुनिक मॉडल्स में महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक टाइम मशीन है जो किसी प्राचीन वस्तु को देख सकती है और उसकी कहानी बता सकती है। आप उम्मीद करेंगे कि यह एक आदर्श इतिहासकार होगा, है ना? खैर, यह शोध पत्र एक नए प्रकार की "टाइम मशीन" पेश करता है जिसे विजन-लैंग्वेज मॉडल (VLM) कहा जाता है और यह खोजता है कि हालांकि ये AI सिस्टम चीजों के आज के स्वरूप का वर्णन करने में बहुत अच्छे हैं, लेकिन वे अतीत में चीजें कब हुईं, इसे समझने में बहुत खराब हैं।
यहाँ इस शोध पत्र के निष्कर्षों का विवरण दिया गया है, जिसे सरल उपमाओं के माध्यम से समझाया गया है।
समस्या: "समय की यात्रा करने वाली अलमारी" (The Time-Traveling Wardrobe)
लेखक मुख्य समस्या को सांस्कृतिक कालभ्रम (Cultural Anachronism) कहते हैं।
इसे ऐसे समझें: कल्पना कीजिए कि आप एक गुफा मानव की फोटो देख रहे हैं जिसने पत्थर की कुल्हाड़ी पकड़ी हुई है। एक मानव इतिहासकार जानता है, "यह 10,000 साल पहले की पत्थर की कुल्हाड़ी है; उस समय धातु मौजूद नहीं थी।"
लेकिन इस अध्ययन में मौजूद AI एक भ्रमित समय-यात्री की तरह व्यवहार करता है जो अभी-अभी एक आधुनिक डिपार्टमेंट स्टोर से बाहर निकला हो। वह उस पत्थर की कुल्हाड़ी को देखकर कह सकता है, "ओह, यह एक हाई-टेक पॉलीमर कंपोजिट टूल है!" या "इसे 19वीं सदी की इंडस्ट्रियल लेथ मशीन का उपयोग करके बनाया गया था!"
AI समय काल को मिला रहा है। वह आधुनिक समय (या यहाँ तक कि 1800 के दशक) की अवधारणाओं, सामग्रियों और शैलियों को प्राचीन वस्तुओं पर चिपका रहा है। यह वैसा ही है जैसे किसी मध्यकालीन दावत में नियॉन एलईडी जैकेट पहनकर जाना; AI बस यह नहीं समझ पाता कि यह पहनावा उस युग के अनुकूल नहीं है।
परीक्षण: TAB-VLM ("इतिहास की प्रश्नोत्तरी")
इसे साबित करने के लिए, शोधकर्ताओं ने TAB-VLM नामक एक विशेष परीक्षण बनाया।
- सेटअप: उन्होंने भारतीय इतिहास की 1,600 वास्तविक कलाकृतियाँ एकत्र कीं, जिनमें प्रागैतिहासिक पत्थर के औजारों से लेकर आधुनिक वस्तुओं तक शामिल हैं।
- प्रश्न: उन्होंने 600 बहुविकल्पीय प्रश्न बनाए। केवल "यह क्या है?" पूछने के बजाय, उन्होंने पेचीदा समय-आधारित प्रश्न पूछे जैसे:
- "इन चार वस्तुओं को पुराने से नए के क्रम में रखें।"
- "इन चार में से कौन सी वस्तु इस समय काल की नहीं है?"
- "क्या यह प्राचीन सिक्का प्लास्टिक का बना हो सकता था?" (इसका उत्तर स्पष्ट रूप से 'नहीं' है, लेकिन AI कभी-कभी 'हाँ' कह देता है)।
परिणाम: AI वर्तमान में ही अटक गया
शोधकर्ताओं ने उपलब्ध 10 सबसे स्मार्ट AI मॉडलों (नवीनतम GPT संस्करणों और ओपन-सोर्स मॉडलों सहित) का परीक्षण किया। परिणाम आश्चर्यजनक रूप से खराब रहे।
- स्कोर: यहाँ तक कि "सबसे स्मार्ट" AI (GPT-5.2) भी केवल 58.7% उत्तर सही दे पाया। यह मुश्किल से हाई स्कूल की इतिहास की परीक्षा पास करने जैसा है।
- अंतर: AI सरल चीजों में बहुत अच्छा था, जैसे यह जानना कि प्राचीन काल में प्लास्टिक का अस्तित्व नहीं था (92% सटीकता)। लेकिन वह जटिल समय यात्रा में पूरी तरह विफल रहा।
- क्रमबद्धता की समस्या (The Ordering Problem): जब पूछा गया कि चार वस्तुओं को पुराने से नए के क्रम में लगाएं, तो सबसे अच्छे AI ने केवल 37% बार सही उत्तर दिया। यह एक बच्चे से ताश के पत्तों को तारीख के अनुसार छाँटने के लिए कहने जैसा है, और वह उन्हें बेतरतीब ढंग से मिलाता रहता है।
- "अलग दिखने वाली वस्तु" की समस्या (The "Odd One Out" Problem): जब उसे एक ऐसी वस्तु को पहचानने के लिए कहा गया जो अन्य वस्तुओं के युग से अलग है, तो AI शैली और सामग्री के सूक्ष्म अंतर देखने में संघर्ष कर गया।
ऐसा क्यों होता है?
शोध पत्र दो मुख्य कारणों का सुझाव देता है, जिसे "तथ्य बनाम संबंध" (Fact vs. Relationship) की उपमा से समझाया जा सकता है:
- याद करना बनाम तर्क करना (Memorization vs. Reasoning): AI तथ्यों को याद रखने में अच्छा है (जैसे, "प्लास्टिक = आधुनिक")। यह उस छात्र की तरह है जिसने शब्दकोश रट लिया है लेकिन उसे कहानी लिखना नहीं आता।
- संबंधों का अंतराल (The Relationship Gap): AI समय के माध्यम से कड़ियों को जोड़ने में बुरा है। वह चार अलग-अलग वस्तुओं को देख नहीं सकता और यह नहीं समझ सकता कि वे कालानुक्रमिक रूप से एक-दूसरे से कैसे संबंधित हैं। यह एक ऐसे जासूस की तरह है जो व्यक्तिगत सुरागों को तो पहचान सकता है लेकिन अपराध की समयरेखा (timeline) का पता नहीं लगा सकता।
शोधकर्ताओं ने पाया कि यह समस्या केवल इसलिए नहीं है क्योंकि AI "बहुत छोटा" है या "पर्याप्त स्मार्ट नहीं" है। यहाँ तक कि सबसे बड़े, सबसे महंगे मॉडल भी विफल रहे। ऐसा लगता है कि AI मौलिक रूप से "आज के" चित्रों और शब्दों पर प्रशिक्षित है, इसलिए उसे इतिहास के "कल" की कल्पना करने में कठिनाई होती है।
"पश्चिमी पूर्वाग्रह" का आश्चर्य
शोध पत्र ने एक छोटा सा साइड एक्सपेरिमेंट भी किया। उन्होंने पश्चिमी कलाकृतियों (जैसे ग्रीक मूर्तियां) बनाम भारतीय कलाकृतियों पर AI का परीक्षण किया।
- परिणाम: AI ने पश्चिमी वस्तुओं पर काफी बेहतर प्रदर्शन किया।
- उपमा: यह उस छात्र की तरह है जिसने अमेरिकी इतिहास की परीक्षा के लिए कड़ी मेहनत की है लेकिन भारतीय इतिहास की किताब को शायद ही खोला हो। चूंकि AI मुख्य रूप से पश्चिमी डेटा पर प्रशिक्षित है, इसलिए वह पश्चिमी इतिहास को बेहतर समझता है, लेकिन गैर-पश्चिमी संस्कृतियों को देखते समय भ्रमित हो जाता है।
निचोड़ (The Bottom Line)
यह शोध पत्र यह नहीं कह रहा है कि AI तस्वीरें नहीं देख सकता। यह कह रहा है कि AI वर्तमान में एक खराब इतिहासकार है।
यदि आप इन मॉडलों का उपयोग संग्रहालय या स्कूल में प्राचीन कलाकृतियों को समझाने के लिए करते हैं, तो वे अनजाने में छात्रों को यह सिखा सकते हैं कि प्राचीन लोगों ने आधुनिक सामग्रियों का उपयोग किया था या इतिहास की समयरेखा उलझी हुई है। लेखक निष्कर्ष निकालते हैं कि इससे पहले कि हम अपनी सांस्कृतिक विरासत के लिए AI पर भरोसा करें, हमें इसे समय के प्रवाह (flow of time) का सम्मान करना सिखाना होगा, न कि केवल पिक्सेल के प्रवाह का।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।