Scale Can't Overcome Pragmatics: The Impact of Reporting Bias on Vision-Language Reasoning
यह शोध पत्र तर्क देता है कि विजन-लैंग्वेज मॉडल्स की तर्क करने की सीमाएं प्रशिक्षण डेटा में मौजूद एक रिपोर्टिंग बायस (reporting bias) से उत्पन्न होती हैं जो अंतर्निहित सूचनाओं को छोड़ देता है, यह प्रदर्शित करते हुए कि केवल मॉडल या डेटा के आकार को बढ़ाना इस समस्या को दूर नहीं कर सकता और सुधार के लिए ऐसे विवरणों को कैप्चर करने वाले एनोटेशन का जानबूझकर क्यूरेशन करना आवश्यक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Scale Can't Overcome Pragmatics" पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों में तोड़ा गया है।
मुख्य विचार: "आलसी वर्णनकर्ता" (Lazy Describer) की समस्या
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझने के लिए सिखाने की कोशिश कर रहे हैं, और उसके लिए आप उसे लाखों तस्वीरें और उनके साथ लिखे गए कैप्शन (विवरण) दिखा रहे हैं। आप सोच सकते हैं, "अगर मैं रोबोट को पर्याप्त तस्वीरें दिखा दूँ, तो वह अंततः सब कुछ समझ जाएगा।"
यह पेपर तर्क देता है कि केवल मात्रा (Quantity) पर्याप्त नहीं है। भले ही आप रोबोट को एक अरब तस्वीरें दे दें, फिर भी वह कुछ विशिष्ट कार्यों (जैसे गिनती करना, स्थान को समझना, या यह जानना कि क्या नहीं हुआ) में खराब रहेगा।
क्यों? क्योंकि यह रिपोर्टिंग बायस (Reporting Bias) के कारण है।
इसे इस तरह समझें: जब इंसान किसी फोटो का वर्णन करते हैं, तो हम स्वाभाविक रूप से "आलसी" या "कुशल" होते हैं। हम केवल वही कहते हैं जो बात समझाने के लिए आवश्यक है। हम आमतौर पर यह नहीं कहते, "मैदान के पीछे ठीक 17 लोग खड़े हैं," जब तक कि वह कोई क्राइम सीन न हो। हम बस कहते हैं, "आज एक खेल है!"
रोबोट इन "आलसी" विवरणों से सीखता है। इसलिए, वह कभी यह नहीं सीख पाता कि "17 लोग" एक विशिष्ट तथ्य है, या "पीछे" एक विशिष्ट स्थानिक संबंध (spatial relationship) है। वह केवल उस 'अहसास' (vibe) को सीख जाता है।
चार कौशल जो रोबोट चूक गया
शोधकर्ताओं ने पाया कि मानव कैप्शन स्वाभाविक रूप से चार विशिष्ट प्रकार की सोच को छोड़ देते हैं:
- गिनती (Counting): हम शायद ही कभी "तीन कुत्ते" कहते हैं। हम कहते हैं "कुत्तों का एक झुंड।" रोबोट कभी गिनती नहीं सीख पाता क्योंकि उससे शायद ही कभी ऐसा करने को कहा जाता है।
- स्थानिक तर्क (Spatial Reasoning): हम शायद ही कभी कहते हैं कि "कप प्लेट के बाईं ओर है।" हम बस कहते हैं "एक कप और एक प्लेट।" रोबोट बाएं और दाएं के बीच का अंतर नहीं सीख पाता।
- नकार (Negation): हम शायद ही कभी कहते हैं कि "इस तस्वीर में कोई तोता नहीं है।" हम बस उस चीज़ का वर्णन करते हैं जो वहाँ मौजूद है। रोबroट यह समझने में संघर्ष करता है कि क्या अनुपस्थित है।
- समय (Time): हम शायद ही कभी कहते हैं "गेंद फेंकने के बाद गिरेगी।" हम बस वर्तमान क्षण का वर्णन करते हैं। रोबोट कारण और प्रभाव (cause and effect) को लेकर भ्रमित हो जाता है।
"अधिक डेटा" का मिथक (Scaling)
लंबे समय से, AI शोधकर्ता "स्केलिंग लॉ" (Scaling Law) में विश्वास करते रहे हैं: यदि आप मॉडल को बड़ा बना दें और उसे अधिक डेटा खिलाएं, तो वह जादुई रूप से बुद्धिमान हो जाएगा।
यह पेपर कहता है: नहीं।
- उपमा (Analogy): कल्पना कीजिए कि आप एक छात्र को गणित की समस्या हल करना सिखाने की कोशिश कर रहे हैं, लेकिन आप उसे केवल ऐसी किताबें दे रहे हैं जिनमें लिखा है "उत्तर 42 है" बिना यह दिखाए कि वहां तक कैसे पहुँचा गया।
- परिणाम: यदि आप उस छात्र को 1,000 किताबें दे भी दें, तो भी वह यह नहीं जान पाएगा कि 42 तक कैसे पहुँचना है। वह बस उत्तर को रट लेगा।
- निष्कर्ष: शोधकर्ताओं ने AI को अधिक डेटा, बड़े मॉडल और यहाँ तक कि विभिन्न भाषाओं में डेटा देकर भी आज़माया। AI चीजों को पहचानने (जैसे "क्या यह बिल्ली है?") में थोड़ा बेहतर हुआ, लेकिन वह तर्क करने (Reasoning) (जैसे "कितनी बिल्लियाँ?") में बेहतर नहीं हुआ। इंसानों द्वारा लिखने का "आलसी" तरीका नहीं बदला, भले ही डेटासेट बड़ा हो गया था।
समाधान: निर्देशों को बदलना
यदि समस्या यह है कि इंसान बहुत विस्तृत विवरण लिखने में "आलसी" हैं, तो समाधान उन्हें "आलसी होना बंद करने" के लिए कहना है।
शोधकर्ताओं ने एक प्रयोग किया जहाँ उन्होंने मानव लेबलर्स (annotators) को विशिष्ट निर्देश दिए, जैसे:
- "कृपया इस तस्वीर में कितनी वस्तुएं हैं, उनकी सटीक गिनती करें।"
- "वस्तुएं एक-दूसरे के सापेक्ष ठीक कहाँ स्थित हैं, इसका वर्णन करें।"
- "तस्वीर में क्या नहीं है, उसका उल्लेख करें।"
परिणाम:
जब लोगों को स्पष्ट रूप से ये विवरण शामिल करने के लिए कहा गया, तो "तर्क करने वाले" (reasoning) कैप्शन की संख्या तेजी से बढ़ी।
- बिना निर्देशों के: केवल 2% कैप्शन में गिनती का विवरण था।
- निर्देशों के साथ: 39% कैप्शन में गिनती का विवरण था।
जब उन्होंने इस नए, "इरादतन" (intentional) डेटा को AI को सिखाया, तो AI तर्क करने में बहुत बेहतर हो गया।
"सिंथेटिक" जाल (The "Synthetic" Trap)
पेपर में एक दिलचस्प मोड़ भी मिला: यहाँ तक कि जब AI (जैसे GPT-4) अन्य AI के लिए कैप्शन लिखता है, तो वह उन्हीं बुरी आदतों को कॉपी करता है! चूंकि AI को मानव टेक्स्ट पर प्रशिक्षित किया गया था, इसलिए उसने भी वही "आलसी" व्यवहार सीखा और विवरणों को छोड़ दिया। इसलिए, केवल अधिक डेटा बनाने के लिए AI का उपयोग करना समस्या का समाधान नहीं करता, जब तक कि आप AI को बहुत सख्त निर्देश न दें।
निष्कर्ष (The Takeaway)
आप केवल "स्केल" करके बुद्धिमत्ता प्राप्त नहीं कर सकते।
यदि आप चाहते हैं कि AI तर्क करने में अच्छा हो, तो आप केवल उस पर अधिक डेटा नहीं थोप सकते। आपको "इरादतन" (Intentional) होना होगा। आपको अपने डेटा को सावधानीपूर्वक तैयार करना होगा और उन लोगों (या अन्य AI) को स्पष्ट रूप से बताना होगा कि कौन से विवरण शामिल करने हैं।
संक्षेप में: रोबोट को केवल "एक खेल" की अरबों तस्वीरें मत खिलाइए। रोबोट को बताइए, "इस फोटो को देखो, खिलाड़ियों को गिनो, बताओ कि बाईं ओर कौन है, और बताओ कि कौन गायब है।" इसी तरह आप उसे सोचना सिखाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।