BabyReasoningBench: Generating Developmentally-Inspired Reasoning Tasks for Evaluating Baby Language Models
यह शोध पत्र बेबीरीज़निंगबेंच (BabyReasoningBench) प्रस्तुत करता है, जो क्लासिक मनोविज्ञान प्रतिमानों से प्रेरित 19 रीजनिंग कार्यों वाला एक विकासात्मक रूप से आधारित बेंचमार्क है, जो यह प्रकट करता है कि बाल-निर्देशित भाषण (child-directed speech) पर प्रशिक्षित बेबी लैंग्वेज मॉडल्स में असमान तर्क क्षमताएं होती हैं जो कारण संबंधी (causal) और भौतिक कार्यों पर स्केलिंग के साथ तो सुधरती हैं, लेकिन विश्वास आरोपण (belief attribution) और व्यावहारिक अर्थ विज्ञान (pragmatics) में चुनौतियों का सामना करती रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक बच्चे का मस्तिष्क कैसे काम करता है। आमतौर पर, जब हम कंप्यूटर (AI) का परीक्षण करते हैं, तो हम उनसे वयस्कों के स्तर के प्रश्न पूछते हैं जैसे, "शेयर बाजार के बारे में एक कविता लिखें" या "इस जटिल कानूनी मामले को हल करें।" यह एक छोटे बच्चे को फॉर्मूला 1 कार चलाने की शिक्षा देने जैसा है; यदि वे दुर्घटनाग्रस्त हो जाते हैं, तो आपको यह नहीं पता चलेगा कि यह इसलिए हुआ क्योंकि वे सड़क को नहीं समझते थे, या केवल इसलिए क्योंकि कार उनके लिए बहुत बड़ी और तेज़ थी।
यह शोध पत्र "बेबी AI" मॉडल का परीक्षण करने का एक नया तरीका पेश करता है। लेखकों ने एक विशेष खेल का मैदान बनाया जिसे BABYREASONINGBENCH कहा जाता है।
यहाँ उन्होंने जो किया उसका विवरण दिया गया है, कुछ सरल उपमाओं का उपयोग करते हुए:
1. समस्या: गलत परीक्षण
मानक AI परीक्षणों को वयस्कों के लिए SAT परीक्षाओं के रूप में सोचें। वे यह मान लेते हैं कि टेस्ट देने वाले को बहुत सारे तथ्य पता हैं, वह लंबे, जटिल निर्देशों का पालन कर सकता है, और सामाजिक बारीकियों को समझता है।
- समस्या: "बेबी लैंग्वेज मॉडल्स" को ऐसे डेटा पर प्रशिक्षित किया गया है जो उस डेटा जैसा दिखता है जो एक मानव शिशु सुनता है: सरल कहानियाँ, देखभाल करने वालों की बातें और बुनियादी अवलोकन। उनके दिमाग में वयस्कों के तथ्यों का कोई पुस्तकालय नहीं है।
- परिणाम: यदि आप एक बेबी AI को SAT देते हैं, तो वह बुरी तरह विफल हो जाएगा, इसलिए नहीं कि वह सोच नहीं सकता, बल्कि इसलिए क्योंकि परीक्षण उन चीजों के बारे में पूछ रहा है जो उसे अभी तक सिखाई नहीं गई हैं। हमें एक ऐसे परीक्षण की आवश्यकता है जो बच्चे के "विकासात्मक चरण" से मेल खाता हो।
2. समाधान: "टॉडलर लॉजिक" का खेल का मैदान
लेखकों ने BABYREASONINGBENCH बनाया, जो रोबोटों के लिए विकासात्मक मनोविज्ञान प्रयोगशाला की तरह है। शेयर बाजार के बारे में पूछने के बजाय, उन्होंने मानव बच्चों पर किए गए क्लासिक प्रयोगों पर आधारित प्रश्न पूछे।
उन्होंने पहेलियों के 19 अलग-अलग प्रकार उत्पन्न करने के लिए एक सुपर-स्मार्ट AI (GPT-5.2) का उपयोग किया। ये पहेलियाँ इन चीजों का परीक्षण करती हैं जैसे:
- थ्योरी ऑफ माइंड (Theory of Mind): "सली ने एक गेंद टोकरी में रखी और चला गया। ऐन ने गेंद को बॉक्स में रख दिया। जब सली वापस आएगा तो वह गेंद को कहाँ देखेगा?" (क्या AI यह समझता है कि सली को नहीं पता कि गेंद हिल गई है?)
- कारण संबंधी तर्क (Causal Reasoning): "यदि मैं इस ब्लॉक को धक्का देता हूँ, तो यह गिर जाता है। यदि मैं इसे धक्का देता हूँ, तो यह नहीं गिरता। कौन सा भारी है?"
- सादृश्य (Analogies): "यदि एक चाबी दरवाजा खोलती है, तो एक चाबी ताले के साथ क्या करती है?"
3. प्रयोग: दो "बेबी" मस्तिष्क
उन्होंने दो विशिष्ट "बेबी" AI मॉडल्स का परीक्षण किया।
- बेबी A (10M मॉडल): इसे 'चाइल्ड-डायरेक्टेड स्पीच' (बच्चों से की जाने वाली बातचीत) के 10 मिलियन शब्दों पर प्रशिक्षित किया गया है। इसे एक ऐसे बच्चे के रूप में सोचें जिसने लगभग 10,000 बेडटाइम स्टोरीज सुनी हैं।
- बेबी B (100M मॉडल): इसे 100 मिलियन शब्दों पर प्रशिक्षित किया गया है। इसे एक थोड़े बड़े बच्चे के रूप में सोचें जिसने 100,000 कहानियाँ सुनी हैं।
4. परिणाम: यह जटिल है!
परिणाम आश्चर्यजनक थे और उन्होंने दिखाया कि बेबी AI की दुनिया में "बड़ा होना हमेशा बेहतर नहीं होता"।
- "भौतिक" जीत: जब सरल कारण-और-प्रभाव (जैसे "यदि मैं एक गेंद गिराता हूँ, तो वह गिर जाती है") की बात आई, तो बड़ा मॉडल (बेबी B) बहुत बेहतर हो गया। यह ऐसा था जैसे पुराने बच्चे ने आखिरकार गुरुत्वाकर्षण को समझ लिया हो।
- "सामाजिक" संघर्ष: जब विश्वासों (beliefs) या काल्पनिक खेल (pretend play) को समझने की बात आई (जैसे सली-ऐन टेस्ट), तो दोनों मॉडल संघर्ष करते रहे। वे असंगत थे। कभी वे सही होते थे, कभी वे विफल हो जाते थे, भले ही बड़े मॉडल के पास अधिक डेटा था।
- "ग्लिच" प्रभाव: कुछ पेचीदा तर्क पहेलियों में, छोटा मॉडल (बेबी A) वास्तव में बड़े वाले से बेहतर प्रदर्शन करता है! यह सुझाव देता है कि केवल अधिक डेटा जोड़ने से AI अपने आप स्मार्ट नहीं हो जाता; कभी-कभी, यह केवल उसे अधिक आत्मविश्वासी या अतिरिक्त शोर (noise) से भ्रमित बना देता है।
5. यह क्यों मायने रखता है
लेखक कह रहे हैं: "केवल अंतिम स्कोर न देखें।"
यदि आप केवल औसत ग्रेड देखते हैं, तो दोनों बच्चे ठीक लगते हैं। लेकिन यदि आप देखते हैं कि उन्होंने किन प्रश्नों को सही हल किया, तो आप एक स्पष्ट तस्वीर देख सकते हैं:
- वे भौतिकी (चीजों का गिरना, टूटना) में अच्छे हो रहे हैं।
- वे मनोविज्ञान (दूसरे लोग क्या सोच रहे हैं, या क्या "काल्पनिक" है) पर अभी भी डगमगा रहे हैं।
मुख्य निष्कर्ष
यह शोध पत्र AI के लिए एक ग्रोथ चार्ट की तरह है। केवल यह कहने के बजाय कि "यह AI स्मार्ट है" या "यह AI मूर्ख है," यह हमें यह देखने में मदद करता है कि किस प्रकार की सोच उभर रही है।
यह हमें बताता है कि यदि हम एक ऐसा AI बनाना चाहते हैं जो मानव बच्चे की तरह सीखता है, तो हम केवल उसे अधिक डेटा खिलाकर यह उम्मीद नहीं कर सकते कि वह जादुई रूप से एक वयस्क बन जाएगा। हमें तर्क के विशिष्ट चरणों को समझने की आवश्यकता है—जैसे यह समझना कि अन्य लोगों के विचार उनसे अलग होते हैं—और उन विशिष्ट चरणों की जाँच करने के लिए परीक्षण बनाने की आवश्यकता है।
संक्षेप में: उन्होंने यह देखने के लिए एक "बेबी टेस्ट" बनाया कि AI कैसे सोचना सीखता है, और उन्होंने पाया कि जबकि AI भौतिक दुनिया को समझने में बेहतर हो रहा है, वह सामाजिक दुनिया के बारे में अभी भी थोड़ा भ्रमित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।