Global Diversity Is Not Enough: Two FixedMarginal Experiments on Local Language Allocation and Recombination in Synthetic Arithmetic Situation–Role Parsing

कल्पना कीजिए कि आप एक रोबोट को पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। आप केवल यह नहीं चाहते कि रोबोट सही उत्तर दे जाए; आप चाहते हैं कि वह यह समझे कि पहेली के हिस्से एक-दूसरे से कैसे जुड़ते हैं। यह शैक्षिक डेटा माइनिंग (Educational Data Mining) की दुनिया है, जहाँ वैज्ञानिक अध्ययन करते हैं कि जानकारी को व्यवस्थित करने का तरीका मशीनों (और कभी-कभी मनुष्यों) के सीखने को कैसे प्रभावित करता है।

इस अध्ययन को समझने के लिए, आपको दो सरल विचारों को जानने की आवश्यकता है। पहला, ग्लोबल डाइवर्सिटी (Global Diversity) एक विशाल पुस्तकालय की तरह है जिसमें हर भाषा में और हर विषय पर किताबें हैं। यह सुनने में बहुत अच्छा लगता है, लेकिन यदि "बेकिंग" (बनाने) से जुड़ी हर किताब केवल फ्रेंच में लिखी गई है और "बागवानी" से जुड़ी हर किताब केवल जर्मन में लिखी गई है, तो एक शिक्षार्थी भ्रमित हो सकता है यदि उसे जर्मन में बेकिंग की किताब दिखाई दे। वह सोच सकता है, "ओह, यह बागवानी के बारे में ही होगा!" दूसरा, कंपोजिशनल जनरलाइजेशन (Compositional Generalization) परिचित हिस्सों—जैसे कि शब्द "bake" और शब्द "cake"—को एक नए तरीके से मिलाने की क्षमता है ताकि एक बिल्कुल नए वाक्य को समझा जा सके, जैसे कि "bake a cake", भले ही आपने पहले कभी वह सटीक वाक्य न देखा हो।

यह क्यों मायने रखता है? क्योंकि वास्तविक दुनिया में, हम अक्सर यह मान लेते हैं कि यदि कोई डेटासेट सतह पर विविध दिखता है, तो वह सीखने के लिए अच्छा है। लेकिन यह शोध पत्र एक पेचीदा सवाल पूछता है: क्या यह मायने रखता है कि हम विविधता को कहाँ रखते हैं? यदि हम सामग्री को बेतरतीब ढंग से बिखेर देते हैं, तो क्या रोबोट बेहतर सीखता है, या वह केवल यह याद कर लेता है कि "बेकिंग" हमेशा "फ्रेंच" के बराबर है?

---

द ग्रेट लैंग्वेज शफल: एक रोबोट की कहानी

हमारे रोबोट छात्र से मिलिए। यह एक छोटा, अक्षर-दर-अक्षर सीखने वाला ("नैनो" ट्रांसफॉर्मर) है जिसने अब तक एक भी किताब नहीं पढ़ी है। इसका काम गणित करना नहीं है; इसका काम "सिचुएशन डिटेक्टिव" (स्थिति का पता लगाने वाला जासूस) का खेल खेलना है।

कल्पना कीजिए कि रोबोट को सेबों के बारे में एक कहानी दी जाती है।

• परिदृश्य A: "मिया के पास 10 सेब थे। उसने 4 दे दिए। अब उसके पास कितने हैं?"
• परिदृश्य B: "मिया के पास कुछ सेब थे। उसे 4 और मिले। अब उसके पास 10 हैं।"

रोबोट का काम कहानी को लेबल करना है: क्या यह एक जोड़ (Add) या घटाव (Subtract) की स्थिति है? और कौन सा हिस्सा शुरुआत (Start) है, बदलाव (Change) है, या परिणाम (Result) है? उसे उत्तर की गणना करने की आवश्यकता नहीं है (10 - 4 = 6); उसे बस सही संख्याओं की ओर इशारा करना है और सही भूमिकाओं को लेबल करना है।

शोधकर्ता यह देखना चाहते थे कि क्या रोबोट शब्दों के बदलने पर भी इन भूमिकाओं को पहचानना सीख सकता है। उन्होंने एक "फिक्स्ड-मार्जिनल" (fixed-marginal) डिज़ाइन का उपयोग करके एक विशाल प्रयोग आयोजित किया। इसे एक पार्टी के सख्त बजट की तरह समझें। आपके पास छह अलग-अलग मेजों (छह प्रकार की गणित की समस्याओं) के बीच वितरित करने के लिए ठीक 1,000 सेब, 1,000 संतरे और 1,000 केले हैं। हर परिदृश्य में फलों की कुल संख्या समान है; केवल यह बदलता है कि आप उन्हें मेजों पर कैसे व्यवस्थित करते हैं।

प्रयोग 1: "ऑल-इन-वन" बनाम "मिक्स-एंड-मैच" पार्टी

शोधकर्ताओं ने फल परोसने के दो मुख्य तरीके बनाए:

1. केंद्रित पार्टी (LC-SC): कल्पना कीजिए कि मेज 1 को केवल "सेब" वाली कहानियाँ "फ्रेंच" में मिलती हैं। मेज 2 को केवल "संतरे" वाली कहानियाँ "जर्मन" में मिलती हैं। रोबोट सीख जाता है कि "सेब" का मतलब हमेशा मेज 1 है। यह एक शॉर्टकट है। उसे कहानी समझने की ज़रूरत नहीं है; उसे बस फल पहचानने की ज़रूरत है।
2. वितरित पार्टी (LD-SD): अब, कल्पना कीजिए कि हम फलों को मिला देते हैं। मेज 1 को सेब, संतरे और केले मिलते हैं, जो विभिन्न भाषाओं के साथ मिश्रित हैं। मेज 2 में भी वही मिश्रण है। यहाँ, रोबोट फल देखकर धोखाधड़ी नहीं कर सकता; उसे यह पता लगाने के लिए वास्तव में कहानी पढ़नी होगी कि वह किस मेज पर है।

परिणाम:
जब रोबोट का परीक्षण एक नए संयोजन पर किया गया (एक ऐसा फल जिसे उसने पहले देखा था, लेकिन एक नई भाषा या एक नई मेज पर), तो अंतर बहुत बड़ा था।

• केंद्रित (Concentrated) सेटअप में, रोबोट बुरी तरह विफल रहा। जब उसने एक ऐसी मेज पर "सेब" की कहानी देखी जिसके लिए वह अभ्यस्त नहीं था, तो उसकी सटीकता गिरकर लगभग 48% (लगभग एक सिक्के के उछाल जैसा) हो गई। उसने एक कठोर शॉर्टकट सीख लिया था: "सेब = मेज 1।"
• वितरित (Distributed) सेटअप में, रोबोट बहुत आगे निकल गया। जब उसने उसी "सेब" की कहानी को एक नई मेज पर देखा, तो उसने इसे 95% बार सही पहचाना।

शोधकर्ताओं ने पाया कि केवल भाषा परिवारों को फैलाना (वितरित करना) रोबोट को शब्दों को नई स्थितियों में पुनर्व्यवस्थित करने में 0.484 (या 48.4 प्रतिशत अंक) बेहतर बनाता है। और भी आश्चर्यजनक रूप से, वाक्य संरचनाओं (syntax) को फैलाने से यह 0.929 (92.9 प्रतिशत अंक) बेहतर बनाता है!

यहाँ मुख्य सबक यह है कि ग्लोबल डाइवर्सिटी पर्याप्त नहीं है। आपके पास हर शब्द और वाक्य प्रकार से भरी लाइब्रेरी हो सकती है, लेकिन यदि आप गलती से हर "बेकिंग" शब्द को केवल "फ्रेंच" वाक्यों के साथ जोड़ देते हैं, तो रोबोट एक बुरी आदत सीख लेगा। वह विफल हो जाएगा जैसे ही आप उससे जर्मन में बेकिंग करने के लिए कहेंगे।

प्रयोग 2: "कनेक्टेड" बनाम "डिस्कनेक्टेड" मैप

तो, रोबोट ने शब्दों के मिलने पर बेहतर सीखा। लेकिन क्यों?

शोधकर्ताओं का एक सिद्धांत था: शायद रोबोट को एक "मैप" (मानचित्र) की आवश्यकता थी। मिश्रित पार्टी में, सभी शब्द एक बड़े, उलझे हुए जाल में जुड़े हुए थे। यदि आप "सेब" और "फ्रेंच" जानते हैं, तो आप अन्य शब्दों के माध्यम से "संतरा" और "जर्मन" तक का रास्ता खोज सकते हैं। केंद्रित पार्टी में, मैप टूटे हुए द्वीपों में विभाजित था।

इसकी जांच करने के लिए, उन्होंने दूसरा प्रयोग चलाया। उन्होंने रोबोटों के दो समूह बनाए।

• समूह A (डिस्कनेक्टेड): उन्होंने रोबोटों को दो अलग-अलग द्वीपों वाला एक मैप दिया। द्वीप 1 के शब्द आपस में जुड़े हुए थे, और द्वीप 2 के शब्द आपस में जुड़े हुए थे, लेकिन उनके बीच कोई पुल नहीं था।
• समूह B (कनेक्टेड): उन्होंने रोबोटों को एक ऐसा मैप दिया जहाँ सब कुछ एक बड़े लूप की तरह था, एक एकल जुड़ा हुआ पथ।

महत्वपूर्ण रूप से, उन्होंने यह सुनिश्चित किया कि दोनों समूहों ने बिल्कुल समान शब्द, उतनी ही बार देखे, और बिल्कुल समान "ब्रिज" टेस्ट प्रश्न (ऐसे प्रश्न जहाँ रोबro को दो ऐसे शब्दों को जोड़ना था जिन्हें उसने पहले कभी एक साथ नहीं देखा था) देखे।

परिणाम:
"कनेक्टेड" मैप ने मदद नहीं की।

• डिस्कनेक्टेड मैप वाले रोबोटों ने टेस्ट प्रश्नों को 91.5% बार सही हल किया।
• बड़े, कनेक्टेड लूप वाले रोबोटों ने उन्हें 90.7% बार सही हल किया।

अंतर बहुत कम और सांख्यिकीय रूप से अर्थहीन था (लग लगभग -0.007)। "कनेक्टेड" मैप ने रोबोट को कोई सुपरपावर नहीं दी।

इसका भविष्य के लिए क्या अर्थ है

यह शोध पत्र हमें सीखने के बारे में एक विशिष्ट, थोड़ा विपरीत तर्क वाला संदेश देता है।

1. केवल सामग्री को न गिनें; रेसिपी (विधि) की जाँच करें। एक विविध डेटासेट बेकार है यदि विविधता स्थानीय शॉर्टकट्स में छिपी हुई है। यदि एक छात्र (या रोबोट) सीख जाता है कि "प्रश्न A" हमेशा "कहानी प्रकार X" के साथ आता है, तो वह विफल हो जाएगा जब "प्रश्न A" "कहानी प्रकार Y" के साथ आएगा। शोधकर्ताओं ने दिखाया कि लोकल एलोकेशन (आप सामग्री को कैसे मिलाते हैं) ग्लोबल काउंट्स (आपके पास कुल कितने घटक हैं) की तुलना में कहीं अधिक महत्वपूर्ण है।

2. आपको नई संयोजनों को समझने के लिए एक आदर्श मैप की आवश्यकता नहीं है। यह विचार कि आपको नए संयोजनों को सीखने के लिए एक विशाल, पूरी तरह से जुड़े हुए वेब की आवश्यकता है, इस सिमुलेशन में गलत साबित हुआ। जब तक रोबोट पहेली के हर हिस्से को देखता है और देखता है कि वे कम से कम दो अलग-अलग पार्टनर्स के साथ जुड़े हुए हैं, तब तक वह नए संयोजनों को समझ सकता है। उसे एक एकल, विशाल, जुड़े हुए राजमार्ग की आवश्यकता नहीं है; उसे बस पर्याप्त स्थानीय चौराहे चाहिए।

इसलिए, यदि आप एक पाठ्यपुस्तक, एक प्रशिक्षण पाठ्यक्रम, या AI के लिए एक डेटासेट डिजाइन कर रहे हैं, तो केवल "विविधता" का लक्ष्य न रखें। सुनिश्चित करें कि आप अनजाने में अपने शिक्षार्थी को यह न सिखा रहे हैं कि "गणित समस्या प्रकार A" हमेशा "वाक्य शैली B" जैसा ही दिखेगा। इसे स्थानीय स्तर पर मिलाएं। और एक पूर्ण रूप से जुड़े हुए वेब के निर्माण की चिंता न करें; बस यह सुनिश्चित करें कि शिक्षार्थी खुद पुल बनाने के लिए टुकड़ों को कई अलग-अलग तरीकों से एक साथ देखता है।

शोधकर्ता सावधानीपूर्वक कहते हैं कि यह एक छोटे रोबोट और कृत्रिम गणितीय समस्याओं के साथ एक सिमुलेशन है। उन्होंने अभी तक वास्तविक बच्चों या वास्तविक कक्षाओं पर इसका परीक्षण नहीं किया है। लेकिन सबक स्पष्ट है: विविधता एक उपकरण है, जादू की छड़ी नहीं। आप उस उपकरण का उपयोग कैसे करते हैं, यह तय करता है कि आपका शिक्षार्थी एक लचीला विचारक बनेगा या एक कठोर रटने वाला।