Project Auto-World: Towards Automated Benchmarking of Neural Relational Reasoners
यह शोध पत्र एक ऐसे स्वचालित ढांचे का प्रस्ताव करता है जो बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) का लाभ उठाकर तेजी से चुनौतीपूर्ण संबंधात्मक तर्क बेंचमार्क उत्पन्न करता है, जिससे एज ट्रांसफॉर्मर जैसे न्यूरल मॉडलों की मूल्यांकन और सामान्यीकरण क्षमताओं में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक पारिवारिक रहस्य सुलझाना सिखाने की कोशिश कर रहे हैं। आप उसे कुछ सरल कहानियाँ दिखाते हैं: "बॉब, एलिस के पिता हैं," और "एलिस, चार्ली की बहन है।" रोबोट यह निष्कर्ष निकालना सीख जाता है कि "बॉब, चार्ली के चाचा हैं।"
अब तक, सब ठीक चल रहा है। लेकिन क्या होगा जब आप रोबोट को एक बहुत कठिन कहानी दें? एक ऐसी कहानी जहाँ उत्तर केवल A से B तक की एक सीधी रेखा नहीं है, बल्कि जिसमें छिपे हुए लूपों से गुजरना, भटकाने वाली सूचनाओं (red herrings) को अनदेखा करना और उन बिंदुओं को जोड़ना शामिल है जो आपस में जुड़े हुए भी नहीं लगते।
यह शोध पत्र, जिसका शीर्षक "प्रोजेक्ट ऑटो-वर्ल्ड" (Project Auto-World) है, ऐसे "सुपर-हार्ड" रहस्य वाले किस्से स्वचालित रूप से बनाने के बारे में है ताकि यह परीक्षण किया जा सके कि हमारे AI रोबोट वास्तव में बुद्धिमान हैं या केवल पैटर्न याद कर रहे हैं।
इसे उन्होंने कैसे किया, इसका विवरण यहाँ दिया गया है, जिसमें रोजमर्रा के उपमाओं का उपयोग किया गया है:
1. समस्या: कठिनाई का "अंधा बिंदु" (The "Blind Spot" of Difficulty)
वर्तमान में, जब शोधकर्ता AI का परीक्षण करते हैं, तो वे समस्याओं को कठिन बनाने के लिए उनमें अधिक चरण जोड़ते हैं (जैसे कि फैमिली ट्री को गहरा बनाना)। लेकिन लेखकों ने महसूस किया कि यह एक ड्राइवर का केवल सीधे रास्तों पर परीक्षण करने जैसा है। सिर्फ इसलिए कि एक कार लंबे सीधे रास्ते को संभाल सकती है, इसका मतलब यह नहीं है कि वह एक पेचीदा गोल चक्कर या अचानक आए मोड़ को भी संभाल सकती है।
समस्या यह है: हमें वास्तव में यह नहीं पता कि एक AI के लिए तर्क संबंधी पहेली (logic puzzle) को क्या कठिन बनाता है। हमारे पास कुछ अनुमान हैं (जैसे "इसमें बहुत अधिक चरण हैं"), लेकिन हो सकता है कि AI किसी पूरी तरह से अलग कारण से विफल हो रहा हो जिसके बारे में हमने सोचा भी न हो।
2. समाधान: "दुष्ट शिक्षक" (The "Evil Tutor" - LLMs)
इसे ठीक करने के लिए, लेखकों ने लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग किया—वही तरह के AI जो कविताएँ और कोड लिखते हैं—ताकि वे एक "दुष्ट शिक्षक" की भूमिका निभा सकें।
मानवीय प्रयास के बजाय कि कोई इंसान AI को चकमा देने का तरीका सोचे, उन्होंने LLMs को "इवोल्यूशनरी सर्च" (Evolutionary Search) का खेल खेलने दिया। इसे एक वीडियो गेम की तरह समझें जहाँ:
- खिलाड़ी (The Player): AI रोबोट (विशेष रूप से एक मॉडल जिसे "एज ट्रांसफॉर्मर" कहा जाता है) पहेलियों को हल करने की कोशिश करता है।
- लेवल डिज़ाइनर (The Level Designer): LLM एक ऐसा लेवल (पहेली) डिजाइन करने की कोशिश करता है जिसे खिलाड़ी हरा न सके।
3. "दुष्ट शिक्षक" कैसे काम करता है
LLM केवल रोबोट पर तथ्य नहीं फेंकता। यह रोबोट को चकमा देने में बेहतर होने के लिए दो मुख्य रणनीतियों का उपयोग करता है:
रणनीति A: जेनेटिक ब्रीडर (The Genetic Breeder - FunSearch)
कल्पना कीजिए कि LLM पहेली के विचारों का एक ब्रीडर (प्रजनक) है। यह कुछ बुनियादी पहेली डिजाइनों से शुरू होता है। यह रोबट को उन्हें हल करने के लिए कहता है। यदि रोबोट उन्हें आसानी से हल कर लेता है, तो LLM कहता है, "बहुत आसान!" और विफल पहेलियों के सबसे अच्छे हिस्सों को मिलाकर एक नया, थोड़ा कठिन संस्करण बनाता है। यह प्रक्रिया हजारों बार दोहराई जाती है, जब तक कि पहेलियाँ अविश्वसनीय रूप से कठिन न हो जाएं।- उपमा: यह एक ऐसे कोच की तरह है जो एक धावक को असफल होते हुए देखता है, और फिर ट्रैक के डिजाइन में (एक पहाड़ी, एक तीखा मोड़ जोड़कर) ठीक उतना ही बदलाव करता है जिससे धावक फिर से लड़खड़ा जाए, और वह ठीक वही सीखता है जो धावक की लय को बिगाड़ देता है।
रणनीति B: स्वायत्त शोधकर्ता (The Autonomous Researcher - Auto-Research)
यहाँ, उन्होंने LLM को एक कोडिंग वातावरण दिया और कहा: "आप एक शोधकर्ता हैं। आपका एकमात्र काम एक ऐसा प्रोग्राम लिखना है जो ऐसी पहेलियाँ बनाए जिन्हें रोबोट हल न कर सके। इसे तब तक करते रहें, अपने कोड को पढ़ते रहें और उसे ठीक करते रहें जब तक कि आप जीत न जाएं।"- उपमा: यह एक छात्र को एक खाली नोटबुक और एक लक्ष्य देने जैसा है: "एक ऐसा गणित का सवाल लिखो जिसे तुम्हारा शिक्षक हल न कर सके।" छात्र अपने सवाल को तब तक बार-बार लिखता रहता है जब तक कि वह अंततः शिक्षक को उलझा न दे।
4. खोज: छिपे हुए जाल (The Discovery: Hidden Traps)
जब उन्होंने ये प्रयोग चलाए, तो उन्हें कुछ दिलचस्प पता चला। LLMs ने कठिनाई के नए प्रकार खोज निकाले जिनके बारे में मानवीय शोधकर्ताओं ने सोचा भी नहीं था।
- "ऑफ-पाथ" ट्रैप (The "Off-Path" Trap): AI इसलिए संघर्ष नहीं कर रहा था क्योंकि पहेली लंबी थी, बल्कि इसलिए क्योंकि उसे एक "रेड हेरिंग" (ऐसी जानकारी जो महत्वपूर्ण लग रही थी लेकिन वह उत्तर के सीधे मार्ग पर नहीं थी) को अनदेखा करना था।
- "इनफर्ड लूप" ट्रैप (The "Inferred Loop" Trap): सबसे कठिन पहेलियों में ऐसे तथ्य शामिल थे जिन्हें उपयोग करने से पहले नियमों के आधार पर अनुमान (infer) लगाना पड़ता था। AI इन अदृश्य लूपों से भ्रमित हो गया।
लेखकों ने पाया कि इन "दुष्ट शिक्षक" पहेलियों को रोबोट के प्रशिक्षण डेटा में जोड़ने से, रोबोट वास्तव में बहुत स्मार्ट हो गया। उन्होंने एक सुपर-रोबोट बनाया (जिसे SUPERET कहा गया) जो इन पेचीदा लूपों को पहले की तुलना में बहुत बेहतर तरीके से संभाल सकता है।
5. अंतिम लक्ष्य: एक स्व-सुधारने वाली प्रयोगशाला (The Ultimate Goal: A Self-Improving Lab)
इस शोध पत्र का सबसे रोमांचक हिस्सा यह है कि इस पूरी प्रक्रिया को स्वचालित किया जा सकता है।
- LLM एक नया संसार बनाता है जिसमें नए नियम हों (जैसे अजीब कानूनों वाला एक नया फैमिली ट्री)।
- LLM उस दुनिया के लिए पहेलियाँ बनाता है।
- LLM रोबोट का परीक्षण करता है।
- रोबोट विफलताओं से सीखता है।
- LLM इसे और कठिन बनाने के लिए फिर से प्रयास करता है।
यह शोध पत्र दिखाता है कि हमें नए परीक्षणों के लिए लगातार मनुष्यों द्वारा विचार करने की आवश्यकता नहीं है। हम एक ऐसी मशीन बना सकते हैं जो स्वचालित रूप से अपनी चुनौतियाँ खुद आविष्कार करे, अपनी सीमाओं का परीक्षण करे, और खुद को स्मार्ट बनने के लिए सिखाए।
सारांश
सरल शब्दों में, यह शोध पत्र इस बारे में है कि AI को खुद को सिखाना कैसे सिखाया जाए, जिसमें एक दूसरे AI का उपयोग करके लगातार कठिन से कठिन तर्क पहेलियाँ बनाई जाती हैं। उन्होंने पाया कि ऐसा करने से, वे वर्तमान AI मॉडलों की छिपी हुई कमजोरियों को उजागर कर सकते हैं और उन्हें अधिक मजबूत, व्यवस्थित विचारक बनने के लिए प्रशिक्षित कर सकते हैं। यह "मानव-निर्मित परीक्षणों के साथ AI का परीक्षण करने" से "AI-निर्मित परीक्षणों के साथ खुद का परीक्षण करने वाले AI" की ओर एक कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।