STaD: Scaffolded Task Design for Identifying Compositional Skill Gaps in LLMs
यह शोध पत्र स्कैफोल्डेड टास्क डिज़ाइन (STaD) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो बेंचमार्क कार्यों के नियंत्रित, क्रमिक रूपांतरों को उत्पन्न करता है ताकि बड़े भाषा मॉडलों (LLMs) में विशिष्ट कंपोजिशनल रीजनिंग कौशल अंतराल को व्यवस्थित रूप से पहचाना और दृश्यमान बनाया जा सके, जो पारंपरिक समग्र स्कोर की तुलना में गहन नैदानिक अंतर्दृष्टि प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि एक छात्र एक कठिन गणित की परीक्षा में क्यों असफल हो रहा है।
पुराना तरीका (पारंपरिक बेंचमार्क):
आप उनका अंतिम स्कोर देखते हैं। यह 60% है। आप कहते हैं, "ठीक है, यह छात्र गणित में खराब है।" लेकिन इससे यह पता नहीं चलता कि क्यों। क्या उन्हें जोड़ना नहीं आता? क्या वे शब्द समस्याओं (word problems) में भ्रमित हो जाते हैं? या क्या उन्हें गणित पूरी तरह से आता है लेकिन वे घबरा जाते हैं जब उन्हें एक साथ तीन कदम उठाने होते हैं? एक एकल स्कोर विफलता के वास्तविक कारणों को छिपा देता है।
नया तरीका (STaD फ्रेमवर्क):
यह शोध पत्र STaD (स्कैफोल्डेड टास्क डिज़ाइन) नामक एक नई विधि पेश करता है। इसे एक निर्माण स्थल (construction site) या रॉक क्लाइंबिंग वॉल की तरह समझें।
मुख्य विचार: "स्कैफोल्डिंग" (Scaffolding)
निर्माण में, "स्कैफोल्डिंग" वह अस्थायी धातु का ढांचा है जिसे आप किसी इमारत के चारों ओर बनाते हैं ताकि श्रमिक सुरक्षित रूप से ऊंचे स्थानों तक पहुँच सकें। जब इमारत मजबूत हो जाती है, तो आप स्कैफोल्डिंग हटा देते हैं।
शिक्षा में (और इस शोध पत्र में), स्कैफोल्डिंग का अर्थ है सीखने वाले को किसी ऐसे कार्य को करने के लिए अस्थायी सहायता देना जो वह अभी अकेले नहीं कर सकता। जैसे-जैसे वे बेहतर होते जाते हैं, आप सहायता हटाते जाते हैं।
STaD AI मॉडलों (LLMs) का परीक्षण करने के लिए इस अवधारणा का उपयोग करता है। केवल AI पर एक कठिन प्रश्न फेंकने और यह देखने के बजाय कि वह विफल हो जाता है, STaD एक आवर्धक लेंस (magnifying glass) के साथ एक जासूस की तरह काम करता है। यह एक जटिल समस्या को छोटे चरणों में तोड़ता है और फिर यह देखने के लिए कि वह वास्तव में कहाँ अटकता है, AI को विशिष्ट चरणों में मदद करता है।
यह कैसे काम करता है (जासूस का रूपक)
कल्पना कीजिए कि AI केक बनाने की कोशिश कर रहा है एक रोबोट है, लेकिन वह बार-बार केक जला देता है।
मूल परीक्षण: रोबलेट शुरू से पूरा केक बनाने की कोशिश करता है और विफल हो जाता है।
- पुराना निष्कर्ष: "रोबोट बेकिंग में खराब है।"
STaD दृष्टिकोण:
- चरण 1 (विभाजन): शोधकर्ता रेसिपी को चरणों में तोड़ते हैं: आटा मिलाना, अंडे डालना, बेक करना, फ्रॉस्टिंग करना।
- चरण 2 (स्कैफोल्डिंग): वे रोबोट को केवल पहले चरण में मदद करने की कोशिश करते हैं। वे कहते हैं, "ठीक है, मैंने तुम्हारे लिए आटा मिला दिया है। अब तुम अंडे डालो।"
- परिणाम: रोबोट फिर भी केक जला देता है।
- अंतर्दृष्टि (Insight): "ठीक है, समस्या आटा मिलाने की नहीं है। यह अंडे डालने की भी नहीं है।"
- चरण 3 (अधिक सहायता): वे पहले दो चरणों में मदद करते हैं। "मैंने आटा और अंडे मिला दिए हैं। तुम बस बेक करो।"
- परिणाम: रोबोट बिल्कुल सही केक बेक करता है!
- अंतर्दृष्टि: "आहा! रोबोट को बेक करना आता है, लेकिन वह भ्रमित हो जाता है जब उसे एक ही समय में मिश्रण बनाना और बेक करना होता है। वह कौशल को संयोजित (combine) करने में असमर्थ है।"
उन्होंने क्या पाया?
शोधकर्ताओं ने तीन अलग-अलग प्रकार की गणितीय पहेलियों का उपयोग करके छह अलग-अलग AI मॉडलों का परीक्षण किया। यहाँ उनके निष्कर्ष दिए गए हैं, सरल रूपकों का उपयोग करते हुए:
"स्विस आर्मी नाइफ" बनाम "विशेषज्ञ" (Specialist):
दो AI मॉडलों का कुल स्कोर (जैसे, दोनों का एक टेस्ट पर 50%) समान हो सकता है। लेकिन एक इसलिए विफल हो रहा है क्योंकि उसे गिनती करना नहीं आता, जबकि दूसरा गिनती करना पूरी तरह जानता है लेकिन भ्रमित हो जाता है जब उसे गिनती करने और घटाने का काम एक साथ करना पड़ता है। STaD इन छिपे हुए अंतरों को उजागर करता है।"जगलिंग" (Juggling) की समस्या:
कई AI अकेले एक काम करने में बहुत अच्छे होते हैं (जैसे एक गेंद के साथ जगलिंग करना)। लेकिन जब आप उनसे एक साथ तीन गेंदों के साथ जगलिंग करने को कहते हैं (कौशल संयोजित करना), तो वे उन्हें गिरा देते हैं। शोध पत्र में पाया गया कि सबसे बड़ा विफलता बिंदु आमतौर पर ज्ञान की कमी नहीं है; बल्कि यह विभिन्न कौशलों को एक साथ तालमेल (coordinate) बिठाने में विफलता है।"असुधार योग्य" बनाम "असुधार योग्य" (Unfixable vs Fixable):
STaD यह अंतर बता सकता है कि क्या कोई कार्य AI के लिए बहुत कठिन है (भले ही मदद मिले) और क्या वह कार्य केवल इसलिए कठिन है क्योंकि उसे थोड़े से धक्के की आवश्यकता है।- सुधार योग्य (Fixable): यदि आप AI को पहला चरण देते हैं, तो वह बाकी को हल कर लेता है। इसका मतलब है कि हम इसे बेहतर प्रशिक्षित कर सकते हैं।
- असुधार योग्य (Unfixable): यदि आप AI को सभी चरण दे भी दें, तो भी वह विफल हो जाता है। इसका मतलब है कि AI मौलिक रूप से तर्क (logic) को अभी तक नहीं समझता है।
यह क्यों महत्वपूर्ण है?
इससे पहले, यदि कोई AI टेस्ट में विफल होता था, तो डेवलपर्स बस कहते थे: "हमें इसे और अधिक प्रशिक्षित करने की आवश्यकता है।" लेकिन उन्हें यह नहीं पता होता था कि क्या प्रशिक्षित करना है।
STaD के साथ, डेवलपर्स कह सकते हैं:
"हमारा AI वास्तव में गणित में अच्छा है, लेकिन वह भ्रमित हो जाता है जब उसे एक कहानी और गणित एक साथ पढ़ना होता है। आइए हम इसे यादृच्छिक (random) गणित के प्रश्नों पर प्रशिक्षित करना बंद करें और विशेष रूप से गणित करते समय कहानियाँ पढ़ने पर प्रशिक्षण देना शुरू करें।"
सारांश
STaD AI मस्तिष्क के लिए एक मेडिकल स्कैन की तरह है। केवल यह कहने के बजाय कि "मरीज बीमार है," यह दिखाता है कि कौन सा अंग विफल हो रहा है और क्या मरीज थोड़ी मदद से ठीक हो सकता है या उसे पूरी तरह से नए दृष्टिकोण की आवश्यकता है। यह हमें यह अनुमान लगाने से कि AI क्यों विफल होता है, यह जानने की ओर ले जाता है कि वह कहाँ और कैसे विफल होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।