Exploring Agentic Workflows for Generating High Quality Math Visual Aids
यह शोध पत्र एक एजेंटिक वर्कफ़्लो पेश करता है जो बड़े भाषा मॉडलों (LLMs) और विज़न लैंग्वेज मॉडल्स (VLMs) को स्वयं-जनित गुणवत्ता आश्वासन प्रश्नों और दृश्य फीडबैक का उपयोग करके स्थानिक तर्क और सटीकता में वर्तमान सीमाओं को दूर करने और उच्च-गुणवत्ता वाले, शैक्षणिक रूप से सुदृढ़ गणितीय आरेखों को पुनरावृत्ति के माध्यम से उत्पन्न और परिष्कृत करने में सक्षम बनाता है, जो K-12 शिक्षा के लिए उपयोगी हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को खजाने वाले द्वीप का एक सटीक मानचित्र बनाना सिखाने की कोशिश कर रहे हैं जो मिडिल स्कूल की गणित की कक्षा के लिए है। आप रोबोट को एक विस्तृत विवरण देते हैं: "पीले षटकोणों (hexagons), लाल समलंबों (trapezoids) और हरे त्रिकोणों से बना एक फूल बनाएं।" लेकिन जब रोबोट आपको ड्राइंग थमाता है, तो पंखुड़ियाँ दबी हुई होती हैं, रंग गलत होते हैं, या आकार पूरी तरह से गायब होते हैं। यह बिल्कुल वैसा ही है जैसे आप एक कस्टम केक ऑर्डर करें और बदले में आपको एक टेढ़ा-मेढ़ा ईंट जैसा केक मिले।
यह ठीक वही समस्या है जिसे शोधकर्ता रिज़वान मलिक, अश्ना खेतन, इसाबेल सीह और सामिन खान हल करने की कोशिश कर रहे हैं। उन्होंने पाया कि यहाँ तक कि स्मार्ट एआई टूल्स (जिन्हें लार्ज लैंग्वेज मॉडल्स या LLMs कहा जाता है) भी गणितीय आरेख (diagrams) बनाने में काफी अनाड़ी हैं। वास्तव में, मिडिल-स्कूल की गणित की समस्याओं पर परीक्षण किए जाने पर, सबसे अच्छे एआई ने केवल 73.9% बार इसे सही किया। यह एक पासिंग ग्रेड है, निश्चित रूप से, लेकिन यदि आप चाहते हैं कि हर छात्र पूरी तरह से सीखे, तो यह पर्याप्त नहीं है।
इसलिए, टीम ने एक नई तरकीब आजमाई: उन्होंने एक "स्व-सुधार करने वाली रोबोट टीम" बनाई। केवल एआई से एक बार ड्राइंग बनाने और बेहतर होने की उम्मीद करने के बजाय, उन्होंने एक लूप बनाया जहाँ एआई एक सख्त कला शिक्षक, एक जासूस और एक चित्रकार तीनों की भूमिका एक साथ निभाता है।
यहाँ उनका "एजेंटिक वर्कफ़्लो" (एजेंट्स की एक टीम जो मिलकर काम करती है, जिसका एक फैंसी शब्द है) काम करता है:
- चित्रकार (The Painter): सबसे पहले, एक एआई आपके विवरण के आधार पर आरेख बनाता है।
- क्विज़ मास्टर (The Quiz Master): इसके बाद, दूसरा एआई (QA जनरेटर) ड्राइंग को देखता है और इसका परीक्षण करने के लिए चार खुले अंत वाले (open-ended) प्रश्नों का एक सेट लिखता है। साधारण "हाँ/नहीं" वाले प्रश्न जैसे "क्या यह लाल है?" पूछने के बजाय, यह गहरे प्रश्न पूछता है जैसे, "कोड ने यह कैसे सुनिश्चित किया कि हैंगर बार पूरी तरह से क्षैज (horizontal) है?"
- जासूस (The Detective): फिर, एक एआई छवि बनाने के लिए उपयोग किए गए कंप्यूटर कोड की उन प्रश्नों के विरुद्ध जांच करता है। शोधकर्ताओं ने पाया कि मानक "विज़न" एआई जटिल आरेखों का विश्लेषण करने में काफी खराब होते हैं (वे अक्सर वस्तुओं की गिनती करने में गलती करते हैं या स्थान को लेकर भ्रमित हो जाते हैं), इसलिए उन्होंने एआई को कोड निर्देशों को पढ़ने के लिए स्विच कर दिया, जो त्रुटियों को पकड़ने के लिए बहुत अधिक विश्वसनीय है।
- सुधारक (The Fixer): यदि ड्राइंग क्विज़ में विफल रहती है, तो एआई फीडबैक प्राप्त करता है और इसे फिर से बनाने का प्रयास करता है। वह इस प्रक्रिया को तब तक दोहराता रहता है जब तक कि ड्राइंग सभी परीक्षणों को पास नहीं कर लेती या उसके प्रयास समाप्त नहीं हो जाते।
शोधकर्ताओं ने इस विचार का परीक्षण किया और कुछ दिलचस्प बातें पाईं। जब उन्होंने "डिटेक्टिव" को अंतिम तस्वीर और ड्राइंग बनाने के लिए उपयोग किया गया कंप्यूटर कोड दोनों को देखने दिया, तो मानव विशेषज्ञों ने एआई की ग्रेडिंग के साथ 97% बार सहमति जताई। यह केवल चित्र देखने (68%) या केवल कोड देखने (81%) की तुलना में एक बड़ी छलांग है। ऐसा लगता है कि ब्लूप्रिंट देखना आपको गलतियों को बेहतर ढंग से पहचानने में मदद करता है।
उन्होंने यह भी पाया कि सरल हाँ/नहीं वाले प्रश्नों की तुलना में खुले अंत वाले प्रश्न पूछना बहुत बेहतर काम करता है। यह एक छात्र से केवल "क्या आपने किया?" पूछने के बजाय "अपनी तर्क प्रक्रिया समझाएं" पूछने जैसा है।
हालाँकि, टीम सावधानी बरतते हुए कहती है कि यह सब कुछ हल करने वाला कोई जादू का डंडा नहीं है। उनके प्रयोगों में, भले ही एआई ने ड्राइंग को एक बार ठीक करने की कोशिश की, फिर भी 70% आरेखों को सुधार के एक और दौर की आवश्यकता थी। और सुधार के दो दौरों के बाद भी, ड्राइखों के लिए औसत मानव स्कोर 5-पॉइंट स्केल पर 3.4 से बढ़कर 3.7 ही हुआ।
टीम को कुछ विशिष्ट बाधाओं का सामना करना पड़ा। उदाहरण के लिए, एक "संतुलित हैंगर" (एक क्लासिक गणित उपकरण) बनाने की कोशिश करते समय, एआई लटका हुआ बॉक्स असमान रूप से रखने की गलती करता रहा, भले ही उसे इसे ठीक करने के लिए कहा गया था। एआई गलती देख सकता था लेकिन वह यह नहीं समझ सका कि स्पेसिंग को एकदम सटीक बनाने के लिए कोड को कैसे ठीक किया जाए। इसी तरह, एआई कभी-कभी आकृतियों की सटीक संख्या गिनने या माप की जाँच करने में संघर्ष करता था, क्योंकि वह अभी भी "स्पेशियल रीजनिंग" (स्थानिक तर्क)—यानी चीजें स्थान में कैसे फिट होती हैं, इसे समझने में थोड़ा कमजोर है।
शोधकर्ताओं का सुझाव है कि हालांकि यह "स्व-सुधार लूप" एक आशाजनक शुरुआत है, लेकिन यह अभी मानव शिक्षकों को बदलने के लिए तैयार नहीं है। उनका तर्क है कि भविष्य के सिस्टमों को सही प्रश्न पूछने के बेहतर तरीके और स्थानिक संबंधों को समझने के लिए बेहतर "आंखों" की आवश्यकता होगी। लेकिन फिलहाल, यह दृष्टिकोण दिखाता है कि यदि आप एआई को अपने काम की जांच करने और फिर से प्रयास करने का मौका देते हैं, तो वह उन मानचित्रों को बनाने में थोड़ा बेहतर हो सकता है जिनकी छात्रों को गणित के रास्ते खोजने के लिए आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।