Exploring the Potential of Program Flowcharts on Code Generation Using Multimodal LLMs
यह अध्ययन प्रदर्शित करता है कि फ्लोचार्ट को समस्या कथनों (problem statements) के साथ एकीकृत करने से GPT-4o जैसे मल्टीमॉडल LLMs के कोड जनरेशन प्रदर्शन में महत्वपूर्ण सुधार होता है, जिसमें 10% तक का सुधार और फ्लोचार्ट की विस्तृतता तथा सटीकता के बीच एक सकारात्मक सहसंबंध देखा गया है, जो कुछ फ्यू-शॉट लर्निंग दृष्टिकोणों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को एक कठिन गणितीय पहेली हल करना सिखाने की कोशिश कर रहे हैं। आमतौर पर, आप उसे समस्या का केवल एक लिखित विवरण देते हैं, जैसे शब्दों में लिखी गई कोई रेसिपी। लेकिन क्या होगा अगर आप रोबोट को चरणों का एक चित्र भी थमा दें? इस अध्ययन ने बिल्कुल यही GPT-4o नामक एक AI के साथ किया। शोधकर्ताओं ने यह देखना चाहा कि क्या AI को एक फ्लोचार्ट दिखाना—जो एक प्रोग्राम कैसे काम करता है उसका एक दृश्य मानचित्र है—केवल टेक्स्ट पढ़ने के मुकाबले उसे बेहतर कोड लिखने में मदद करेगा।
टेक्स्ट विवरण को एक पेड़घर (treehouse) बनाने के बारे में एक लंबी, घुमावदार कहानी की तरह समझें। फ्लोचार्ट उस सरल रेखाचित्र की तरह है जो सीढ़ी, प्लेटफॉर्म और छत को दर्शाता है। टीम ने पाया कि जब उन्होंने AI को कहानी और रेखाचित्र दोनों दिए, तो वह पेड़घर बनाने (कोड लिखने) में बहुत बेहतर हो गया। वास्तव में, AI की सफलता दर 4% से 10% तक बढ़ गई। बहुत कठिन पहेलियों के लिए, यह सुधार और भी बड़ा था, जो 10% के निशान तक पहुँच गया।
लेकिन यहाँ मज़ेदार बात यह है: क्या रेखाचित्र का एकदम सटीक होना ज़रूरी है? शोधकर्ताओं ने AI को अलग-अलग वर्ज़न के फ्लोचार्ट देकर देखे। कुछ बहुत विस्तृत थे, जिनमें हर एक कील और पेंच दिखाया गया था। अन्य "एब्स्ट्रैक्टेड" (abstracted) थे, जिसका अर्थ था कि वे एक रफ स्केच की तरह थे जो केवल बड़ी तस्वीर दिखाते थे, जैसे "यहाँ सीढ़ी कहाँ जाती है" बिना पायदानों को खींचे।
उन्होंने पाया कि फ्लोचार्ट जितना अधिक विस्तृत होगा, AI उतना ही बेहतर प्रदर्शन करेगा। केवल बुनियादी ढांचा दिखाने वाला एक स्केच (जिसे "डेप्थ 0" कहा गया) ने वास्तव में AI को केवल टेक्स्ट पढ़ने की तुलना में थोड़ा खराब कर दिया! लेकिन जैसे-जैसे उन्होंने विवरण जोड़ा (डेप्थ 2 तक), AI का प्रदर्शन बढ़ता गया। सबसे विस्तृत फ्लोचार्ट सबसे अच्छा काम करते थे, लेकिन "डेप्थ 2" वाले स्केच भी लगभग पूर्ण चित्रों जितने ही अच्छे थे। यह ऐसा है जैसे यह महसूस करना कि हालांकि एक पूर्ण वास्तुशिल्प ब्लूप्रिंट बेहतरीन है, लेकिन एक थोड़ा रफ स्केच भी जो अभी भी मुख्य कमरों को दिखाता है, काम को सही ढंग से करने के लिए पर्याप्त है।
टीम ने "फ्यू-शॉट लर्निंग" (Few-Shot Learning) नामक एक तरकीब भी आजमाई, जो AI को अन्य पहेलियों के कुछ उदाहरण दिखाने जैसा है जिन्हें उसने पहले हल किया था, और फिर उससे एक नई पहेली हल करने के लिए कहना। उन्होंने पाया कि केवल एक उदाहरण दिखाने (एक "वन-शॉट") से AI की काफी मदद मिली, जिससे उसकी सटीकता औसतन लगभग 6% बढ़ गई। हालाँकि, दो उदाहरण दिखाने से बहुत अधिक मदद नहीं मिली; कुछ मामलों में, इसने AI को थोड़ा भ्रमित भी कर दिया और इसकी सटीकता कम हो गई। ऐसा लगता है कि AI उदाहरणों के ढेर के बजाय एक स्पष्ट उदाहरण को पसंद करता है।
अब, आप सोच सकते हैं: "क्या यह सारा अतिरिक्त ड्राइंग बहुत महंगा पड़ता है?" शोधकर्ताओं ने कीमत की जाँच की। अनुरोध में फ्लोचार्ट जोड़ने से "टोकन्स" (डेटा के छोटे हिस्से जिन्हें AI पढ़ता है) की संख्या बढ़ गई, जिससे आमतौर पर लागत बढ़ती है। लेकिन यहाँ एक मोड़ है: क्योंकि AI फ्लोचार्ट के साथ कार्य को बेहतर ढंग से समझ गया, इसलिए उसने छोटा और अधिक सटीक कोड लिखा। इसका मतलब था कि उसे काम पूरा करने के लिए बहुत अधिक "बात" करने की ज़रूरत नहीं पड़ी। परिणाम? प्रति कोड जनरेशन कुल लागत बहुत कम थी, जो लगभग 0.00189 (टेक्स्ट प्लस एक विस्तृत फ्लोचार्ट) के बीच थी। यह एक पैसे से भी कम का अंतर है, लेकिन इसने सटीकता में 10% का उछाल खरीदा।
तो, मुख्य निष्कर्ष क्या है? अध्ययन बताता है कि मल्टीमॉडल AI मॉडल्स को टेक्स्ट निर्देशों के साथ तर्क का एक विज़ुअल मैप—जैसे कि फ्लोचार्ट—देना उन्हें बेहतर कोडर बनाने का एक सस्ता और प्रभावी तरीका है। यह कोई जादुई छड़ी नहीं है जो सब कुछ हल कर देती है, और शोधकर्ता स्वीकार करते हैं कि इसका परीक्षण विशिष्ट कोडिंग पहेलियों (AtCoder नामक साइट से) पर किया गया था, इसलिए यह वास्तविक दुनिया के ऐप्स के लिए अलग तरह से काम कर सकता है। लेकिन फिलहाल के लिए, यह दिखता है कि थोड़ा सा ड्राइंग करना AI को स्पष्ट रूप से सोचने में मदद करने के लिए बहुत काम आता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।