Towards Better Understanding of Program-of-Thought Reasoning in Cross-Lingual and Multilingual Environments
यह शोध पत्र बहुभाषी परिवेश में प्रोग्राम-ऑफ-थॉट (PoT) प्रॉम्प्टिंग का मूल्यांकन करने के लिए एक रूपरेखा प्रस्तावित करता है, जो यह प्रदर्शित करता है कि फाइन-ट्यूनिंग, चेन-ऑफ-थॉट की तुलना में तर्क क्षमताओं को महत्वपूर्ण रूप से बढ़ाती है और कोड की गुणवत्ता एवं उत्तर की सटीकता के बीच एक मजबूत सहसंबंध स्थापित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, बहुभाषी छात्र है जो गणित की समस्याओं को हल करने में बहुत अच्छा है, लेकिन कभी-कभी सोचने और साथ ही अपनी सोच को समझाने के दौरान उलझ जाता है, खासकर यदि प्रश्न ऐसी भाषा में पूछा गया हो जिसमें वह उतना कुशल नहीं है।
यह शोध पत्र उस छात्र को विभिन्न भाषाओं में समस्याओं को हल करने के लिए एक बेहतर टूलकिट देने के बारे में है। यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:
1. समस्या: "जुगलिंग एक्ट" (तालमेल बिठाने का संघर्ष)
पारंपरिक रूप से, जब हम AI से गणित की समस्या हल करने के लिए कहते हैं, तो हम चेन-ऑफ-थॉट (CoT) नामक एक विधि का उपयोग करते हैं। इसे इस तरह समझें जैसे आप छात्र को एक साथ तीन गेंदों के साथ जुगलिंग (तालमेल बिठाना) करने के लिए कह रहे हों:
- प्रश्न को समझना।
- चरणों के माध्यम से सोचना।
- संख्याओं की गणना करना।
अंग्रेजी में, छात्र इसमें अच्छा है। लेकिन अन्य भाषाओं (जैसे थाई, स्वाहिली, या रूसी) में, यह "जुगलिंग" अव्यवस्थित हो जाता है। छात्र भाषा के अंतरों से भ्रमित हो जाता है और गणना में गलतियाँ करता है क्योंकि वह एक ही समय में अपने दिमाग में बहुत कुछ करने की कोशिश कर रहा होता है।
2. समाधान: "विशेषज्ञ टीम" (प्रोग्राम-ऑफ-थॉट)
लेखक प्रोग्राम-ऑफ-थॉट (PoT) नामक एक नई विधि का प्रस्ताव करते हैं। छात्र को सब कुछ करने के लिए कहने के बजाय, वे काम को दो लोगों की टीम में विभाजित करते हैं:
- आर्किटेक्ट (AI): उनका एकमात्र काम प्रश्न को पढ़ना और इसे हल करने के लिए ब्लूप्रिंट (कोड) का एक सेट लिखना है। वे गणित नहीं करते; वे केवल योजना तैयार करते हैं।
- बिल्डर (एक कंप्यूटर प्रोग्राम): यह एक सख्त, सटीक कैलकुलेटर है जो ब्लूप्रिंट लेता है और वास्तविक गणित करता है। यह अंकगणित में कभी गलती नहीं करता।
यह अलगाव एक ऐसे आर्किटेक्ट को काम पर रखने जैसा है जो स्थानीय भाषा बोलता है ताकि वह योजनाएं बना सके, और फिर उन योजनाओं को एक रोबोट को सौंप देता है जो घर को पूरी तरह से बनाता है। आर्किटेक्ट को ईंटें बिछाना सीखने की आवश्यकता नहीं है; उन्हें बस निर्देशों को कैसे बनाना है, यह जानने की आवश्यकता है।
3. प्रयोग 1: आर्किटेक्ट को प्रशिक्षित करना (फाइन-ट्यूनिंग)
शोधकर्ताओं ने यह देखना चाहा कि "आर्किटेक्ट" (AI) को विभिन्न भाषाओं में ये ब्लूप्रिंट लिखने के लिए सबसे अच्छा तरीके से कैसे प्रशिक्षित किया जाए। उन्होंने दो मुख्य परिदृश्यों का परीक्षण किया:
"केवल अंग्रेजी" प्रशिक्षण (क्रॉस-लिंगुअल): उन्होंने AI को केवल अंग्रेजी उदाहरणों पर प्रशिक्षित किया और फिर उससे अन्य भाषाओं में समस्याएँ हल करने के लिए कहा।
- ट्विस्ट: उन्होंने पाया कि यदि प्रशिक्षण उदाहरणों में अंग्रेजी कमेंट्स (कोड समझाने वाले नोट्स) शामिल थे, तो AI अन्य भाषाओं में स्विच करते समय भ्रमित हो गया। यह ऐसा था जैसे AI थाई बोलते समय अंग्रेजी नोट्स पढ़ने की कोशिश कर रहा हो।
- समाधान: जब उन्होंने प्रशिक्षण के दौरान कमेंट्स को पूरी तरह से हटा दिया, तो AI बहुत बेहतर तरीके से सामान्यीकरण (generalizing) करने में सक्षम हुआ। इसने विशिष्ट शब्दों से विचलित हुए बिना तर्क की संरचना को सीख लिया, जिससे इसे नई भाषाओं को संभालने में बहुत बेहतर बनाया।
"नेटिव" प्रशिक्षण (बहुभाषी): उन्होंने AI को उन उदाहरणों का उपयोग करके प्रशिक्षित किया जहाँ प्रश्न और नोट्स उसी लक्षित भाषा में थे (जैसे थाई प्रश्न के साथ थाई नोट्स)।
- परिणाम: यह और भी बेहतर काम कर गया। यह एक छात्र को पूरी तरह से उसकी मातृभाषा में प्रशिक्षित करने जैसा है। AI ने प्रश्न और समाधान के बीच के संबंध को पूरी तरह से समझ लिया।
मुख्य निष्कर्ष: यदि आप चाहते हैं कि एक AI कई भाषाओं में काम करे, तो या तो इसे बिना किसी नोट्स के प्रशिक्षित करें (ताकि यह शुद्ध तर्क सीख सके) या इसे विशिष्ट भाषा में नोट्स के साथ प्रशिक्षित करें। अंग्रेजी नोट्स को गैर-अंग्रेजी प्रश्नों के साथ मिलाने से भ्रम पैदा होता है।
4. प्रयोग 2: ब्लूप्रिंट की जांच करना (कोड की गुणवत्ता)
दूसरे भाग में अध्ययन ने पूछा: "अंतिम उत्तर सही होने के लिए ब्लूप्रिंट कितना अच्छा होना चाहिए?"
उन्होंने ब्लूप्रिंट को ग्रेड करने के लिए एक "क्वालिटी स्कोर" (जिसे ICE-Score कहा जाता है) विकसित किया।
- निष्कर्ष: ब्लूप्रष्ट की गुणवत्ता और अंतिम उत्तर की शुद्धता के बीच एक सीधा, मजबूत संबंध है। यदि ब्लूप्रिंट अव्यवस्थित है या उसमें तर्क की कमियां हैं, तो अंतिम उत्तर गलत होगा। यदि ब्लूप्रिंट साफ और तार्किक है, तो उत्तर सही होगा।
- "सुपरपावर" ट्रिक: आमतौर पर, जब AI कोई अनुमान लगाता है, तो वह 5 अलग-अलग तरीके आज़मा सकता है और सबसे आम उत्तर चुन सकता है (जैसे बहुमत का वोट)। शोधकर्ताओं ने एक स्मार्ट तरीका खोजा: उन्होंने AI को 5 अलग-अलग ब्लूप्रिंट बनाने दिया, प्रत्येक को ग्रेड किया, और उस ब्लूप्रिंट को चुना जिसका क्वालिटी स्कोर सबसे अधिक था, भले ही वह सबसे आम न हो।
- उपमा: कल्पना कीजिए कि एक शिक्षक 5 निबंधों को ग्रेड कर रहा है। केवल उस निबंध को चुनने के बजाय जिसे 3 अन्य शिक्षकों ने पसंद किया, शिक्षक उस निबंध को चुनता है जिसमें सबसे अच्छी व्याकरण और तर्क है, भले ही वह अपने जैसे अन्य निबंधों में अकेला ही क्यों न हो। इस सरल ट्रिक ने AI की सटीकता को काफी बढ़ा दिया, विशेष रूप से उन भाषाओं में जहाँ इसे आमतौर पर संघर्ष करना पड़ता है।
सारांश
यह शोध पत्र दिखाता है कि "सोचने" (कोड लिखना) को "करने" (गणित की गणना करना) से अलग करके, और AI को भाषा के नोट्स को सही ढंग से संभालने के लिए सावधानीपूर्वक प्रशिक्षित करके, हम AI को अंग्रेजी के अलावा अन्य भाषाओं में जटिल समस्याओं को हल करने में बहुत स्मार्ट बना सकते हैं। उन्होंने यह भी सिद्ध किया कि उत्तर स्वीकार करने से पहले "सोचने के चरणों" की गुणवत्ता की जांच करना बेहतर परिणाम प्राप्त करने का एक शक्तिशाली तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।