When the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool Use
यह शोध पत्र API कॉलिंग के लिए बहुभाषी LLMs में "आर्ग्युमेंट लैंग्वेज मिसमैच" (Argument Language Mismatch) की समस्या की जांच करता है और यह प्रदर्शित करता है कि सुपरवाइज्ड फाइन-ट्यूनिंग (supervised fine-tuning), आर्ग्युमेंट भाषा की निरंतरता सुनिश्चित करने के लिए एक मजबूत बेसलाइन के रूप में कार्य करती है, जबकि सुदृढीकरण शिक्षण (reinforcement learning) मुख्य रूप से सामान्यीकरण और बहु-उद्देश्यीय समझौतों (multi-objective trade-offs) में केवल क्रमिक सुधार प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को एक व्यक्तिगत सहायक बनने के लिए सिखा रहे हैं। यह रोबोट, जिसे लार्ज लैंग्वेज मॉडल (LLM) के रूप में जाना जाता है, बातचीत करने, कहानियाँ लिखने और कई अलग-अलग भाषाओं में सवालों के जवाब देने में अविश्वसनीय रूप से कुशल है। लेकिन, एक पेच है: वास्तव में उपयोगी होने के लिए, इस रोबोट को केवल बात करने से कहीं अधिक करने की आवश्यकता है; इसे काम पूरा करने के लिए अन्य कंप्यूटर प्रोग्रामों से बात करने की आवश्यकता है। इन प्रोग्रामों को उपकरणों के एक विशाल पुस्तकालय के रूप में समझें—जैसे कि एक कैलकुलेटर, एक मौसम ऐप, या एक फ्लाइट बुकिंग सिस्टम। इनका उपयोग करने के लिए, रोबोट को एक बहुत ही विशिष्ट, कठोर भाषा बोलनी होगी जिसे "API कॉल" कहा जाता है। यह पिज्जा ऑर्डर करने जैसा है: आप किसी भी भाषा में कह सकते हैं कि "मुझे पिज्जा चाहिए", लेकिन रसोई केवल एक विशिष्ट टिकट प्रारूप को समझती है जिसमें सटीक टॉपिंग्स और आकार होते हैं।
बड़ी समस्या जिसका यह शोध पत्र समाधान करता है, वह यह है कि क्या होता है जब रोबोट ऑर्डर तो सही कर देता है लेकिन टिकट भरने में गलती कर देता है। यदि कोई स्पेनिश बोलने वाला व्यक्ति रोबोट से फ्लाइट बुक करने के लिए कहता है, तो रोबोट सही ढंग से "बुक फ्लाइट" टूल तो चुन सकता है, लेकिन फिर वह गंतव्य (destination) में अंग्रेजी शब्द "Paris" भर सकता है, बजाय स्पेनिश शब्द "París" के। एक इंसान के लिए, यह एक छोटी सी, हानिरहित गलती लग सकती है। लेकिन उस कंप्यूटर प्रोग्राम के लिए जो ऑर्डर का इंतज़ार कर रहा है, यह एक आपदा है। सिस्टम क्रैश हो जाता है या अनुरोध को अस्वीकार कर देता है क्योंकि वह स्पेनिश शब्दों की प्रतीक्षा कर रहा था। शोध पत्र इस गड़बड़ी को "आर्ग्युमेंट लैंग्वेज मिसमैच" (ALM) कहता है। यह एक निराशाजनक बग है जहाँ रोबट समझ तो जाता है कि आप क्या चाहते हैं, लेकिन वह उस टूल की भाषा बोलने में विफल रहता है जिसे वह उपयोग करने की कोशिश कर रहा है। शोधकर्ता यह पता लगाना चाहते थे कि इन रोबोटों को इस विशिष्ट गलती को करने से रोकने के लिए सबसे अच्छा तरीका क्या है, खासकर जब वे एक साथ कई अलग-अलग भाषाओं को संभाल रहे हों।
लेखकों ने दो अलग-अलग प्रशिक्षण विधियों के साथ जासूसी खेलने का निर्णय लिया ताकि यह देखा जा सके कि कौन सी विधि इस भाषा संबंधी त्रुटि को सबसे अच्छी तरह ठीक करती है। पहली विधि एक सख्त शिक्षक की तरह है जो रोबोट को हजारों आदर्श उदाहरण दिखाती है कि टिकटों को कैसे भरा जाए। इसे "सुपरवाइज्ड फाइन-ट्यूनिंग" (SFT) कहा जाता है। दूसरी विधि एक वीडियो गेम की तरह है: रोबोट टिकट भरने की कोशिश करता है, उसे बताया जाता है कि उसने कितना अच्छा किया, और वह अपनी गलतियों से परीक्षण और त्रुटि (trial and error) के माध्यम से सीखता है। इसे "रीइन्फोर्समेंट लर्निंग" (RL) कहा जाता है। शोधकर्ताओं ने टूल कॉल्स के एक डेटासेट का उपयोग करके एक विशेष टेस्ट बेंच बनाया जिसे पांच भाषाओं (स्पेनिश, फ्रेंच, इतालवी, डच और अंग्रेजी) में अनुवादित किया गया था, ताकि यह देखा जा सके कि रोबट कितनी अच्छी तरह सीख सकते हैं।
यहाँ उन्हें एक आश्चर्यजनक मोड़ मिला: "सख्त शिक्षक" वाली विधि (SFT) वास्तव में सुपरस्टार थी। जब उन्होंने केवल रोबोट को सही स्पेनिश-टू-स्पेनिश टूल कॉल्स के उदाहरण दिखाए, तो इसने भाषा के बेमेल होने की अधिकांश त्रुटियों को ठीक कर दिया। वास्तव में, कई कार्यों के लिए, सरल शिक्षक विधि उतनी ही अच्छी तरह काम करती थी जितनी कि जटिल वीडियो गेम विधि, या कभी-कभी उससे भी बेहतर। शोध पत्र सुझाव देता है कि रोबोट को समाधान तक पहुँचने के लिए "सोचने" की आवश्यकता नहीं थी; उसे बस इतने उदाहरण देखने की आवश्यकता थी जिससे वह पैटर्न सीख सके कि "यदि उपयोगकर्ता स्पेनिश बोलता है, तो टूल टिकट भी स्पेनिश में होना चाहिए।"
हालाँकि, वीडियो-गेम विधि (विशेष रूप से एक संस्करण जिसे GRPO कहा जाता है) के पास कुछ विशेष चालें भी थीं। जबकि यह बुनियादी कार्य में शिक्षक विधि को हरा नहीं सकी, यह दो चीजों में बेहतर थी: उन टूल्स को संभालने में जिन्हें रोबोट ने पहले कभी नहीं देखा था, और उसके सामान्य तर्क कौशल (reasoning skills) को तेज रखने में। शोधकर्ताओं ने पाया कि वीडियो-गेम विधि एक अधिक लचीले छात्र की तरह थी जो गणित की समस्याओं को हल करना भूले बिना नई स्थितियों के अनुकूल हो सकती है। उन्होंने यह भी पाया कि वीडियो गेम में रोबोट को मिलने वाला "स्कोर" बहुत मायने रखता था। यदि स्कोर केवल "अच्छा काम किया" या "बुरा काम किया" कहता था, तो रोबोट बहुत कम सीख पाता था। लेकिन यदि स्कोर विस्तृत फीडबैक देता था कि कौन सा विशिष्ट शब्द गलत था, तो रोबोट बहुत तेज़ी से सीखता था।
अंत में, शोध पत्र निष्कर्ष निकालता है कि हमें इन भाषा संबंधी गड़बड़ियों को ठीक करने के लिए हमेशा सबसे जटिल, महंगे प्रशिक्षण तरीकों की आवश्यकता नहीं होती है। एक सावधानीपूर्वक, अच्छी तरह से डिज़ाइन किया गया प्रशिक्षण सेट और एक सरल शिक्षक अधिकांश समस्या को हल कर सकता है। फैंसी वीडियो-गेम प्रशिक्षण का उपयोग रोबोट के कौशल को निखारने और कठिन स्थितियों में इसे अधिक मजबूत बनाने के लिए किया जाता है, लेकिन यह वह जादुई समाधान नहीं है जिसे हम मान रहे थे। मुख्य निष्कर्ष यह है कि अपने टूल्स को सही भाषा बोलने के लिए, कभी-कभी पुराने तरीके से उन्हें सही उदाहरण दिखाना ही सबसे शक्तिशाली उपकरण होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।