Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents
यह शोधपत्र पांच महत्वपूर्ण भ्रामक कारकों (confounds) को सुधारकर टूल-उपयोग करने वाले एजेंटों में क्रॉस-लिंगुअल पॉलिसी रिटेंशन मापने के लिए एक कठोर ढांचे का परिचय देता है, जिससे यह प्रकट होता है कि फ्रंटियर मॉडल गैर-अंग्रेजी कार्यों को अंग्रेजी के माध्यम से रूट करके भाषाओं के बीच अपनी एक्शन पॉलिसियों को संरचनात्मक रूप से 71-73% तक बनाए रखते हैं, जबकि छोटे मॉडल विफलताएं प्रदर्शित करते हैं और देखे गए दोष मॉडल की सीमाओं के बजाय ट्रेस-एक्सट्रैक्शन रेगएक्स (trace-extraction regex) द्वारा कृत्रिम रूप से निर्मित किए जा सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक डिजिटल सहायक की अदृश्य यात्रा
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट डिजिटल सहायक है, जैसे कि एक व्यक्तिगत रोबोट लेकिन वह कंप्यूटर के भीतर रहता है। इसका काम समस्याओं को हल करना है: यह जानकारी खोजने, कुछ गणित करने, या किसी वाक्य का अनुवाद करने जैसे चरणों की एक श्रृंखला का पालन कर सकता है, और फिर आपको अंतिम उत्तर दे सकता है। आधुनिक "AI एजेंट" इसी तरह काम करते हैं; वे केवल उत्तर का अनुमान नहीं लगाते, बल्कि वहां तक पहुँचने के लिए एक रास्ता बनाते हैं।
लंबे समय से, वैज्ञानिकों ने इन सहायकों का परीक्षण उन्हें अलग-अलग भाषाओं में, जैसे अंग्रेजी और हिंदी में, एक ही सवाल पूछकर किया। यदि सहायक दोनों भाषाओं में सही उत्तर देता था, तो हर कोई खुश था। यह एक छात्र को केवल इस आधार पर ग्रेड देने जैसा था कि उसने गणित के टेस्ट में सही संख्या प्राप्त की या नहीं, बिना यह देखे कि उसने समस्या को कैसे हल किया। लेकिन क्या होगा अगर छात्र ने अंग्रेजी की समस्या को एक चित्र बनाकर हल किया, लेकिन हिंदी की समस्या को एक लंबा निबंध लिखकर हल किया? उन्हें समान ग्रेड मिला, लेकिन उन्होंने पूरी तरह से अलग तरीके अपनाए।
यह शोध पत्र एक बड़ा सवाल पूछता है: जब एक AI एजेंट भाषा बदलता है, तो क्या वह अपना "मार्ग" या वे चरण बदल देता है जो वह उत्तर पाने के लिए लेता है? यह पता चला कि चरण बहुत मायने रखते हैं। मार्ग यह निर्धारित करता है कि कंप्यूटर कितना पैसा खर्च करता है, वह कितनी तेजी से काम करता है, और यदि वह कोई गलती करता है तो क्या होता है। यदि AI हिंदी में अंग्रेजी की तुलना में एक अलग रास्ता लेता है, तो इसकी लागत अधिक हो सकती है या यह उस तरह से विफल हो सकता है जिसे सुरक्षा नियमों ने नहीं पकड़ा। इसलिए, शोधकर्ताओं ने केवल अंतिम उत्तर देखने के बजाय स्वयं यात्रा (यात्रा के चरणों) को देखना शुरू कर दिया।
महान भाषाई मोड़ (The Great Language Detour)
शोधकर्ताओं ने यह देखने के लिए काम शुरू किया कि क्या ये AI एजेंट वास्तव में द्विभाषी थे या वे केवल दिखावा कर रहे थे। उन्होंने आठ अलग-अलग AI मॉडल लिए और उन्हें 41 विभिन्न भाषाओं में समान कार्य दिए। केवल अंतिम परिणाम की जाँच करने के बजाय, उन्होंने AI द्वारा उठाए गए हर एक कदम को रिकॉर्ड किया—जिसे "ट्रेस" (trace) कहा जाता है—जैसे कि GPS कार की यात्रा को ट्रैक करता है। वे जानना चाहते थे: यदि मैं AI से अंग्रेजी में "मौसम खोजें और फिर लागत की गणना करें" कहता हूँ, और फिर वही चीज़ हिंदी में पूछता हूँ, तो क्या वह बिल्कुल वही कदम उठाएगा?
इसका उत्तर एक जोरदार "नहीं" था, लेकिन उस तरह से नहीं जैसा आप उम्मीद कर सकते हैं। AI ने केवल थोड़ा अलग रास्ता नहीं लिया; वह एक बहुत बड़ा मोड़ ले रहा था। शोधकर्ताओं ने पाया कि जब भाषा बदलती थी, तो AI का व्यवहार काफी बदल जाता था। वास्तव में, जब उन्होंने सबसे उन्नत मॉडलों को देखा, तो भाषा बदलने पर वे अपने मूल चरण-दर-चरण प्लान का केवल लगभग 71% से 73% ही हिस्सा बनाए रख पाते थे। इसका मतलब है कि लगभग 27% से 29% समय के लिए, AI केवल इसलिए कुछ पूरी तरह से अलग कर रहा था क्योंकि शब्द एक अलग भाषा में थे।
"इंग्लिश पिवट" का रहस्य
यह क्यों हो रहा था? टीम ने पाया कि AI एजेंटों ने एक छिपी हुई आदत विकसित कर ली थी। यह पता चला कि भले ही आप AI से हिंदी, तमिल या किसी अन्य भाषा में सवाल पूछते हैं, वह अक्सर अपने "मन" में पहले पूरे सवाल का अंग्रेजी में गुप्त रूप से अनुवाद कर लेता है। इसके बाद वह अंग्रेजी में समस्या को हल करता है और उत्तर को वापस अनुवाद करता है।
शोधकर्ताओं ने इसे "इंग्लिश पिवट" (English pivot) कहा। इसे साबित करने के लिए, उन्होंने AI को इसे करने से रोकने की कोशिश की। उन्होंने AI से कहा, "कृपया उस भाषा में सोचें जिसमें आप बोल रहे हैं, अंग्रेजी में अनुवाद न करें!" लेकिन AI ने निर्देश का पालन नहीं किया। परीक्षण किए गए दो मॉडलों में, AI ने कार्य की भाषा में सोचने के निर्देश का पालन 1% से भी कम समय के लिए किया। क्योंकि AI ने वास्तव में वह काम लगभग कभी नहीं किया जो उसे बताया गया था, शोधकर्ता यह परीक्षण नहीं कर सके कि क्या किसी अन्य भाषा में सोचने से उसके चरणों में बदलाव आता। हालांकि, परिणाम ने कुछ और भी मजबूत स्थापित किया: "इंग्लिश पिवट" केवल एक प्राथमिकता नहीं है जिसे एक साधारण प्रॉम्प्ट से बदला जा सके; यह एक गहराई से समाया हुआ व्यवहार है जिसे मॉडल सीधे आदेश दिए जाने पर भी प्रभावी रूप से अनदेखा कर देते हैं। यह एक ऐसे यात्री की तरह था जो, चाहे वह किसी भी देश में जाए, किसी से भी बात करने से पहले केवल एक अनुवादक के माध्यम से ही बात करने पर अड़ा रहता है, चाहे गाइड उसे कुछ भी कहे। यह आदत इतनी मजबूत थी कि यही मुख्य कारण था कि भाषा बदलने पर AI के चरण बदल गए।
शॉर्टकट का जाल
पेपर ने एक मजेदार गलती को भी उजागर किया जिसने लगभग सभी को धोखा दे दिया था। इन AI एजेंटों के काम करने के तरीके को मापते समय, कुछ शोधकर्ता AI के चरणों को पढ़ने के लिए एक सरल कंप्यूटर प्रोग्राम का उपयोग कर रहे थे। इनमें से एक प्रोग्राम इतना सख्त था कि यदि AI ने एक विशिष्ट कोड फॉर्मेट के बजाय "मैं कैलकुलेटर का उपयोग करूँगा" जैसा वाक्य लिखा, तो प्रोग्राम ने सोचा कि AI विफल हो गया है।
इस कारण से, एक बहुत ही सक्षम AI मॉडल ऐसा लग रहा था जैसे वह 76% बार विफल हो रहा है। लेकिन जब शोधकर्ताओं ने कंप्यूटर प्रोग्राम को थोड़ा लचीला बनाने के लिए ठीक किया, तो AI की "सफलता दर" 26 गुना बढ़ गई! इसने शोधकर्ताओं को सिखाया कि कभी-कभी, जो भाषा की समस्या लगती है वह वास्तव में AI की लिखावट को पढ़ने के तरीके की समस्या होती है।
आकार मायने रखता है (The Size Matters Rule)
अंत में, टीम ने यह देखा कि क्या बड़े AI मॉडल इस मामले में बेहतर हैं। उन्होंने एक अजीब नियम पाया: सबसे बड़े, शक्तिशाली मॉडल सभी बहुत समान थे, और उस 71-73% की निरंतरता पर टिके हुए थे। लेकिन छोटे मॉडल अव्यवस्थित थे। कुछ छोटे मॉडल बहुत अच्छे दिख रहे थे, लेकिन यह पता चला कि वे केवल इसलिए सफल दिख रहे थे क्योंकि वे बहुत छोटे और सरल रास्ते ले रहे थे जिन्हें संयोग से मेल खाना आसान था। एक बार जब शोधकर्ताओं ने इस भाग्य (luck) के प्रभाव को हटा दिया, तो छोटे मॉडल अब उतने प्रभावशाली नहीं रहे। ऐसा लगता है कि केवल बहुत बड़े, शक्तिशाली मॉडलों ने व्यवहार करने का एक सुसंगत तरीका अपनाया है, जबकि छोटे मॉडल अभी भी इसे समझने की कोशिश कर रहे हैं।
यह क्यों महत्वपूर्ण है
यह अध्ययन हमारे AI परीक्षण करने के तरीके को बदल देता है। यह दिखाता है कि सही उत्तर प्राप्त करना पर्याप्त नहीं है। यदि कोई AI केवल इसलिए एक अलग, अधिक महंगा या जोखिम भरा रास्ता अपनाता है क्योंकि आपने अलग भाषा में बात की है, तो यह एक समस्या है। शोधकर्ताओं ने दिखाया कि ये एजेंट वास्तव में पूर्णतः भाषाई रूप से सक्षम (fluent) नहीं हैं; वे अभी भी एक छिपे हुए अंग्रेजी सहारे (crutch) पर निर्भर हैं। जब तक हम इसे ठीक नहीं करते, एक AI अंग्रेजी में भरोसेमंद हो सकता है लेकिन अन्य भाषाओं में अविश्वसनीय हो सकता है, इसलिए नहीं कि वह "मूर्ख" है, बल्कि इसलिए क्योंकि वह उसी मंजिल तक पहुँचने के लिए एक अलग, अनियंत्रित रास्ता अपना रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।