Measuring Behavior Portability in Large Language Models
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स में व्यवहारिक पोर्टेबिलिटी (behavioral portability) को मापने के लिए एक औपचारिक ढांचे को प्रस्तुत करता है और नियंत्रित प्रयोगों के माध्यम से यह प्रदर्शित करता है कि उनके निर्णय लेने के व्यवहार, संरचनात्मक रूप से समान होने के बावजूद, सतही प्रस्तुति के प्रति महत्वपूर्ण संवेदनशीलता के कारण विभिन्न निर्णय वातावरणों में विश्वसनीय रूप से स्थानांतरित होने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, उच्च प्रशिक्षित निर्णय लेने वाला (एक AI) है जो एक पेशेवर शेफ की तरह काम करता है। आप जानना चाहते हैं कि क्या यह शेफ एक ही स्वादिष्ट भोजन बना सकता है, चाहे आपने उसे एक शानदार फ्रांसीसी रसोई, एक देहाती इतालवी बिस्ट्रो, या एक आधुनिक अमेरिकी डाइनर में बनाने के लिए कहा हो।
शोध पत्र "Measuring Behavior Portability in Large Language Models" एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: यदि कोई AI एक सेटिंग में निर्णय लेना सीख जाता है, तो क्या वह वही सटीक निर्णय ले सकता है जब आप समस्या को अलग तरह से वर्णित करते हैं, भले ही गणित और पुरस्कार समान हों?
लेखक इसे "व्यवहार पोर्टेबिलिटी" (Behavioral Portability) कहते हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. मुख्य समस्या: "फ्रेमिंग" का जाल
कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको पिज्जा बांटना है।
- परिदृश्य A: आपको बताया जाता है, "आपके पास एक पिज्जा है। अपने दोस्त को कुछ दें।"
- परिदृश्य B: आपको बताया जाता है, "आपके पास एक पिज्जा है। आपका दोस्त भूखा है और उसे एक हिस्सा मिलना चाहिए।"
गणितीय रूप से, नियम बिल्कुल समान हैं। "पे-ऑफ" (आपको कितना पिज्जा मिलता है) वही है। लेकिन स्थितियों का वर्णन करने वाले शब्द अलग हैं।
शोधकर्ताओं ने परीक्षण किया कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs) इन विभिन्न शब्दों के बीच सुसंगत व्यवहार करते हैं। उन्होंने पाया कि मॉडल पोर्टेबल नहीं हैं। ठीक वैसे ही जैसे एक शेफ जो फ्रांसीसी रसोई में एक बेहतरीन स्टेक बनाता है, लेकिन इतालवी रसोई में उसे जला देता है, AI भी टेक्स्ट के "स्वाद" के आधार पर अपना व्यवहार बदल देता है, भले ही "सामग्री" (गणित) समान हो।
2. प्रयोग: सात आर्थिक खेल
इसकी जांच करने के लिए, शोधकर्ताओं ने केवल AI से यादृच्छिक (random) प्रश्न नहीं पूछे। उन्होंने AI को सात क्लासिक आर्थिक खेलों (जैसे "डिक्टेटर गेम," "ट्रस्ट गेम," और "लॉटरी चॉइस") के माध्यम से परखा। ये निर्णय लेने के लिए मानकीकृत ड्राइविंग टेस्ट की तरह हैं।
- सेटअप: उन्होंने प्रत्येक खेल के दर्जनों अलग-अलग "संस्करण" बनाए। एक संस्करण में, खेल किसी "सहकर्मी" के साथ पैसा साझा करने के बारे में हो सकता है। दूसरे में, यह एक "पार्टनर" के साथ "बोनस" बांटने के बारे में हो सकता है।
- ट्विस्ट: नंबर, नियम और संभावित पुरस्कार बिल्कुल एक जैसे थे। केवल नंबरों के इर्द-गिर्द चल रही कहानी बदली थी।
- परीक्षण: उन्होंने AI को "फ्रांसीसी रसोई" वाली कहानियों का उपयोग करके खेल खेलना सिखाया। फिर, उन्होंने AI को उन्हीं कहानियों का उपयोग करके वही खेल खेलने के लिए कहा जो "इतालवी बिस्ट्रो" वाली थीं।
3. परिणाम: कहानी से AI भ्रमित हो जाता है
परिणाम आश्चर्यजनक और उन लोगों के लिए चिंताजनक थे जो निरंतर निर्णय लेने के लिए AI पर भरोसा करते हैं:
- AI नाजुक है: जब कहानी बदली, तो AI के निर्णय भी काफी बदल गए। एक मॉडल जिसने एक कहानी में "निष्पक्ष" होना सीखा, वह एक गणितीय रूप से समान कहानी में केवल इसलिए "स्वार्थी" हो सकता है क्योंकि शब्द अलग थे।
- "पोर्टेबिलिटी" स्कोर: शोधकर्ताओं ने मापा कि AI का व्यवहार कितना बदला। उन्होंने पाया कि सामाजिक खेलों (जैसे साझा करना या विश्वास करना) के लिए, AI का व्यवहार बहुत अस्थिर था। यह एक ऐसे कंपास की तरह था जो हवा के रुख के अनुसार बेतहाशा घूमता है, भले ही ध्रुव तारा अपनी जगह से न हिला हो।
- अपवाद (लॉटरी): जब कार्य पूरी तरह से नंबरों और जोखिम के बारे में था (जैसे दो लॉटरी के बीच चयन करना), तो AI बहुत अधिक स्थिर था। ऐसा लगता है कि AI सामाजिक कहानियों की तुलना में गणित को बेहतर तरीके से संभाल सकता है।
4. क्या "बोलकर सोचना" मदद करता है? (चेन-ऑफ-थॉट)
शोधकर्ताओं ने एक सामान्य ट्रिक आजमाई: उत्तर देने से पहले AI को "चरण-दर-चरण सोचने" (जिसे चेन-ऑफ-थॉट या CoT कहा जाता है) के लिए कहना।
- आशा: शायद यदि AI अपने तर्क को समझाता है, तो वह भटकाने वाली कहानी को अनदेखा कर देगा और गणित पर ध्यान केंद्रित करेगा।
- वास्तविकता: इसने कभी-कभी मदद की, लेकिन हमेशा नहीं। कुछ खेलों में, बोलकर सोचने से AI अधिक सुसंगत हुआ। अन्य में (जैसे अल्टिमेटम गेम में), इसने वास्तव में AI को कहानी के विशिष्ट शब्दों के प्रति अधिक संवेदनशील बना दिया। यह एक छात्र की तरह है जो, जब उसे अपना काम समझाने के लिए कहा जाता है, तो कभी अपनी गलती का एहसास होता है, तो कभी अपने ही स्पष्टीकरण से विचलित होकर एक नई गलती कर बैठता है।
5. "रीजनिंग" मॉडल
उन्होंने एक नए, "स्मार्टर" मॉडल (DeepSeek-R1) का भी परीक्षण किया जिसे विशेष रूप से जटिल तर्क के लिए डिज़ाइन किया गया है।
- परिणाम: यह मॉडल कहानी को अनदेखा करने और गणित पर ध्यान केंद्रित करने में बेहतर था। यह अधिक "पोर्टेबल" था। हालांकि, यह भी पूर्ण नहीं था। सबसे स्मार्ट मॉडल भी कहानी बदलने पर कुछ अस्थिरता दिखाता रहा।
निचोड़ (The Bottom Line)
शोध पत्र यह निष्कर्ष निकालता है कि आप यह मानकर नहीं चल सकते कि AI का व्यवहार वही रहेगा सिर्फ इसलिए क्योंकि गणित समान है।
यदि आप एक AI को विशिष्ट प्रॉम्प्ट्स में निष्पक्ष निर्णय लेने के लिए प्रशिक्षित करते हैं, तो आप स्वचालित रूप से इस बात पर भरोसा नहीं कर सकते कि वह उसी निष्पक्ष निर्णय को तब भी लेगा जब आप समस्या को थोड़े अलग तरीके से वर्णित करेंगे। AI वर्तमान में टेक्स्ट के "स्वाद" के प्रति बहुत संवेदनशील है।
संक्षेप में: AI एक ऐसे यात्री की तरह है जो मानचित्र को पूरी तरह से जानता है लेकिन अगर आप गंतव्य को किसी अलग भाषा में वर्णित करें, तो वह खो जाता है। जब तक हम इसे ठीक नहीं करते, हम इन मॉडल्स पर वास्तविक दुनिया में निरंतर निर्णय लेने के लिए पूरी तरह से भरोसा नहीं कर सकते, जहाँ समस्याएं शायद ही कभी बिल्कुल एक ही तरह से वर्णित की जाती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।