TEMPER: Testing Emotional Perturbation in Quantitative Reasoning
यह शोध पत्र TEMPER को प्रस्तुत करता है, जो एक ऐसा बेंचमार्क और ढांचा है जो यह प्रदर्शित करता है कि मात्रात्मक तर्क (क्वांटिटेटिव रीजनिंग) कार्यों में भावनात्मक फ्रेमिंग, संख्यात्मक सामग्री को सुरक्षित रखते हुए भी, लार्ज लैंग्वेज मॉडल के प्रदर्शन को महत्वपूर्ण रूप से कम कर देती है, जबकि यह भी दिखाता है कि ऐसी भावनात्मक भाषा को तटस्थ करने से सटीकता प्रभावी रूप से पुनः प्राप्त हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "TEMPER: Testing Emotional Perturbation in Quantitative Reasoning" का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
मुख्य विचार: क्या AI गुस्से में स्पष्ट रूप से सोच सकता है?
कल्पना कीजिए कि आपने एक बहुत ही बुद्धिमान, अच्छी तरह से प्रशिक्षित रोबोट को गणित की समस्या हल करने के लिए कहा।
- परिदृश्य A: आप विनम्रता से पूछते हैं: "यदि मेरे पास 5 सेब हैं और मैं 3 और खरीदता हूँ, तो मेरे पास कितने होंगे?"
- परिदृश्य B: आप हताशा में चिल्लाते हैं: "उफ़, मुझे बहुत गुस्सा आ रहा है! मेरे पास 5 सड़े हुए सेब थे, फिर मैंने 3 और भयानक वाले खरीदे! अब मेरे पास ये कितने घटिया सेब हैं?!"
दोनों मामलों में, गणित बिल्कुल समान है ()। संख्याएँ नहीं बदली हैं। लेकिन परिदृश्य B में, रोबोट "भावनात्मक शोर" (emotional noise) से घिरा हुआ है।
शोध यह पूछता है: क्या रोबोट आवाज़ के लहजे से भ्रमित हो जाता है, भले ही तथ्य एकदम सही हों?
इसका उत्तर एक जोरदार हाँ है। शोधकर्ताओं ने पाया कि जब उन्होंने गणित की समस्याओं को भावनात्मक भाषा (जैसे क्रोध, घृणा या भय) में लपेटा, तो सबसे स्मार्ट AI मॉडल भी अधिक गलतियाँ करने लगे।
प्रयोग: "इमोशनल ट्रांसलेटर फैक्ट्री"
इसका परीक्षण करने के लिए, शोधकर्ता केवल मनुष्यों को AI पर चिल्लाने के लिए नहीं कह सकते थे (वह बहुत अराजक होता)। इसके बजाय, उन्होंने एक विशेष "इमोशनल ट्रांसलेटर फैक्ट्री" बनाई।
- शिक्षक (The Teacher): उन्होंने एक "शिक्षक" AI को प्रशिक्षित किया जो भावनाओं को पहचानने में विशेषज्ञ है (एक ड्रामा क्रिटिक की तरह)।
- छात्र (The Student): उन्होंने एक "छात्र" AI को गणित की समस्याओं को फिर से लिखने के लिए प्रशिक्षित किया।
- चाल (The Trick): छात्र ने एक उबाऊ गणित की समस्या को लेना और उसे एक चिड़चिड़े किशोर, एक डरे हुए व्यक्ति, या एक अति-उत्साही प्रशंसक की तरह दिखने के लिए फिर से लिखना सीखा, बिना एक भी संख्या बदले।
उन्होंने 5,400 समस्याओं के जोड़े बनाए। प्रत्येक मूल गणितीय प्रश्न के लिए, उनके पास एक "भावनात्मक संस्करण" और एक "तटस्थ (Neutral) संस्करण" था।
परिणाम: "इमोशनल हैंगओवर" (Emotional Hangover)
जब उन्होंने 18 अलग-अलग AI मॉडल का परीक्षण किया (छोटे मॉडलों से लेकर GPT-4 और DeepSeek जैसे विशाल "फ्रंटियर" मॉडलों तक), तो उन्हें दो मुख्य बातें पता चलीं:
1. "इमोशनल हैंगओवर" (सटीकता में गिरावट)
ठीक वैसे ही जैसे कोई इंसान गुस्से में चिल्लाते समय गणित की सरल गलती कर सकता है, भावनात्मक समस्या होने पर AI भी गणित में खराब प्रदर्शन करने लगा।
- गिरावट: सटीकता 2% से 10% तक गिर गई।
- मुख्य कारण: "घृणा" (Disgust) का भाव सबसे बुरा साबित हुआ। यदि कोई समस्या "घिनौनी" या "अरुचिकर" लग रही थी, तो AI के विफल होने की संभावना सबसे अधिक थी। "भय" (Fear) दूसरे स्थान पर था। "प्रसन्नता" (Joy) और "आश्चर्य" (Surprise) सबसे कम ध्यान भटकाने वाले थे।
- उपमा: कल्पना कीजिए कि कोई आपके कान में भारी मेटल संगीत बजाकर और चिल्लाकर शोर मचा रहा है, जबकि आप अपना टैक्स भर रहे हैं। भले ही पन्ने पर संख्याएँ स्पष्ट हों, आपका दिमाग उस शोर से विचलित हो जाता है। AI का "दिमाग" भावनात्मक शब्दों से विचलित हो गया।
2. "मैजिक इरेज़र" (तटस्थ बनाना)
यहाँ दिलचस्प बात यह है। शोधकर्ताओं ने उन गुस्से वाले, भावनात्मक प्रश्नों को लिया और उनमें से भावना को हटाने के लिए एक "न्यूट्रलाइज़र" (Neutralizer) चलाया, जिससे केवल गणित शेष रह गया।
- परिणाम: AI का प्रदर्शन वापस सुधर गया! उसने खोए हुए अधिकांश अंक वापस पा लिए।
- यह क्या सिद्ध करता है: इसने पुष्टि की कि AI इसलिए विफल नहीं हुआ क्योंकि गणित गलत था। वह इसलिए विफल हुआ क्योंकि टेक्स्ट की शैली ने उसकी सोचने की प्रक्रिया में बाधा डाली। यदि आप "शोर को साफ" कर देते हैं, तो AI स्पष्ट रूप से सोच सकता है।
यह क्यों महत्वपूर्ण है: "छिपा हुआ मस्तिष्क" परिवर्तन
शोधकर्ताओं ने AI के "मस्तिष्क" (इसके आंतरिक डेटा परतों) के अंदर झाँका कि वहाँ क्या हो रहा था।
- रूपक (Metaphor): कल्पना कीजिए कि AI का मस्तिष्क एक पुस्तकालय है।
- जब आप एक सामान्य गणित का प्रश्न पूछते हैं, तो किताबें अलमारियों पर करीने से व्यवस्थित होती हैं।
- जब आप एक भावनात्मक प्रश्न पूछते हैं, तो किताबें एक अराजक ढेर में फेंक दी जाती हैं। AI को सही नंबर खोजने के लिए उस ढेर में से खुदाई करने में अतिरिक्त ऊर्जा खर्च करनी पड़ती है।
- अध्ययन ने दिखाया कि भावनात्मक टेक्स्ट AI के आंतरिक "विचारों" को सामान्य शब्दों के बदलाव की तुलना में सही पथ से 3 से 4 गुना अधिक दूर धकेल देता है।
वास्तविक जीवन के लिए सीख
हम अक्सर सोचते हैं कि AI एक कैलकुलेटर की तरह है: ठंडा, तार्किक और भावनाओं से मुक्त। यह शोध पत्र दिखाता है कि AI वास्तव में मानवीय भावनाओं के प्रति काफी संवेदनशील है।
- उपयोगकर्ताओं के लिए: यदि आप AI से निराश हैं, तो उस पर चिल्लाना (या गुस्से वाले इमोजी के साथ बड़े अक्षरों में टाइप करना) वास्तव में इसे कम मददगार बना सकता है, भले ही आप एक साधारण गणना पूछ रहे हों।
- डेवलपर्स के लिए: हमें ऐसे AI बनाने की आवश्यकता है जो भावनात्मक शोर को "फ़िल्टर" कर सके, ठीक वैसे ही जैसे एक नॉइज़-कैंसलिंग हेडफ़ोन बैकग्राउंड की आवाज़ को फ़िल्टर करता है, ताकि वह गणित पर ध्यान केंद्रित कर सके।
एक वाक्य में सारांश
भले ही AI एक मशीन है, गणित की समस्या को गुस्से या घृणा भरे शब्दों में लपेटने से उसका दिमाग भ्रमित हो जाता है और वह गलतियाँ करने लगता है, लेकिन यदि आप भावना को हटा दें, तो वह स्पष्ट रूप से सोचना याद रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।