AIPsy-Affect: A Keyword-Free Clinical Stimulus Battery for Mechanistic Interpretability of Emotion in Language Models
यह शोध पत्र AIPsy-Affect को प्रस्तुत करता है, जो कीवर्ड-मुक्त भावनात्मक उपदेशों (vignettes) और मेल खाते तटस्थ नियंत्रणों वाला एक 480-आइटम वाला क्लिनिकल स्टिमुलस बैटरी है, ताकि भावना-विशिष्ट शब्दावली के भ्रम को समाप्त करके बड़े भाषा मॉडलों में भावना की कठोर यांत्रिक व्याख्यात्मकता (mechanistic interpretability) को सक्षम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक सुपर-स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) कहानी पढ़ते समय कैसा "महसूस" करता है। आप जानना चाहते हैं: क्या रोबोट स्थिति के भाव (emotion) को समझता है, या वह केवल विशिष्ट "भावना वाले शब्दों" जैसे कि क्रोध, दुःख, या खुशी को पहचान रहा है?
यही वह बड़ी समस्या है जिसे यह शोध पत्र हल करता है।
समस्या: "कीवर्ड ट्रैप" (Keyword Trap)
पिछले प्रयोगों के बारे में इस तरह सोचें: आप रोबोट को एक कहानी दिखाते हैं जिसमें लिखा है, "मैं आक्रोशित हूँ!" और रोबोट का आंतरिक अलार्म "क्रोध" के लिए बज उठता है।
- प्रश्न: क्या रोबोट ने आक्रोश की भावना को समझा? या उसने बस "आक्रोशित" शब्द देखा और बटन दबा दिया?
- मुद्दा: लगभग सभी पिछले परीक्षणों में, कहानियाँ भावनाओं वाले शब्दों से भरी होती थीं। यह बताना असंभव है कि रोबोट भावनाओं के मामले में स्मार्ट है या वह सिर्फ एक अच्छा शब्द-पहचानने वाला (word-spotter) है। यह बिल्कुल वैसा ही है जैसे किसी कुत्ते को "फेच" (fetch) शब्द का उपयोग करके यह परखना कि क्या वह "फेच" की अवधारणा समझता है, बजाय इसके कि वास्तव में गेंद फेंकी जाए।
समाधान: AIPsy-Affect (द "कीवर्ड-फ्री" टेस्ट)
लेखकों ने AIPsy-Affect नामक कहानियों का एक नया सेट बनाया है। इसे रोबोटों के परीक्षण के लिए एक "जादुई ट्रिक" के रूप में समझें।
1. "स्थिति-मात्र" वाली कहानियाँ (क्लिनिकल आइटम्स)
उन्होंने 192 कहानियाँ लिखीं जो ऐसी स्थिति का वर्णन करती हैं जिससे आपको एक विशिष्ट भावना (जैसे क्रोध, शोक, या हर्ष) महसूस होनी चाहिए, लेकिन उन्होंने उस भावना का नाम बताने वाले किसी भी शब्द को सख्ती से प्रतिबंधित कर दिया है।
- उदाहरण: यह कहने के बजाय कि "वह आक्रोशित था," वे लिखते हैं: "उसने कागजात फर्श पर फेंक दिए। बैंक स्टेटमेंट में शून्य बैलेंस दिखाया गया था। उसके भाई ने निकासी फॉर्म पर हस्ताक्षर किए थे।"
- यह कहानी घटनाओं के माध्यम से "विश्वासघात और क्रोध" चिल्ला रही है, लेकिन "क्रोध" शब्द कहीं भी मौजूद नहीं है।
2. "बोरिंग ट्विन" कहानियाँ (मैच्ड कंट्रोल्स)
प्रत्येक भावनात्मक कहानी के लिए, उन्होंने एक "जुड़वां" कहानी बनाई जो लंबाई, पात्रों और सेटिंग में लगभग समान है, लेकिन भावनाहीन है।
- उदाहरण: "उसने मेज पर रखे कागजात छाँटे। बैंक स्टेटमेंट में दिखाया गया कि बैलेंस 4% बढ़ा है। उसके भाई ने जमा पर्ची पर हस्ताक्षर किए थे।"
- समान पात्र, समान वस्तुएं, समान लंबाई। एकमात्र अंतर यह है कि "विश्वासघात" गायब है, जिसे एक उबाऊ दिनचर्या से बदल दिया गया है।
3. "जटिल बोरिंग" कहानियाँ
उन्होंने बहुत विस्तृत, तकनीकी चीजों (जैसे धातु काटती हुई मशीन या समुद्र में चलता हुआ जहाज) के बारे में 48 कहानियाँ भी जोड़ीं ताकि यह सुनिश्चित किया जा सके कि रोबोट केवल इसलिए उत्साहित नहीं हो रहा है क्योंकि कहानी "लंबी और विस्तृत" है, बल्कि इसलिए क्योंकि वह "भावनात्मक" है।
उन्होंने इसका परीक्षण कैसे किया (तीन-परतीय सुरक्षा कवच)
लेखकों ने केवल अपने लेखन पर भरोसा नहीं किया; उन्होंने यह साबित करने के लिए कहानियों को तीन अलग-अलग "जासूसों" के माध्यम से चलाया कि कहानियाँ वास्तव में कीवर्ड-मुक्त थीं:
- सरल शब्द काउंटर (VADER): यह टूल "खुश" या "दुखी" जैसे शब्दों को देखता है। इसने भावनात्मक और बोरिंग कहानियों के बीच कुछ अंतर पाया, लेकिन जब उन्होंने यह जांचा कि किन शब्दों ने अंतर पैदा किया, तो वे केवल स्थिति संबंधी शब्द थे जैसे "पैसा," "मृत्यु," या "अनुमोदित।" कोई वास्तविक भावना वाले शब्द नहीं मिले।
- इमोशन डिक्शनरी (NRC): यह टूल विशिष्ट भावना श्रेणियों (जैसे "डर" या "हर्ष") को देखता है। इसने शून्य अंतर पाया। भावनात्मक कहानियों में वास्तव में बोरिंग कहानियों की तुलना में कम भावना वाले शब्द थे!
- स्मार्ट AI क्लासिफायर (GoEmotions): यह एक बहुत ही स्मार्ट AI है जिसे भावनाओं को पहचानने के लिए प्रशिक्षित किया गया है।
- परिणाम A: यह "भावनात्मक" कहानियों और "बोरिंग" कहानियों के बीच अंतर बता सका (उसे पता था कि कुछ तो हो रहा है)।
- परिणाम B: यह बता नहीं सका कि वह कौन सी भावना थी। इसने 95% बार श्रेणी को गलत पहचाना।
- निष्कर्ष: स्मार्ट AI स्थिति के आधार पर यह महसूस कर सकता था कि "कुछ भावनात्मक हो रहा है," लेकिन वह उस भावना का नाम नहीं ले सका क्योंकि "नाम के टैग" (कीवर्ड्स) गायब थे।
यह क्यों महत्वपूर्ण है
यह डेटासेट वैज्ञानिकों के लिए एक उपकरण है, डॉक्टरों या थेरेपिस्टों के लिए उत्पाद नहीं।
- यह क्या अनुमति देता है: शोधकर्ता अब यह परीक्षण कर सकते हैं कि क्या एक रोबोट के पास वास्तव में एक "आंतरिक भावना सर्किट" है या वह केवल एक शब्द-मिलान करने वाली मशीन है। यदि एक रोबोट "आक्रोशित" शब्द का उपयोग किए बिना "आक्रोशित" वाली कहानी और उसके "बोरिंग ट्विन" के बीच अंतर बता सकता है, तो हम जानते हैं कि रोबोट ने केवल शब्दावली को नहीं, बल्कि स्थिति को समझा है।
- यह क्या नहीं है: यह शोध पत्र यह दावा नहीं करता कि इससे रोबोट वास्तविक भावनाएं महसूस करेंगे, और न ही यह दावा करता है कि इससे मानव मानसिक स्वास्थ्य का निदान करने में मदद मिलेगी। यह पूरी तरह से एक "तनाव परीक्षण" (stress test) है कि वर्तमान AI मॉडल भावनात्मक जानकारी को आंतरिक रूप से कैसे संसाधित करते हैं।
संक्षेप में
लेखकों ने कहानियों का एक सेट बनाया है जो भावनात्मक रूप से मुखर लेकिन भाषाई रूप से मौन हैं। "चीट कोड्स" (भावना वाले शब्दों) को हटाकर, उन्होंने यह देखने के लिए एक निष्पक्ष परीक्षण बनाया है कि क्या AI मॉडल वास्तव में मानवीय भावनाओं को समझ रहे हैं या केवल एक शब्दकोश को रट रहे हैं। परिणाम बताते हैं कि हालांकि AI इन कहानियों में भावना की उपस्थिति को महसूस कर सकता है, लेकिन विशिष्ट कीवर्ड्स की मदद के बिना उसे वर्गीकृत करने में उसे संघर्ष करना पड़ता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।