Free-form Association Tasks Reveal Stereotype Hallucination in Large Language Models

तकनीकी सारांश: मुक्त-रूप साहचर्य कार्य (Free-form Association Tasks) बड़े भाषा मॉडलों (LLMs) में रूढ़िबद्धता भ्रम (Stereotype Hallucination) को प्रकट करते हैं

समस्या विवरण
जबकि हालिया साहित्य यह सुझाव देता है कि बड़े भाषा मॉडल (LLMs) मानवीय रूढ़िबद्ध निर्णयों की भविष्यवाणी कर सकते हैं, यह स्पष्ट नहीं है कि क्या LLMs उन संज्ञानात्मक प्रक्रियाओं का अनुकरण करते हैं जो मानवीय रूढ़ियों के आधार हैं या वे केवल भविष्यवाणी कार्यों को हल करने के लिए सीखे गए साहचर्यों (associations) को पुनः प्राप्त (retrieve) करते हैं। पूर्व अनुसंधान मुख्य रूप से नियंत्रित निर्णय कार्यों (जैसे, बहुविकल्पीय सर्वेक्षण) या स्थापित, पूर्वानुमेय समूह पूर्वाग्रहों (जैसे, समाचारों पर पक्षपाती प्रतिक्रियाएं) द्वारा सीमित संदर्भों पर निर्भर रहे हैं। ये स्थितियाँ LLMs को वास्तविक संज्ञानात्मक तंत्रों को मॉडल करने के बजाय प्रशिक्षण डेटा से सांख्यिकीय सहसंबंधों को पुनः प्राप्त करके सफल होने की अनुमति दे सकती हैं। एक महत्वपूर्ण अंतराल उन नवीन, अनियंत्रित व्याख्यात्मक वातावरणों में LLMs के प्रदर्शन को समझने में मौजूद है जहाँ सांस्कृतिक अर्थ पूर्व-स्थापित नहीं होते हैं। विशेष रूप से, यह अज्ञात है कि क्या LLMs उन मुक्त-रूप उद्दीपकों (stimuli) की संरचना को दोहरा सकते हैं जिनमें अंतर्निहित अर्थपूर्ण अर्थ का अभाव होता है।

कार्यप्रणाली
लेखक पाँच सामाजिक डोमेन: लिंग, पक्षपात (partisanship), व्यक्तित्व, शहरीकरण और जीवनशैली (दिनचर्या) में मानव प्रतिभागियों और दो मल्टीमॉडल मॉडलों (GPT-4o mini और Llama-3.2-11B-Vision-Instruct) को शामिल करते हुए एक तुलनात्मक प्रयोगात्मक डिजाइन का उपयोग करते हैं।

1. उद्दीपन (Stimuli): अध्ययन 12 संदिग्ध दृश्य उद्दीपनों (4 रोर्शाक स्याही धब्बे और 8 अमूर्त कलाकृतियाँ) का उपयोग करता है जिन्हें जानबूझकर उनके पूर्व-स्थापित सांस्कृतिक अर्थों, स्पष्ट प्रतीकों या सौंदर्य संबंधी तटस्थता के अभाव के लिए चुना गया है।
2. प्रायोगिक स्थितियाँ:
   • प्रथम-क्रम कार्य (First-Order Tasks): प्रतिभागी (मानव) और मॉडल (एक व्यक्तित्व-आधारित प्रॉम्प्ट का उपयोग करते हुए, जैसे, "आप एक [पहचान] हैं") प्रत्यक्ष व्यक्तिगत व्याख्या प्रदान करते हैं। प्रतिक्रियाओं में 3 वस्तु साहचर्य, 3 अवधारणा साहचर्य और 1 भावना शामिल है।
   • द्वितीय-क्रम कार्य (Second-Order Tasks): प्रतिभागी और मॉडल यह भविष्यवाणी करते हैं कि विशिष्ट सामाजिक समूहों के सदस्य उन्हीं उद्दीपकों की व्याख्या कैसे करेंगे।
3. डेटा संग्रह:
   • मानव: प्रत्येक डोमेन के लिए ~300 प्रतिभागियों को Prolific के माध्यम से भर्ती किया गया। प्रथम-क्रम प्रतिभागियों ने 4 यादृच्छिक उद्दीपकों की व्याख्या की; द्वितीय-क्रम प्रतिभागियों ने एक डोमेन के भीतर दोनों समूहों के लिए व्याख्याओं की भविष्यवाणी की।
   • LLMs: मॉडलों को चार तापमान सेटिंग्स (0.3, 0.7, 0.9, 1.0) में प्रति डोमेन/उद्दीपक संयोजन 80 बार क्वेरी किया गया ताकि मॉडल परिवर्तनशीलता को पकड़ा जा सके।
   • लीव-वन-आउट (LOO) कंडीशनिंग: यह परीक्षण करने के लिए कि क्या समरूपीकरण (homogenization) अपर्याप्त वैयक्तिकरण के कारण है, GPT-4o mini को तीन छवियों के लिए विशिष्ट मानव प्रतिभागियों के वास्तविक साहचर्यों पर अनुकूलित (conditioned) किया गया ताकि चौथी रखी गई छवि के लिए उनके साहचर्य की भविष्यवाणी की जा सके।
4. विश्लेषण मेट्रिक्स:
   • समूह के भीतर विविधता (Within-Group Diversity): शब्द साहचर्यओं के शैनन एंट्रॉपी (Shannon entropy) का उपयोग करके मापा गया।
   • समूहों के बीच पृथक्करणीयता (Between-Group Separability): साहचर्यओं के भाषाई पैटर्न के आधार पर समूह सदस्यता की भविष्यवाणी करने के लिए LLM क्लासिफायर (GPT-4o mini और Llama) को प्रशिक्षित करना।
   • सिमेंटिक स्पेस विश्लेषण: PCA के माध्यम से 2D स्थान में प्रोजेक्ट किए गए वर्ड एम्बेडिंग्स (Sentence-BERT) का उपयोग प्रतिक्रियाओं के टोपोलॉजी और क्लस्टरिंग को देखने के लिए किया गया।

प्रमुख परिणाम
अध्ययन रूढ़िवादिता के संबंध में मानव और LLM संज्ञानात्मक प्रक्रियाओं के बीच मौलिक गुणात्मक अंतर प्रकट करता है:

• समूह के भीतर विविधता (एंट्रॉपी): मानव प्रथम-क्रम प्रतिक्रियाएं उच्च विषमता (उच्च एंट्रॉपी) प्रदर्शित करती हैं, जहाँ जनसांख्यिकीय जानकारी व्याख्या का एक कमजोर भविष्यवक्ता है। इसके विपरीत, LLMs, चाहे भी दी गई सामाजिक पहचान कुछ भी हो, समरूप प्रथम-क्रम प्रतिक्रियाएं (कम एंट्रॉपी) उत्पन्न करते हैं। यह समरूपीकरण LOO कंडीशनिंग के तहत भी बना रहता है, जहाँ मॉडल विशिष्ट व्यक्तिगत व्यवहार डेटा दिए जाने के बावजूद मानव भिन्नता को पकड़ने में विफल रहता है।
• समूहों के बीच पृथक्करणीयता (वर्गीकरण सटीकता):
  • मानव: प्रथम-क्रम मानव प्रतिक्रियाएं समूह द्वारा लगभग अविभेद्य (वर्गीकरण सटीकता यादृच्छिक संभावना के करीब, 46–60%) होती हैं। द्वितीय-क्रम कार्यों में, मानव "रूढ़िबद्ध अतिशयोक्ति" (stereotype exaggeration) प्रदर्शित करते हैं, जो कमजोर प्रथम-क्रम प्रवृत्तियों को बढ़ाकर और विविधता को बनाए रखते हुए पृथक्करणीयता को मध्यम रूप से बढ़ाते हैं (57–79%)।
  • LLMs: जबकि प्रथम-क्रम LLM प्रतिक्रियाएं कम पृथक्करणीयता दिखाती हैं (व्यक्तित्व डोमेन को छोड़कर), द्वितीय-क्रम LLM प्रतिक्रियाएं अत्यधिक पृथक्करणीयता प्रदर्शित करती हैं (अक्सर >90%, कुछ डोमेन में 99.9% तक पहुँच जाती है)। LLMs अत्यधिक ध्रुवीकृत, समूह-विशिष्ट साहचर्य उत्पन्न करते हैं जिन्हें क्लासिफायर द्वारा आसानी से पहचाना जा सकता है, जो मानव स्तर की विशिष्टता से कहीं अधिक है।
• सिमेंटिक टोपोलॉजी: PCA विश्लेषण दिखाता है कि मानव प्रतिक्रियाएं व्यापक, ओवरलैपिंग, निरंतर क्लस्टर बनाती हैं। LLM प्रतिक्रियाएं, विशेष रूप से द्वितीय-क्रम कार्यों में, घने केंद्रित, खंडित और स्थानिक रूप से अलग क्लस्टर बनाती हैं जो मानव प्रथम-क्रम प्रतिक्रियाओं द्वारा घेरे गए सिमेंटिक क्षेत्रों से कटे हुए हैं।
• रूढ़िबद्धता भ्रम (Stereotype Hallucination): लेखक LLM घटना को "रूढ़िबद्धता भ्रम" (stereotype hallucination) कहते हैं। मानवीय 'रूढ़िबद्ध अतिशयोक्ति' के विपरीत, जो वास्तविक पूर्वाग्रहों को पुष्ट करती है, LLMs तीव्र द्वितीय-क्रम रूढ़ियाँ उत्पन्न करते हैं जो न तो मौजूदा प्रथम-क्रम प्रवृत्तियों को बढ़ाते हैं और न ही वास्तविक मानवीय समूह अंतरों को दर्शाते हैं। ये भ्रमित प्रोटोटाइप (hallucinated prototypes) मानव सत्य (ground truth) से सिमेंटिक रूप से स्वतंत्र हैं।
• मजबूती (Robustness): ये निष्कर्ष तब भी बने रहते हैं जब मॉडलों को फाइन-ट्यून या व्यक्तिगत प्रतिभागी डेटा पर अनुकूलित किया जाता है, जो यह सुझाव देता है कि समस्या एक आर्किटेक्चरल बाधा है न कि केवल प्रॉम्प्टिंग का प्रभाव।

प्रमुख योगदान

1. "रूढ़िबद्धता भ्रम" की पहचान: यह शोध एक विशिष्ट तंत्र प्रस्तुत करता है जहाँ LLMs नवीन संदर्भों में अत्यधिक समूह रूढ़ियाँ उत्पन्न करते हैं जो मानवीय व्याख्यात्मक वास्तविकता से मौलिक रूप से विच्छेदित हैं, जो मानवीय "रूढ़िबद्ध अतिशयोक्ति" के विपरीत है।
2. पद्धतिगत नवाचार: अमूर्त/अस्पष्ट उद्दीपनों (Rorschach/अमूर्त कला) का उपयोग करके, अध्ययन अर्थ निर्माण की संज्ञानात्मक प्रक्रियाओं को स्थापित सांस्कृतिक स्क्रिप्ट की प्राप्ति (retrieval) से अलग करता है, जिससे संज्ञानात्मक मॉडल के रूप में LLMs का अधिक कठोर परीक्षण संभव होता है।
3. आर्किटेक्चरल सीमा का प्रमाण: अध्ययन प्रदर्शित करता है कि LLMs व्यक्तिगत विषमता को बनाए रखने में विफल रहते हैं और इसके बजाय सामाजिक रूप से उपलब्ध प्रोटोटाइप की ओर झुक जाते हैं, भले ही उन्हें विशिष्ट व्यक्तिगत व्यवहार डेटा प्रदान किया गया हो।

महत्व
यह शोध तर्क देता है कि LLMs नवीन, संदिग्ध या सांस्कृतिक रूप से अस्थिर संदर्भों में सामाजिक विज्ञान के लिए विश्वसनीय "मॉडल ऑर्गेज्म" के रूप में कार्य नहीं कर सकते। जबकि LLMs उन डोमेन में मानवीय व्यवहार की भविष्यवाणी करने में सफल हो सकते हैं जहाँ अर्थ स्थिर और समूह सीमाएँ स्थापित हैं (जैसे, समाचारों पर पक्षपाती प्रतिक्रियाएं), वे विविध व्याख्याओं से अर्थ के सक्रिय सामाजिक निर्माण को मॉडल करने में विफल रहते हैं। निष्कर्ष बताते हैं कि जब मानव प्रतिक्रियाएं विशिष्ट (idiosyncratic) और जनसांख्यिकी द्वारा कमजोर रूप से संरचित होती हैं, तो उच्च-एंट्रॉपी वातावरण में मानव अनुभूति का अनुकरण करने में LLMs सीमित होते हैं। फलस्वरूप, उभरती सामाजिक घटनाओं या अर्थों के स्थिर होने से पहले मानव व्यवहार की भविष्यवाणी करने के लिए LLMs का उपयोग करने से व्यवस्थित रूप से पक्षपाती और अवास्तविक परिणाम मिल सकते हैं, क्योंकि मॉडल मानवीय व्याख्यात्मक विविधता के बजाय समूह प्रोटोटाइप को भ्रमित (hallucinate) करने की प्रवृत्ति रखते हैं।