Calibrating the Instrument: Controllability of an LLM-Driven Synthetic Population

तकनीकी सारांश: उपकरण का अंशांकन (कैलिब्रेशन) – एक LLM-संचालित कृत्रिम जनसंख्या की नियंत्रणीयता

समस्या विवरण
जेनेरेटिव सिंथेटिक पॉपुलेशन (GSP)—जो सांख्यिकीय जनसंख्या संश्लेषण, एजेंट-आधारित मॉडलिंग (ABM), और लार्ज लैंग्वेज मॉडल (LLM) एजेंटों का संगम है—शहरी सिमुलेशन और संस्थागत संचार अनुसंधान के लिए आशाजनक हैं। हालांकि, एक मौलिक सत्यापन अंतराल मौजूद है: एक GSP उपकरण को वास्तविक दुनिया की आबादी (बाहरी वैधता) को मॉडल करने के लिए विश्वसनीय होने से पहले, इसके आंतरिक तंत्र को सत्यापित किया जाना चाहिए। विशेष रूप से, क्या उपकरण ज्ञात वैलेंस (valence) वाले उद्दीपकों (stimuli) के प्रति एक व्यवस्थित, पुनरुत्पादक और समूह-संरचित तरीके से प्रतिक्रिया करता है? यह शोध पत्र तर्क देता है कि इस गुण को स्थापित करने के बिना, जिसे नियंत्रणीयता (controllability) कहा गया है, GSP के मानव व्यवहार को ट्रैक करने की क्षमता के संबंध में कोई भी दावा तार्किक रूप से अपरिपक्व है। लेखक तर्क देते हैं कि एक सिंथेटिक जनसंख्या को पहले स्वयं को "ट्रैक" करना दिखाना चाहिए—अर्थात उस पर आरोपित गुप्त संरचना को पुनः प्राप्त करना—इससे पहले कि इसका उपयोग वास्तविक मनुष्यों को ट्रैक करने के लिए किया जा सके।

कार्यप्रणाली: SIVE प्रयोग
इसे संबोधित करने के लिए, लेखक SIVE (सिंथेटिक इंस्ट्रूमेंट वैलिडेशन एक्सपेरिमेंट) पेश करते हैं, जो एक न्यूनतम-मॉडल अंशांकन बेंच है जिसे वास्तविक दुनिया की जटिलता के शोर (noise) से उपकरण के प्रतिक्रिया फलन (response function) को अलग करने के लिए डिज़ाइन किया गया है।

• प्रायोगिक प्रणाली (मोंटेलागो): एक काल्पनिक इतालवी नगर पालिका जिसका कोई वास्तविक संदर्भ नहीं है, जो 120 सिंथेटिक पात्रों (personas) से भरी हुई है। प्रत्येक पात्र के पास एक ज्ञात, एन्कोडेड गुप्त दृष्टिकोण संरचना (विशेष रूप से, संस्थागत विश्वास स्तर: निम्न, मध्यम, उच्च) और एक जनसांख्यिकीय प्रोफ़ाइल है, लेकिन इन्फरेंस (inference) के दौरान ये एन्कोडेड स्कोर LLM से छिपाए जाते हैं। LLM को केवल पात्र की पृष्ठभूमि की कहानी और जनसांख्यिकीय डेटा प्राप्त होता है।
• उद्दीपक (Stimuli): जनसंख्या को एक नगरपालिका जल नेटवर्क के बारे में संस्थागत संचार से जुड़े सात प्रायोगिक स्थितियों के संपर्क में लाया जाता है। ये एक वैलेंस स्पेक्ट्रम को कवर करते हैं:
  • POS/POS2: अत्यधिक सकारात्मक (शोर अनुमान के लिए प्रतिकृति)।
  • NEG: अत्यधिक नकारात्मक।
  • POSW/POSW2: "कमजोर सकारात्मक" संकेत (POSW एक गलत अंशांकित उद्दीपक था; POSW2 एक पुन: अंशांकित संस्करण था)।
  • PLA: एक विषयगत रूप से ऑर्थोगोनल प्लेसबो (पड़ोस का उत्सव)।
  • CTRL: कोई संदेश नहीं।
• प्रक्रिया: प्रत्येक 120 एजेंट सात स्वतंत्र रन (प्रत्येक स्थिति के लिए एक) से गुजरता है। प्रत्येक रन में, एजेंट उद्दीपक-पूर्व रेटिंग प्रदान करते हैं, तीन सामयिक अंतरालों पर मुक्त-पाठ (free-text) के माध्यम से उद्दीपक पर प्रतिक्रिया देते हैं, और उद्दीमक-पश्चात रेटिंग प्रदान करते हैं।
• पैरामीटर: प्रयोगों को डेकसीप deepseek-chat मॉडल का उपयोग करके एक टेम्परेचर स्वीप ($t \in \{0.2, 0.5, 0.7\}$) के तहत आयोजित किया गया।
• सत्यापन मानदंड: देखे जाने वाले मापदंडों का आकलन करने के लिए सात पूर्व-पंजीकृत मानदंड (C1–C7) परिभाषित किए गए थे:
  1. निष्ठा (Fidelity - C1): एन्कोडेड गुप्त दृष्टिकोण और पूर्व-उद्दीपक प्रतिक्रियाओं के बीच सहसंबंध।
  2. स्थिरता (Stability - C2): विभिन्न स्थितियों में पूर्व-उद्दीमक बेसलाइन की निरंतरता।
  3. शोर तल (Noise Floor - C3): प्रतिकृति उद्दीपकों (POS बनाम POS2) और एकल-प्रोफ़ाइल पुनरावृत्ति के माध्यम से मापी गई अंतर्निहित परिवर्तनशीलता।
  4. विशिष्टता (Specificity - C4): नियंत्रण (CTRL) की तुलना में प्लेसबो (PLA) का शून्य प्रभाव।
  5. संवेदनशीलता (Sensitivity - C5): ज्ञात वैलेंस वाले उद्दीपकों के प्रति क्रमबद्ध प्रतिक्रिया।
  6. क्रमबद्धता (Ordering - C6): देखे गए और अपेक्षित स्थिति रैंकिंग के बीच रैंक सहसंबंध।
  7. प्राप्ति जाँच (Receipt Check - C7): संदेश के वैलेंस की परवाह किए बिना सूचना पर्याप्तता के बदलावों का पता लगाना।

प्रमुख परिणाम
सभी सात पूर्व-पंजीकृत मानदंडों को तीनों तापमान सेटिंग्स ($t=0.2, 0.5, 0.7$) पर सफलतापूर्वक पार किया गया।

• निष्ठा और स्थिरता: उपकरण ने वफादारी से गुप्त विश्वास संरचना को पुनः प्राप्त किया (प्राथमिक विश्वास चर के लिए C1: $r > 0.89$) और स्थितियों के बीच स्थिर बेसलाइन बनाए रखी (C2: $r_{min} > 0.85$)।
• शोर लक्षण वर्णन: क्रॉस-एजेंट शोर तल ($\sigma_{cross} \approx 1.4$) पाया गया जो कि अंतर्निहित उपकरण शोर ($\sigma_{instr} \approx 0.77$) का लगभग दोगुना था, जिसे एकल-प्रोफ़ाइल पुनरावृत्ति के माध्यम से अलग किया गया था। महत्वपूर्ण रूप से, अंतर्निहित शोर तापमान-अपरिवर्तनीय था।
• अंशांकन सफलता (POSW/POSW2): एक उद्दीपक अंशांकन विफलता से एक केंद्रीय निष्कर्ष निकला। "कमजोर सकारात्मक" उद्दीपक (POSW), जिसे तटस्थ-से-सकारात्मक के रूप में डिज़ाइन किया गया था, उसे उपकरण द्वारा कार्यात्मक रूप से नकारात्मक के रूप में पहचाना गया, जिसने विश्वास स्कोर को नियंत्रण बेसलाइन से नीचे धकेल दिया। उत्तरवर्ती विश्लेषण (post-hoc analysis) से पता चला कि पाठ में "समस्या-प्लस-अनिश्चितता-प्लस-संस्थागत-निष्क्रियता" समाहित थी। एक पुन: अंशांकित उद्दीपक (POSW2) ने अपेक्षित क्रम को बहाल कर दिया, जिससे उपकरण की स्वयं के उद्दीपकों के डिजाइन दोषों को निदान करने की क्षमता प्रदर्शित हुई।
• संवेदनशीलता और क्रमबद्धता: उपकरण ने उद्दीपकों के बीच सफलतापूर्वक भेदभाव किया, और एक बार पुन: अंशांकित POSW2 को शामिल करने के बाद, स्थितियों की देखी गई रैंकिंग अपेक्षित रैंकिंग से मेल खाती थी (C6: $\tau \approx 1.0$)।
• सूक्ष्म-गतिशीलता (Micro-Dynamics): जबकि समग्र मेट्रिक्स ने सुसंगत रुझान दिखाए, व्यक्तिगत एजेंट प्रक्षेपवक्रों ने गुणात्मक रूप से भिन्न मनोवैज्ञानिक तंत्रों को प्रकट किया। उदाहरण के लिए, एक नकारात्मक उद्दीपक के तहत, "निम्न विश्वास" वाले एजेंटों ने या तो निष्क्रिय나 सक्रिय नागरिक लामबंदी (civic mobilization) प्रदर्शित की, जबकि "उच्च विश्वास" वाले एजेंटों ने केवल विश्वास में गिरावट के बजाय स्रोत विश्वसनीयता के पतन का अनुभव किया।

महत्व और दावे
यह शोध पत्र दावा करता है कि SIVE, GSP अनुसंधान के लिए एक आवश्यक तार्किक पूर्व शर्त स्थापित करता है: नियंत्रणीयता। लेखक तर्क देते हैं कि एक उपकरण के प्रतिक्रिया फलन का लक्षण वर्णन करना, मानव व्यवहार के विरुद्ध इसकी बाहरी निष्ठा को मान्य करने से अलग और उसका पूर्व-आवश्यकक है।

• पहले आंतरिक वैधता: अध्ययन यह प्रदर्शित करता है कि एक GSP उपकरण को वास्तविक मानव डेटा के साथ तुलना किए बिना, ज्ञात इनपुट के प्रति एक संरचित तरीके से प्रतिक्रिया करने के लिए कठोरता से अंशांकित किया जा सकता है।
• नैदानिक उपयोगिता: प्रयोग उद्दीपकों के स्वयं के लिए एक नैदानिक उपकरण के रूप में उपकरण की क्षमता को उजागर करता है, जिससे पता चलता है कि "कमजोर सकारात्मक" संदेशों को संदिग्ध दर्शकों द्वारा संस्थागत निष्क्रियता के कारण नकारात्मक के रूप में क्यों समझा जा सकता है।
• परिशुद्धता: अध्ययन ने इसके शोर तल को परिमाणित किया, यह दिखाते हुए कि यह सहज क्रॉस-एजेंट विश्लेषणों की तुलना में अधिक सटीक है, और यह परिशुद्धता तापमान विविधताओं के बीच स्थिर है।
• दायरा: लेखक स्पष्ट रूप से कहते हैं कि SIVE इस बात को मान्य नहीं करता है कि उपकरण वास्तविक आबादी को मॉडल करने में सक्षम है (बाहरी वैधता) या उस विशिष्ट कैफ़ारो/ब्रेसिया केस स्टडी की गतिशीलता को, जिसने इस कार्य को प्रेरित किया था। इसके बजाय, यह "चरित्रांकित उपकरण" प्रदान करता है जिसकी आवश्यकता भविष्य के इन प्रश्नों को विश्वसनीय रूप से आगे बढ़ाने के लिए है।

शोध पत्र निष्कर्ष निकालता है कि मोंटेलागो उपकरण नियंत्रणीय है और SIVE की प्रयोगात्मक तर्क पद्धति को अन्य उपकरणों के लिए अनुकूलित किया जा सकता है, जो LLM-संचालित सामाजिक सिमुलेशन के परिपक्वता के लिए एक आधारभूत कदम प्रदान करता है।