Beyond the Mean: Three-Axis Fidelity for Aligning LLM-Based Survey Simulators from Small Pilot Data

तकनीकी सारांश: औसत से परे: छोटे पायलट डेटा से LLM-आधारित सर्वेक्षण सिम्युलेटर्स को संरेखित करने के लिए त्रि-अक्षीय निष्ठा (Three-Axis Fidelity)

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग सामाजिक विज्ञान सर्वेक्षणों में मानव उत्तरदाताओं के प्रॉक्सी के रूप में तेजी से किया जा रहा है, जिसमें "सिलिकॉन सैंपल्स" से लेकर प्रयोगात्मक परिणामों की भविष्यवाणी करने वाले फाइन-ट्यून्ड मॉडल्स तक शामिल हैं। हालांकि, मौजूदा ऑडिट LLM-जनित सर्वेक्षण प्रतिक्रियाओं में व्यवस्थित विकृतियों (pathologies) को प्रकट करते हैं:

• सीमांत विरूपण (Marginal Distortion): आउटपुट अक्सर सीमांत वितरण (marginal distributions) के करीब होते हैं लेकिन विचरण (variance) को कम कर देते हैं।
• संरचनात्मक क्षीणन (Structural Attenuation): भविष्यवक्ता-परिणाम (predictor–outcome) संबंध अक्सर कमजोर हो जाते हैं, और लगभग एक-तिहाई मामलों में प्रभाव-आकार (effect-size) के संकेत उलट जाते हैं।
• समरूपीकरण (Homogenization): अल्पसंख्यक समूहों को अक्सर संरचनात्मक रूप से विकृत या समरूप बनाया जाता है।
• संवेदनशीलता (Sensitivity): आउटपुट प्रॉम्प्ट परिवर्तनों (perturbations) के प्रति अत्यधिक संवेदनशील होते हैं और उच्च विश्लेषणात्मक लचीलापन प्रदर्शित करते हैं।

केंद्रीय शोध प्रश्न यह है: एक छोटे पायलट नमूने ($D_p$) के दिए जाने पर, क्या एक LLM व्यापक होल्ड-आउट जनसंख्या ($D \setminus D_p$) की सांख्यिकीय विशेषताओं को पुनः प्राप्त कर सकता है? लेखक तर्क देते हैं कि LLMs को सीधे प्रतिस्थापन (drop-in replacements) के रूप में नहीं, बल्कि कठोर मूल्यांकन की आवश्यकता वाले सशर्त जनरेटिव मॉडल्स के रूप में देखा जाना चाहिए।

2. कार्यप्रणाली (Methodology)

डेटा और सेटअप
यह अध्ययन दक्षिण कोरिया में आयोजित एक COVID-19 गलत सूचना (misinformation) सर्वेक्षण का उपयोग करता है ($N=1,466$)। प्रत्येक उत्तरदाता एक प्रोफाइल ($X_i$) प्रदान करता है जिसमें जनसांख्यिकी और साइकोमेट्रिक स्केल शामिल हैं, और 36 विश्वास मदों (18 गलत दावे, 18 सत्य दावे) पर 4-पॉइंट लिकर्ट स्केल पर उत्तर देता है।

• पायलट: अंशांकन (calibration) के लिए एक निश्चित 5% नमूना ($n=74$) उपयोग किया गया है।
• मूल्यांकन: शेष 1,392 उत्तरदाता होल्ड-आउट ग्राउंड ट्रुथ के रूप में कार्य करते हैं।
• मीट्रिक्स: प्रत्येक उत्तरदाता के लिए तीन स्केलर सारांश निकाले गए हैं: गलत सूचना माध्य ($m_i$), सत्य सूचना माध्य ($t_i$), और एक विभेदक स्कोर ($d_i = t_i - m_i$)।

कैलिब्रेशन पाइपलाइन्स
लेखक चार दृष्टिकोणों के परिवारों का बेंचमार्क करते हैं:

1. ज़ीरो-शॉट (ZS): उत्तरदाता प्रोफाइल ($X_i$) के साथ LLM को प्रॉम्प्ट करना ताकि प्रतिक्रियाएँ ($Y_i$) अनुमानित की जा सकें। इसके वेरिएंट में बैच प्रॉम्प्टिंग (सभी 36 मद एक साथ) और प्रति-मद (per-item) प्रॉम्प्टिंग शामिल हैं।
2. फ्यू-शॉट (FS): पायलट $D_p$ से पाँच पंक्तियों को इन-कॉन्टेक्स्ट उदाहरणों के रूप में प्रॉम्प्ट में इंजेक्ट करना।
3. पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT): पायलट $D_p$ का उपयोग करके Qwen3-8B को दो कॉन्फ़िगरेशन में फाइन-ट्यून करना:
   • LoRA: ऑटो-रिग्रेसिव टोकन जनरेशन।
   • LoRA + MLP: LoRA एडैप्टर्स के साथ एक प्रशिक्षित 5-वे MLP वर्गीकरण हेड (4 लिकर्ट क्लास + "देख नहीं पाया")।
4. PPI सुधार (PPI Rectification): प्रॉम्प्ट-आधारित सिम्युलेटर्स के प्रति-मद जनसंख्या माध्य को ठीक करने के लिए प्रेडिक्शन-पावर्ड इन्फरेंस (PPI) लागू करना।

त्रि-अक्षीय निष्ठा मूल्यांकन (Three-Axis Fidelity Evaluation)
पुनर्प्राप्ति (recovery) को तीन अलग-अलग अक्षों में विभाजित किया गया है, जिनमें से प्रत्येक के विशिष्ट मीट्रिक्स हैं:

• संरचनात्मक निष्ठा (Structural Fidelity): क्या भविष्यवक्ता-परिणाम संबंध मेल खाते हैं?
  • मीट्रिक: 12 भविष्यवक्ताओं और विभेदन स्कोर ($d_i$) के बीच द्विसंवादी सहसंबंधों (bivariate correlations) और मानकीकृत OLS गुणांकों पर लिन का कॉनकोर्डेंस कोरिलेशन कोएफिशिएंट (CCC)।
  • विघटन: उच्च CCC के लिए दिशात्मक सहमति और परिमाण मिलान दोनों की आवश्यकता होती है। LoRA अकेले ढलानों (slopes) को गंभीर रूप से संकुचित करता है (क्षीणन), जबकि LoRA + MLP उच्च संकेत सहमति दिखाता है लेकिन परिमाण को थोड़ा बढ़ा देता है।
• सीमांत निष्ठा (Marginal Fidelity): क्या सिम्युलेटेड सीमांत वितरण मानव वाले वितरण से मेल खाते हैं?
  • मीट्रिक: $d_i$, $m_i$, और $t_i$ के वितरण पर क्रॉस-उत्तरदाता अर्थ मूवर्स डिस्टेंस (EMD)।
• व्यक्तिगत निष्ठा (Individual Fidelity): क्या प्रत्येक सिम्युलेटेड उत्तरदाता अपने मानव समकक्ष का अनुसरण करता है?
  • मीट्रिक: सापेक्ष सहमति (विभेदन के बीच पियर्सन $r_d$) और पूर्ण सहमति (मीन एब्सोल्यूट एरर, $MAE_d$)।

3. मुख्य परिणाम (Key Results)

संरचनात्मक निष्ठा

• LoRA + MLP ने उच्चतम संरचनात्मक निष्ठा (द्विसंवादी सहसंबंधों के लिए CCC = 0.85, OLS गुणांकों के लिए 0.78) प्राप्त की।
• ZS-perItem (ज़ीरो-शॉट, प्रति-मद) सबसे मजबूत प्रॉम्प्ट-ओनली प्रतियोगी था (CCC = 0.80), जो मानक फ्यू-शॉट प्रॉम्प्टिंग से बेहतर प्रदर्शन करता है।
• विघटन: उच्च CCC के लिए दिशात्मक सहमति और मेल खाते परिमाण दोनों की आवश्यकता होती है। केवल LoRA ढलानों को गंभीर रूप से संकुचित करता है, जबकि LoRA + MLP और FS-perItem उच्च संकेत सहमति दिखाते हैं।

सीमांत निष्ठा

• LoRA + MLP ने तीनों स्केलर सारांशों में सबसे कम EMD प्राप्त किया, जो ग्राउंड-ट्रुथ जनसंख्या वितरण के सबसे करीबी मिलान को दर्शाता है।
• PPI सुधार: PPI ने सबसे अधिक पक्षपाती सिम्युलेटर्स (जैसे, ज़ीरो-शॉट) को प्रभावी ढंग से सुधारा, लेकिन फाइन-ट्यून्ड मॉडल्स के लिए यह बीजगणितीय रूप से क्षीण (degenerate) था। जब कोई मॉडल पायलट को पूरी तरह से याद कर लेता है (प्रशिक्षण त्रुटि $\to$ 0), तो PPI सुधार पद ढह जाता है, जिससे विधि केवल सिम्युलेटर के कच्चे होल्ड-आउट माध्य तक सीमित रह जाती है।

व्यक्तिगत निष्ठा

• LoRA + MLP ने सापेक्ष सहमति ($r_d = 0.37$) में बढ़त हासिल की, जिसका अर्थ है कि यह विभेदन के आधार पर उत्तरदाताओं की रैंकिंग को सबसे अच्छी तरह से संरक्षित करता है।
• ZS-perItem और FS-perItem ने सबसे कम पूर्ण त्रुटि ($MAE_d = 0.58$) प्राप्त की, जिसका अर्थ है कि उनके अनुमानित मान औसतन ग्राउंड ट्रुथ के सबसे करीब थे, हालांकि वे उत्तरदाताओं को कम सटीक रूप से रैंक करते हैं।
• सीमा: यहाँ तक कि सर्वश्रेष्ठ विधि भी विभेदन में क्रॉस-उत्तरदाता विचरण (variance) के केवल ~14% की व्याख्या करती है, जो यह सुझाव देती है कि LLMs वर्तमान में व्यक्तिगत-स्तर के प्रतिभागी मापन के लिए सीधे प्रतिस्थापन के रूप में अनुपयुक्त हैं।

उपसमूह निष्ठा (Subgroup Fidelity - Pluralistic Alignment)

• निष्ठा सभी जनसांख्यिकीय उपसमूहों में समान नहीं थी। सर्वश्रेष्ठ मॉडल (LoRA + MLP) के लिए, संरचनात्मक निष्ठा (CCC) विशिष्ट उपसमूहों (जैसे, रूढ़िवादियों के लिए 0.85 से गिरकर 0.40) के लिए काफी कम हो गई। यह इंगित करता है कि समग्र उच्च निष्ठा विशिष्ट पहचान समूहों के गंभीर गलत प्रतिनिधित्व को छिपा सकती है।

4. मुख्य योगदान (Key Contributions)

1. पुनर्गठन (Reframing): LLM सर्वेक्षण सिमुलेशन को एक रिकवरेबिलिटी टास्क (recoverability task) के रूप में परिभाषित किया, जिसे संरचनात्मक, सीमांत और व्यक्तिगत निष्ठा अक्षों में विभाजित किया गया है।
2. मूल्यांकन प्रोटोकॉल: एक कैलिब्रेटेड प्रोटोकॉल पेश किया जो प्रत्येक अक्ष को विशिष्ट मीट्रिक्स (लिन का CCC, EMD, युग्मित $r_d$/MAE) से जोड़ता है ताकि विभिन्न विफलता मोड का पता लगाया जा सके।
3. अनुभवजन्य बेंचमार्क: एक वास्तविक दुनिया के गलत सूचना सर्वेक्षण पर प्रॉम्प्टिंग, PPI सुधार और फाइन-ट्यूनिंग का आमने-सामने तुलनात्मक अध्ययन किया, जिससे यह सिद्ध हुआ कि छोटे पायलटों पर फाइन-ट्यूनिंग विभिन्न प्रकार की निष्ठा प्राप्त करने के लिए एक संतुलित दृष्टिकोण प्रदान करती है।
4. उपसमूह ऑडिट: हाइलाइट किया कि समग्र निष्ठा विशिष्ट पहचान समूहों के लिए व्यवस्थित विफलताओं को छिपा सकती है, जो बहुलवादी संरेखण (pluralistic alignment) के लिए चिंता का विषय है।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि LLM-आधारित सर्वेक्षण सिमुलेशन को मानव उत्तरदाताओं के "ड्रॉप-इन रिप्लेसमेंट" के रूप में नहीं माना जाना चाहिए। इसके बजाय, उन्हें सशर्त जनरेटिव मॉडल्स के रूप में मूल्यांकन किया जाना चाहिए।

• मेथोडोलॉजिकल अंतर्दृष्टि: आउटपुट हेड का चुनाव (ऑटो-रिग्रेसिव बनाम वर्गीकरण) निष्ठा को महत्वपूर्ण रूप से प्रभावित करता है; एक सरल वास्तुशिल्प परिवर्तन (एक MLP हेड जोड़ना) ने मानक LoRA की तुलना में प्रदर्शन में भारी सुधार किया।
• सुधार की सीमा (Limitation of Rectification): PPI एक सशर्त उपकरण है जो पक्षपाती सिम्युलेटर्स को लाभ पहुँचाता है लेकिन फाइन-ट्यून्ड मॉडल्स के लिए विफल हो जाता है क्योंकि वे प्रशिक्षण-सेट को याद कर लेते हैं।
• बहुलवादी जोखिम (Pluralistic Risk): उच्च समग्र निष्ठा अल्पसंख्यक उपसमूहों के लिए व्यवस्थित विफलताओं को छिपा सकती है, जिसके लिए उपसमूह-विशिष्ट ऑडिट की आवश्यकता होती है।
• व्यक्तिगत निष्ठा अंतराल: व्यक्तिगत स्तर के पूर्वानुमान में एक महत्वपूर्ण अंतर बना हुआ है, जो यह सुझाव देता है कि LLMs वर्तमान में व्यक्तिगत साइकोमेट्रिक प्रोफाइल के बजाय जनसंख्या-स्तर के सांख्यिकी का अनुमान लगाने के लिए बेहतर अनुकूल हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि छोटे पायलटों पर फाइन-ट्यूनिंग आशाजनक है, क्षेत्र को कठोर, बहु-अक्षीय मूल्यांकन की ओर बढ़ना चाहिए ताकि यह सुनिश्चित हो सके कि सिंथेटिक डेटा पूर्व-मौजूदा पूर्वातियों को बढ़ाता नहीं है या नीति या हस्तक्षेप डिजाइन में अल्पसंख्यक दृष्टिकोणों को विकृत नहीं करता है।