💬 NLP

LLMs as Signal Detectors: Sensitivity, Bias, and the Temperature-Criterion Analogy

यह पूर्व-पंजीकृत अध्ययन सिग्नल डिटेक्शन थ्योरी (Signal Detection Theory) को लार्ज लैंग्वेज मॉडल्स पर लागू करता है, जो यह प्रकट करता है कि तापमान एक शुद्ध क्राइटेरियन शिफ्ट के बजाय संवेदनशीलता और पूर्वाग्रह दोनों के दोहरे-मॉड्यूलेटर के रूप में कार्य करता है, और यह प्रदर्शित करता है कि पूर्ण पैरामीट्रिक एसडीटी फ्रेमवर्क उन महत्वपूर्ण नैदानिक अंतरों को उजागर करता है जिन्हें पारंपरिक कैलिब्रेशन मेट्रिक्स पकड़ने में विफल रहते हैं।

मूल लेखक: Jon-Paul Cacioli

प्रकाशित 2026-03-17

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jon-Paul Cacioli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: क्या LLMs को पता है कि वे क्या जानते हैं?

कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं। आप एक प्रश्न का उत्तर देते हैं, और फिर आपको कहना होता है, "मुझे 90% यकीन है कि यह सही है।"

समस्या: कभी-कभी, एक छात्र (या एक AI) बहुत आत्मविश्वासी हो सकता है लेकिन पूरी तरह से गलत हो सकता है। अन्य समय में, वे सही हो सकते हैं लेकिन इतना संकोच कर सकते हैं कि बता न पाएं।
वर्तमान उपकरण: वैज्ञानिक आमतौर पर इसे "कैलिब्रेशन एरर" (Calibration Error) नामक मीट्रिक का उपयोग करके मापते हैं। यह यह जांचने जैसा है कि क्या छात्र का आत्मविश्वास उसके वास्तविक स्कोर से मेल खाता है। लेकिन यह उपकरण धुंधला है। यह दो अलग-अलग चीजों को मिला देता है:
1. संवेदनशीलता (Sensitivity): छात्र वास्तव में सही और गलत उत्तरों के बीच अंतर जानने में कितना अच्छा है?
2. पक्षपात (Bias): क्या छात्र स्वाभाविक रूप से अति-आत्मविश्वासी (एक "बड़बोला") है या कम आत्मविश्वासी (एक "विनम्र व्यक्ति")?

यह पेपर तर्क देता है कि AI को वास्तव में समझने के लिए, हमें इन दोनों चीजों को अलग करने की आवश्यकता है। ऐसा करने के लिए, लेखक मानव मनोविज्ञान के एक ढांचे का उपयोग करता है जिसे सिग्नल डिटेक्शन थ्योरी (SDT) कहा जाता है।

उपमा: समुद्र तट पर मेटल डिटेक्टर

एक LLM (लार्ज लैंग्वेज मॉडल) को समुद्र तट पर एक मेटल डिटेक्टर के रूप में सोचें।

सिग्नल (Signal): जमीन में दबा हुआ खजाने का संदूक (सही उत्तर)।
शोर (Noise): सोडा का कैन या कचरे का टुकड़ा (गलत उत्तर)।
ऑपरेटर (Operator): AI स्वयं।

ऑपरेटर के पास दो सेटिंग्स होती हैं:

संवेदनशीलता (The "Ear" - कान): डिटेक्टर खजाने और सोडा के कैन के बीच अंतर को कितनी अच्छी तरह सुन सकता है? यदि डिटेक्टर खराब है, तो वह चाहे जो भी हो, उनमें अंतर नहीं कर पाएगा।
मानदंड (The "Threshold" - सीमा): ऑपरेटर को खुदाई करने से पहले बीप कितनी तेज होनी चाहिए?
- एक कठोर (Strict) ऑपरेटर केवल तभी खुदाई करता है जब उसे 100% यकीन हो कि यह सोना है (वह कुछ सोना मिस कर देता है लेकिन बहुत कम कचरा खोदता है)।
- एक उदार (Liberal) ऑपरेटर हर छोटी बीप पर खुदाई करता है (वह सारा सोना ढूंढ लेता है, लेकिन बहुत सारे सोडा के कैन भी खोद देता है)।

पेपर का लक्ष्य: लेखक यह देखना चाहता था कि क्या AI पर "टेम्परेचर" (Temperature) सेटिंग बदलना, ऑपरेटर के थ्रेशोल्ड (मानदंड) को बदलने जैसा है।

बड़ा आश्चर्य: "टेम्परेचर" का तरीका वैसा काम नहीं करता जैसा हमने सोचा था

मानव मनोविज्ञान प्रयोगों में, यदि आप किसी व्यक्ति को बताते हैं, "यदि आपको सोना मिलता है, तो आपको $100 मिलेंगे; यदि आपको कचरा मिलता है, तो आप$ 1 खो देंगे," तो वे अपना थ्रेशोल्ड बदल देंगे। वे अधिक खुदाई करेंगे। लेकिन उनकी संवेदनशीलता (धातु सुनने की उनकी क्षमता) बिल्कुल वैसी ही रहती है।

लेखक ने परिकल्पना की थी कि AI के टेम्परेचर (जो रैंडमनेस को नियंत्रित करता है) को बदलना भी इसी तरह काम करेगा।

कम टेम्परेचर (Low Temperature): AI रूढ़िवादी है (कठोर थ्रेशोल्ड)।
उच्च टेम्परेचर (High Temperature): AI उदार है (ढीला थ्रेशोल्ड)।

परिणाम: यह उपमा टूट गई।
जब लेखक ने टेम्परेचर बढ़ाया, तो AI ने केवल अपना थ्रेशोल्ड नहीं बदला। उसने वास्तव में सही और गलत उत्तरों के बीच अंतर को पहचानने में बेहतर प्रदर्शन किया (संवेदनशीलता बढ़ गई), लेकिन वह वास्तव में सही उत्तर देने में भी खराब हो गया (सटीकता गिर गई)।

क्यों?
एक मानव प्रयोग में, "खजाना" (प्रश्न) वही रहता है। लेकिन एक AI में, "टेम्परेचर" सेटिंग यह बदल देती है कि AI उत्तर कैसे बनाता है।

उच्च तापमान पर, AI एक अलग रास्ते पर जा सकता है और पूरी तरह से अलग वाक्य बना सकता है।
यह नया वाक्य AI के लिए ऐसा हो सकता है कि उसे "महसूस" हो कि यह सही है (भले ही वह गलत हो), या यह एक बहुत ही आत्मविश्वास से भरा झूठ हो सकता है।
रूपक: यह मेटल डिटेक्टर को एक नई बैटरी देने जैसा है जो बीप को तेज और स्पष्ट बनाती है, लेकिन साथ ही डिटेक्टर को गलत जगहों पर खुदाई करने के लिए भी मजबूर करती है। आप "सुनने की क्षमता" को "खुदाई करने के निर्णय" से अलग नहीं कर सकते क्योंकि सेटिंग ने स्वयं उपकरण को ही बदल दिया।

मुख्य निष्कर्ष (सरल भाषा में)

1. "बहादुरी" बनाम "समझदारी" का अंतर

अध्ययन में पाया गया कि दो AI मॉडल का "कैलिब्रेशन स्कोर" बिल्कुल समान हो सकता है (कागज पर समान रूप से अच्छे दिखना), लेकिन वे अंदर से पूरी तरह से अलग हो सकते हैं।

मॉडल A सही और गलत के बीच अंतर करने में बहुत स्मार्ट हो सकता है लेकिन वह यह कहने में बहुत शर्मीला है कि "मुझे यह पता है।"
मॉडल B सही और गलत के बीच अंतर करने में बुरा हो सकता है लेकिन वह एक शोर मचाने वाला बड़बोना है।
सीख: मानक मेट्रिक्स इसे छिपा देते हैं। SDT इसे उजागर करता है। यदि आपके पास एक "शर्मीला" मॉडल है, तो आपको बस उसे प्रोत्साहित करने की आवश्यकता है (थ्रेशोल्ड को एडजस्ट करें)। यदि आपके पास एक "मूर्ख" मॉडल है, तो आपको उसे फिर से प्रशिक्षित करने की आवश्यकता है।

2. "असमान विचरण" (Unequal Variance) का रहस्य

अध्ययन में पाया गया कि AI का आंतरिक "आत्मविश्वास" समान रूप से फैला हुआ नहीं है।

मानव स्मृति: जब हम चीजें याद करते हैं, तो सही उत्तरों के प्रति हमारा आत्मविश्वास आमतौर पर गलत उत्तरों के प्रति हमारे आत्मविश्वास की तुलना में थोड़ा अधिक फैला हुआ होता है।
AI मॉडल: AI का "फैलाव" अत्यधिक असमान है।
- जब AI पक्का होता है कि वह सही है, तो वह बहुत ज्यादा पक्का होता है (बहुत उच्च आत्मविश्वास)।
- जब वह गलत होता है, तो अक्सर वह बस "ठीक-ठाक" (मध्यम आत्मविश्वास) होता है।
- ट्विस्ट: "इंस्ट्रक्शन ट्यून्ड" (Instruction Tuned) मॉडल (जिन्हें इंसानों के साथ चैट करने के लिए प्रशिक्षित किया गया है) बेस मॉडल्स की तुलना में और भी अधिक चरम हैं। वे ऐसे छात्र की तरह हैं जो उन चीजों के लिए चिल्लाते हैं जिन्हें वे जानते हैं, "मैं सही हूँ!", लेकिन उन चीजों के लिए चुप रहते हैं या बुदबुदाते हैं जिन्हें वे नहीं जानते।

3. "प्रवाह" (Fluency) का जाल

अध्ययन ने एक पेचीदा समस्या की खोज की: AI अपने उत्तरों का मूल्यांकन इस आधार पर करता है कि वे कितने सुचारू (Smooth) हैं, न कि केवल इस आधार पर कि वे सत्य हैं या नहीं।

यदि AI एक आत्मविश्वास से भरा झूठ बनाता है, तो उसे खुद के लिए "सुचारू" लगता है।
यदि सही उत्तर अजीब तरीके से लिखा गया है, तो AI को लग सकता है कि यह "अटक रहा है" और गलत है।
परिणाम: AI अक्सर अपने स्वयं के आत्मविश्वास से भरे झूठ को वास्तविक सत्य से बेहतर समझता है। यही कारण है कि अध्ययन में "संवेदनशीलता" के नंबर थोड़े कम (वास्तविकता में होने की तुलना में) हैं।

यह क्यों मायने रखता है?

यह पेपर AI शोधकर्ताओं को एक नया चश्मा देने जैसा है।

पहले: वे एक AI को देखते थे और कहते थे, "यह 80% कैलिब्रेटेड है। अच्छा काम किया।"
अब: वे कह सकते हैं, "यह AI वास्तव में सच जानने में बहुत स्मार्ट है, लेकिन यह बस बहुत सावधान है। आइए इसके सेटिंग्स को थोड़ा बदलें ताकि यह खुलकर बोल सके।" या, "यह AI अति-आत्मविश्वासी है और वास्तव में यह नहीं जानता कि सही और गलत के बीच क्या अंतर है। हमें इसे फिर से प्रशिक्षित करने की आवश्यकता है।"

निचोड़:
आप AI के आत्मविश्वास के स्कोर को देखकर उसका निर्णय नहीं ले सकते। आपको यह समझना होगा कि वह आत्मविश्वासी क्यों है। क्या इसलिए क्योंकि वह उत्तर जानता है (संवेदनशीलता), या सिर्फ इसलिए क्योंकि उसे साहसी होने के लिए प्रोग्राम किया गया है (पक्षपात)? यह पेपर हमें इन दोनों के बीच अंतर करने के लिए गणित देता है, जो चिकित्सा या कानून जैसे उच्च-जोखिम वाले क्षेत्रों में AI का उपयोग करने के लिए महत्वपूर्ण है।

यहाँ जॉन-पॉल कैसीओली के शोध पत्र "LLMs as Signal Detectors: Sensitivity, Bias, and the Temperature–Criterion Analogy" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान मूल्यांकन मेट्रिक्स, जैसे कि एक्सपेक्टेड कैलिब्रेशन एरर (ECE) और ब्रियर स्कोर (Brier score), दो अलग-अलग प्रदर्शन घटकों को मिला देते हैं:

संवेदनशीलता (Sensitivity/Discrimination): सही और गलत उत्तरों के बीच अंतर करने की मॉडल की क्षमता।
पक्षपात (Bias/Criterion): मॉडल की अति-आत्मविश्वासी या कम-आत्मविश्वासी (सावधान बनाम उदार प्रतिक्रिया) होने की प्रवृत्ति।

मानक मेट्रिक्स इन्हें एक मिश्रित स्कोर के रूप में देखते हैं। फलस्वरूप, एक ऐसा मॉडल जो समान रूप से गलत है लेकिन अपने (गलत) आत्मविश्वास के प्रति पूरी तरह से कैलिब्रेटेड है, उसे उस मॉडल से अलग नहीं पहचाना जा सकता जो अच्छी तरह से भेदभाव (discriminate) करता है लेकिन गलत कैलिब्रेटेड है। यह अभाव (decomposition) लक्षित हस्तक्षेपों (जैसे कि यह जानना कि मॉडल को बेहतर ज्ञान के लिए पुनः प्रशिक्षित करना है या केवल उसके आत्मविश्वास को पुन: कैलिब्रेट करना है) में बाधा डालता है।

यह शोध सिग्नल डिटेक्शन थ्योरी (SDT) को लागू करने का प्रस्ताव देता है, जो साइकोफिजिक्स (psychophysics) से एक ढांचा है। जबकि AUROC जैसे SDT मेट्रिक्स उभर रहे हैं, पूर्ण पैरामीट्रिक फ्रेमवर्क (असमान-विचलन मॉडलिंग, मानदंड अनुमान, और z-ROC विश्लेषण) को LLMs पर कड़ाई से लागू नहीं किया गया है। इसके अलावा, लेखक एक विशिष्ट सादृश्य (analogy) की जांच करते हैं: क्या LLMs में टेम्परेचर स्केलिंग (temperature scaling) एक क्राइटेरियन शिफ्ट (criterion shift) के रूप में कार्य करती है (जो मानव प्रयोगों में पे-ऑफ हेरफेर के समान है) बिना संवेदनशीलता को बदले।

2. कार्यप्रणाली (Methodology)

यह अध्ययन तीन LLMs के शामिल एक प्री-रजिस्टर्ड प्रयोग है: Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3, और Llama-3-8B-Base।

डेटा: 7 तापमानों ( $T \in \{0.1, 0.3, 0.5, 0.7, 1.0, 1.5, 2.0\}$ ) और 6,000 फोर्स्ड-चॉइस (forced-choice) परीक्षणों के माध्यम से 168,000 कॉन्फिडेंस-रेटिंग ट्रायल। डेटासेट्स में TriviaQA (5,000 प्रश्न) और Natural Questions (3,000 प्रश्न) शामिल थे।
SDT मैपिंग:
- ऑब्जर्वर (Observer): LLM।
- सिग्नल/नॉइज़ (Signal/Noise): सही बनाम गलत उत्तर।
- एविडेंस वेरिएबल (Evidence Variable): जनरेट किए गए उत्तर अनुक्रम का नॉर्मलाइज्ड लॉग-प्रोबेबिलिटी (NLP)।
- क्राइटेरियन मैनिपुलेशन (Criterion Manipulation): टेम्परेचर ( $T$ )।
विश्लेषण ढांचा (Analysis Framework):
- NLP कॉन्फिडेंस बिन्स का उपयोग करके मल्टी-पॉइंट रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक (ROC) कर्व्स का निर्माण।
- संवेदनशीलता ( $d_a$ ), मानदंड ( $c$ ), और विचरण अनुपात ( $s$ ) का अनुमान लगाने के लिए अनइक्वल-वैरिएंस सिग्नल डिटेक्शन (UVSD) मॉडल को फिट करना।
- परिकल्पनाएँ (Hypotheses):
  - H1: टेम्परेचर एक शुद्ध क्राइटेरियन शिफ्ट के रूप में कार्य करता है (AUC स्थिर रहता है, $c$ बदलता है)।
  - H2: SDT ऐसी छिपी हुई संरचना को प्रकट करता है जो ECE में दिखाई नहीं देती।
  - H3: कॉन्फिडेंस-रेटिंग $d_a$ और 4-अल्टरनेटिव फोर्स्ड चॉइस ( $d'_{4AFC}$ ) के बीच अभिसरण (convergence)।
  - H4: एविडेंस डिस्ट्रीब्यूशन असमान-विचरण (unequal-variance) वाले हैं (z-ROC ढलान < 1.0)।

3. मुख्य योगदान (Key Contributions)

टेम्परेचर–क्राइटेरियन सादृश्य का खंडन (Refutation of the Temperature–Criterion Analogy): यह अध्ययन दर्शाता है कि टेम्परेचर एक शुद्ध क्राइटेरियन मैनिपुलेशन नहीं है। मानव प्रयोगों के विपरीत जहाँ उद्दीपन (stimulus) स्थिर होता है, टेम्परेचर बदलने से जनरेटिव पाथ (generative path) बदल जाता है, जिससे उत्तर स्वयं बदल जाता है (अर्थात उद्दीपन बदल जाता है)। इसके परिणामस्वरूप संवेदनशीलता और मानदंड दोनों में एक साथ बदलाव आता है।
असमान-विचरण एविडेंस डिस्ट्रीब्यूशन (Unequal-Variance Evidence Distributions): LLMs असमान-विचरण वितरण प्रदर्शित करते हैं जहाँ सिग्नल (सही उत्तर) में नॉइज़ (गलत उत्तर) की तुलना में उच्च विचरण होता है। यह बेस मॉडल या मानव रिकग्निशन मेमोरी की तुलना में इंस्ट्रक्शन-ट्यून्ड मॉडल्स में अधिक चरम है।
SDT डिकंपोजिशन की नैदानिक शक्ति (Diagnostic Power of SDT Decomposition): यह अध्ययन सिद्ध करता है कि समान ECE स्कोर वाले मॉडल $(d_a, c)$ स्पेस में बहुत अलग स्थितियों में हो सकते हैं, जिसके लिए अलग-अलग हस्तक्षेप (recalibration बनाम capability improvement) की आवश्यकता होती है।

4. मुख्य परिणाम (Key Results)

A. टेम्परेचर प्रभाव (H1 का खंडन)

इस परिकल्पना के विपरीत कि टेम्परेचर केवल क्राइटेरियन को बदलता है, परिणामों ने दिखाया:

संवेदनशीलता ( $d_a$ और AUC) बढ़ी: जैसे-जैसे तापमान 0.1 से 2.0 तक बढ़ा, AUC निरंतर बढ़ा (उदाहरण के लिए, Llama-3-Base का AUC 0.751 से बढ़कर 0.857 हो गया)।
क्राइटेरियन बदला: क्राइटेरियन ( $c$ ) अत्यधिक उदार (liberal) से कम उदार की ओर चला गया।
सटीकता (Accuracy) घटी: उच्च संवेदनशीलता मेट्रिक्स के बावजूद, वास्तविक सटीकता काफी गिर गई (उदाहरण के लिए, Llama-3-Base की सटीकता 59.2% से गिरकर 33.6% हो गई)।
व्याख्या: AUC में वृद्धि, NLP एविडेंस वेरिएबल (लॉग-प्रोबेबिलिटी के वितरण को फैलाना) पर टेम्परेचर का एक वितरणात्मक प्रभाव (distributional effect) है, न कि वास्तविक तथ्यात्मक ज्ञान में सुधार। "उद्दीपन" (जनरेट किया गया उत्तर) "क्राइटेरियन" (तापमान) के साथ बदल गया, जिससे मानव पे-ऑफ मैनिपुलेशन के साथ सादृश्य टूट गया।

B. छिपी हुई संरचना (H2 का समर्थन)

समान ECE स्कोर वाले मॉडल (जैसे Llama-3-Instruct और Mistral) $(d_a, c)$ स्पेस में अलग-अलग स्थानों पर स्थित थे।
उदाहरण: मिस्ट्रल (Mistral) में उच्च संवेदनशीलता ( $d_a \approx 1.97$ ) लेकिन अधिक उदार पक्षपात (liberal bias) था, जबकि Llama-3-Instruct में कम संवेदनशीलता ( $d_a \approx 1.39$ ) थी। केवल ECE मूल्यांकनकर्ताओं को यह सोचने में गुमराह कर सकता है कि Llama-3 बेहतर कैलिब्रेटेड है, जबकि SDT ने खुलासा किया कि मिस्ट्रल एक बेहतर डिस्क्रिमिनेटर था जिसमें केवल पॉलिसी संबंधी समस्या थी।

C. असमान विचरण (H4 का समर्थन)

z-ROC ढलान: सभी मॉडल्स ने 1.0 से काफी नीचे का ढलान दिखाया, जो असमान विचरण ( $\sigma_{signal} > \sigma_{noise}$ $σ_{s i g na l} > σ_{n o i se}$ ) की पुष्टि करता है।
- इंस्ट्रक्शन-ट्यून्ड मॉडल्स: ढलान 0.52 से 0.63 के बीच था (अत्यधिक असमान विचरण)।
- बेस मॉडल: ढलान 0.77 से 0.87 के बीच था।
- तुलना: यह मानव रिकग्निशन मेमोरी (आमतौर पर $s \approx 0.80$ ) की तुलना में अधिक चरम है।
निहितार्थ: इंस्ट्रक्शन ट्यूनिंग ज्ञात और सीमावर्ती ज्ञान (edge-of-knowledge) वाले आइटम्स के बीच विचरण के अंतर को बढ़ाती प्रतीत होती है।

D. डोमेन विशिष्टता (H5 का समर्थन)

संवेदनशीलता विभिन्न ज्ञान डोमेन में काफी भिन्न हुई। "विज्ञान और प्रौद्योगिकी" (Science & Technology) सभी मॉडल्स के लिए लगातार सबसे कठिन डोमेन रहा, जो कि समग्र ECE मेट्रिक्स में अदृश्य था।

E. पैराडाइम कन्वर्जेंस (H3 का आंशिक खंडन)

हालांकि कॉन्फिडेंस-रेटिंग $d_a$ और फोर्स्ड-चॉइस $d'_{4AFC}$ के बीच सहसंबंध सकारात्मक थे, लेकिन फोर्स्ड-चॉइस पैराडाइम सीलिंग इफेक्ट (ceiling effects) (इंस्ट्रक्ट मॉडल्स के लिए 97.5% सटीकता) से ग्रस्त था, जो सटीक मात्रात्मक परीक्षण को रोकता है।

5. महत्व और निहितार्थ (Significance and Implications)

नैदानिक सटीकता (Diagnostic Precision): SDT डिकंपोजिशन शोधकर्ताओं को यह अंतर करने की अनुमति देता है कि मॉडल "भेदभाव करने में असमर्थ है" (कम संवेदनशीलता, जिसके लिए बेहतर प्रशिक्षण डेटा/आर्किटेक्चर की आवश्यकता है) और "भेदभाव करता है लेकिन प्रतिक्रिया खराब देता है" (गलत क्राइटेरियन, जिसके लिए पुन: कैलिब्रेशन या टेम्परेचर ट्यूनिंग की आवश्यकता है)।
वर्तमान मेट्रिक्स की सीमाएं: उच्च-जोखिम वाले AI परिनियोजन (deployment) के लिए मानक कैलिब्रेशन मेट्रिक्स (ECE) अपर्याप्त हैं क्योंकि वे अंतर्निहित ट्रेड-ऑफ (संवेदनशीलता और पक्षपात के बीच) को छिपा देते हैं।
प्रवाह बनाम सत्य (Fluency vs. Truth): यह अध्ययन एक "प्रवाह-सटीकता विसंगति" (fluency-accuracy dissociation) को उजागर करता है। NLP एविडेंस वेरिएबल उत्तर की शुद्धता को उसकी प्रवाह (fluency) के साथ मिला देता है। मॉडल के आत्मविश्वासी गलत उत्तर अक्सर बाहरी स्रोतों द्वारा जनरेट किए गए सही उत्तरों की तुलना में अधिक प्रवाहमयी होते हैं, जो वास्तविक 'सत्य संकेत' (truth signal) को छिपा देते हैं।
सैद्धांतिक सेतु (Theoretical Bridge): यह कार्य शास्त्रीय साइकोफिजिकल सिद्धांत को आधुनिक LLM मूल्यांकन के साथ सफलतापूर्वक जोड़ता है, जो वर्णनात्मक सांख्यिकी से परे मॉडल के आत्मविश्वास को समझने के लिए एक व्यवस्थित ढांचा प्रदान करता है।

निष्कर्ष

यह शोध स्थापित करता है कि पूर्ण पैरामीट्रिक SDT फ्रेमवर्क के माध्यम से LLMs को सिग्नल डिटेक्टर के रूप में मानने से ऐसी महत्वपूर्ण संरचनात्मक विशेषताएं (असमान विचरण, संवेदनशीलता-पक्षपात ट्रेड-ऑफ) प्रकट होती हैं जो मानक कैलिब्रेशन मेट्रिक्स में अदृश्य रहती हैं। महत्वपूर्ण रूप से, यह दर्शाता है कि टेम्परेचर स्केलिंग एक जटिल हस्तक्षेप है जो एविडेंस डिस्ट्रीब्यूशन को ही बदल देता है, न कि केवल निर्णय सीमा (decision threshold) को, जो मानव साइकोफिजिक्स सादृश्यों के सीधे अनुप्रयोग को चुनौती देता है।