📊 statistics

LLM Sparsity Prior for Robust Feature Selection

यह शोध पत्र एलएलएम स्पैरसिटी प्रायर (LSP) को प्रस्तुत करता है, जो एक सुदृढ़ ढांचा है जो विशेष रूप से कम-डेटा वाले परिदृश्यों में, फीचर चयन की सटीकता और नैदानिक प्रासंगिकता में सुधार करने के लिए बेयसियन वेरिएबल सिलेक्शन मॉडल्स में एलएलएम-जनरेटेड वेट्स को गतिशील रूप से एकीकृत करता है, जबकि एडेप्टिव हाइपरपैरामीटर ट्यूनिंग के माध्यम से गलत एलएलएम आउटपुट के जोखिमों को कम करता है।

मूल लेखक: Caleb Skinner, Yihan Guo, Meng Li

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Caleb Skinner, Yihan Guo, Meng Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप 1,000 टुकड़ों वाली एक विशाल पहेली को हल करने की कोशिश कर रहे हैं, लेकिन आपके पास केवल 100 टुकड़े ही हैं। यह वह स्थिति है जिसका सामना डेटा वैज्ञानिक तब करते हैं जब वे चिकित्सा या वैज्ञानिक डेटा में महत्वपूर्ण पैटर्न खोजने की कोशिश करते हैं, जहाँ बहुत सारे चर (variables) होते हैं (जैसे रक्त परीक्षण के परिणाम, आयु, या दवा) लेकिन अध्ययन के लिए बहुत कम मरीज़ होते हैं। इसे "लो-डेटा रिजीम" (low-data regime) कहा जाता है।

आमतौर पर, कंप्यूटर यहाँ संघर्ष करते हैं क्योंकि वे शोर (noise) से भ्रमित हो जाते हैं। लेकिन क्या होगा अगर आप एक सुपर-स्मार्ट, विद्वान लाइब्रेरियन (एक AI जिसे लार्ज लैंग्वेज मॉडल या LLM कहा जाता है) से यह संकेत मांग सकें कि कौन से पहेली के टुकड़े महत्वपूर्ण होने की संभावना है?

यह इस शोध पत्र (paper) के पीछे का विचार है। हालाँकि, लेखकों ने एक समस्या पाई: कभी-कभी लाइब्रेरियन बेहतरीन संकेत देता है, लेकिन अन्य समय में वह गलत अनुमान लगा सकता है या भटक सकता है। यदि आप एक गलत संकेत का आँख मूंदकर पालन करते हैं, तो आपका पहेली समाधान पहले से भी बदतर हो जाता है।

यहाँ बताया गया है कि यह पेपर इस समस्या को कैसे हल करता है, सरल उपमाओं (analogies) का उपयोग करके:

1. समस्या: "अंध विश्वास" का जाल (The "Blind Trust" Trap)

पिछले तरीके (जैसे "LLM-Lasso") उस छात्र की तरह थे जो लाइब्रेरियन की सूची पर अंधविश्वास करता है।

यदि सूची एकदम सही है: तो छात्र पहेली को अविश्वसनीय रूप से तेज़ी से हल कर लेता है।
यदि सूची गलत है: तो छात्र भ्रमित हो जाता है, वास्तविक पहेली के टुकड़ों को अनदेखा कर देता है, और एक बहुत ही खराब समाधान तक पहुँच जाता है।
लेखक बताते हैं कि यदि AI के संकेत थोड़े भी गलत हैं, तो ये पुराने तरीके पूरी तरह विफल हो जाते हैं।

2. समाधान: "स्मार्ट फ़िल्टर" (The "Smart Filter" - LLM Sparsity Prior)

लेखकों ने एक नया तरीका बनाया जिसे LLM Sparsity Prior (LSP) कहा जाता है। इसे एक स्मार्ट फ़िल्टर या एक संदेह करने वाले लेकिन सहायक सहायक के रूप में सोचें।

AI की सूची का आँख मूंदकर पालन करने के बजाय, LSP AI के संकेतों को एक "सुझाव" के रूप में मानता है न कि एक "आदेश" के रूप में। यह यह नियंत्रित करने के लिए दो विशेष नॉब्स (knobs) का उपयोग करता है (जिन्हें हाइपरपैरामीटर कहा जाता है) कि उसे कितना सुनना है:

"ग्लोबल स्पर्सिटी" (Global Sparsity) नॉब: यह आधार निर्धारित करता है। यह पूछता है, "औसतन, हमें लगता है कि इन 1,000 टुकड़ों में से वास्तव में कितने टुकड़े महत्वपूर्ण हैं?"
"कंसंट्रेशन" (Concentration) नॉब: यह तय करता है कि AI की विशिष्ट रैंकिंग पर कितना भरोसा किया जाए।
- यदि AI के संकेत डेटा के साथ सुसंगत (consistent) दिखते हैं, तो यह नॉब बढ़ जाता है, और मॉडल AI की सलाह पर बहुत अधिक निर्भर हो जाता है।
- यदि AI के संकेत अजीब या विरोधाभासी दिखते हैं (जैसे लाइब्रेरियन ऐसे टुकड़े का सुझाव दे रहा है जो स्पष्ट रूप से फिट नहीं बैठता), तो यह नॉब कम हो जाता है। मॉडल कहता है, "ठीक है, संकेत के लिए धन्यवाद, लेकिन मैं इसे अनदेखा करूँगा और वास्तविक पहेली के टुकड़ों पर भरोसा करूँगा।"

यह सिस्टम को रोबस्ट (robust/मजबूत) बनाता है। जब AI सही होता है, तो इसे भारी बढ़त मिलती है, लेकिन जब AI गलत होता है, तो यह क्रैश नहीं होता।

3. उन्होंने इसका परीक्षण कैसे किया

लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने दो तरीकों से इसका परीक्षण किया:

A. सिमुलेशन (अभ्यास पहेली)
उन्होंने नकली पहेलियाँ बनाई जहाँ उन्हें उत्तर पता था। उन्होंने कंप्यूटर को AI संकेत दिए जो "परफेक्ट" से लेकर "रैंडम अनुमान" और "पूरी तरह से गलत" तक के रेंज में थे।

परिणाम: जब संकेत खराब थे, तो पुराने तरीके बुरी तरह विफल रहे। नया LSP तरीका स्थिर रहा। जब संकेत खराब थे, तो इसने बेसलाइन के समान प्रदर्शन किया, लेकिन जब संकेत अच्छे थे, तो यह शीर्ष पर पहुँच गया।

B. वास्तविक दुनिया का परीक्षण (मेडिकल पहेली)
उन्होंने इसे हृदय सर्जरी के रोगियों में एक्यूट किडनी इंजरी (AKI) के बारे में एक वास्तविक, निजी मेडिकल डेटासेट पर लागू किया।

लक्ष्य: यह भविष्यवाणी करना कि सर्जरी के बाद रोगी की किडनी की कार्यक्षमता कितनी कम होगी।
AI की भूमिका: उन्होंने एक AI (GPT-5.2o) से चिकित्सा विवरण पढ़ने और यह रैंक करने के लिए कहा कि कौन से कारक (जैसे रक्त आधान/blood transfusions या क्रिएटिनिन स्तर) सबसे अधिक महत्वपूर्ण होने की संभावना रखते हैं।
परिणाम: LSP पद्धति ने न केवल मानक तरीकों की तुलना में परिणाम बेहतर ढंग से भविष्यवाणी की, बल्कि इसने एक महत्वपूर्ण सुराग भी खोज निकाला जिसे मानक तरीकों ने मिस कर दिया था: रेड ब्लड सेल (RBC) ट्रांसफ्यूजन।
- यह क्यों मायने रखता है: मानक पद्धति ने ट्रांसफ्यूजन को अनदेखा कर दिया। LSP पद्धति ने, AI के चिकित्सा ज्ञान से निर्देशित लेकिन अपने "स्मार्ट फ़िल्टर" के माध्यम से फ़िल्टर होकर, यह महसूस किया कि ट्रांसफ्यूशन किडनी की चोट का एक प्रमुख भविष्यवक्ता है। यह एक ज्ञात चिकित्सा तथ्य है, जो साबित करता है कि AI ने वह संकेत ढूँढ लिया जिसे कंप्यूटर मिस कर गया था।

4. "प्रॉम्प्ट" प्रयोग

लेखकों ने यह भी परीक्षण किया कि क्या AI से पूछने के तरीके (प्रॉम्प्ट) को बदलने से यह सिस्टम टूट जाएगा। उन्होंने संकेतों के लिए AI से पूछने के 5 अलग-अलग तरीके आजमाए।

निष्कर्ष: LSP पद्धति बहुत स्थिर थी। भले ही AI ने पूछने के तरीके के आधार पर थोड़े अलग सूचियाँ दी हों, अंतिम परिणाम सटीक बना रहा। यह विफल नहीं हुआ।

सारांश

यह पेपर डेटा साइंस में AI का उपयोग करने के लिए एक सुरक्षा जाल (safety net) पेश करता है।

पुराना तरीका: "AI कहता है कि यह महत्वपूर्ण है, इसलिए मैं इसे महत्वपूर्ण मानूँगा।" (जोखिम भरा: यदि AI गलत है, तो आप असफल हो जाएंगे)।
नया तरीका (LSP): "AI कहता है कि यह महत्वपूर्ण है। मुझे यह देखना चाहिए कि क्या डेटा इससे सहमत है। यदि हाँ, तो मैं सुनूँगा। यदि नहीं, तो मैं AI को अनदेखा कर दूँगा और डेटा पर टिक रहूँगा।"

परिणाम यह है कि यह एक ऐसा तरीका है जो उपयोग करने के लिए सुरक्षित है, भले ही आपको यह न पता हो कि AI सच बोल रहा है या नहीं, और यह अत्यधिक शक्तिशाली बन जाता है जब AI सही होता है, विशेष रूप से तब जब आपके पास डेटा बहुत कम होता है।

तकनीकी सारांश: मजबूत फीचर चयन के लिए LLM स्पैरसिटी प्रायर (LLM Sparsity Prior)

समस्या विवरण

सांख्यिकीय पाइपलाइनों में लार्ज लैंग्वेज मॉडल्स (LLMs) का एकीकरण उच्च-आयामी चर चयन (high-dimensional variable selection) के लिए डोमेन-आधारित पूर्व जानकारी (prior information) प्राप्त करने हेतु एक स्केलेबल तंत्र प्रदान करता है। हालाँकि, मौजूदा विधियाँ, जैसे कि LLM-Lasso, LLM-जनित भार (weights) की गुणवत्ता के प्रति अत्यधिक संवेदनशील हैं। जब ये भार गलत, भ्रामक या "खराब" होते हैं, तो LLM-सूचित विधियों का प्रदर्शन काफी गिर जाता है, जो अक्सर मानक बेसलाइन से भी खराब प्रदर्शन करती हैं। वर्तमान दृष्टिकोणों में भार को एकीकृत करने से पहले भार की गुणवत्ता को मापने के लिए एक व्यवस्थित ढांचे का अभाव है और उनमें उन अनinformative (सूचनाहीन) भारों को गतिशील रूप से कम करने के लिए मजबूती (robustness) तंत्र की कमी है, जो लाभ को खोए बिना प्रदर्शन को बनाए रख सके।

कार्यप्रणाली

1. भार की गुणवत्ता का परिमाणीकरण (Quantifying Weight Quality)

लेखक सबसे पहले एक ढांचा स्थापित करते हैं जो ग्राउंड ट्रुथ इनक्लूजन वेक्टर ( $\gamma^*$ ) के सापेक्ष LLM-जनित फीचर वेट्स ( $w$ ) की गुणवत्ता को मापता है। वे दो मानक मेट्रिक्स को अनुकूलित करते हैं:

$\ell_1$ वेट एग्रीमेंट ( $\phi_{\ell_1}$ ): यह ग्राउंड ट्रुथ और मिन-मैक्स स्केल्ड वेट वेक्टर के बीच $\ell_1$ दूरी को मापता है।
पेयरवाइज वेट एग्रीमेंट ( $\phi_{\text{pairwise}}$ ): यह इस आवृत्ति को मापता है कि भारों का सापेक्ष क्रम कितनी बार ग्राउंड ट्रुथ के सख्त क्रम के साथ संरेखित होता है (जो बाइनरी ट्रुथ के लिए अनुकूलित केंडल के $\tau$ के समान है)।
ये मेट्रिक्स विभिन्न वेट रिजीमों में LLM-सूचित विधियों के कठोर मूल्यांकन की अनुमति देते हैं। व्यवहार में, जहाँ $\gamma^*$ अज्ञात है, एक मानक सांख्यिकीय अनुमान $\hat{\gamma}$ का उपयोग करने वाला प्लग-इन एस्टिमेटर प्रस्तावित किया गया है।

2. LLM स्पैरसिटी प्रायर (LSP)

मुख्य योगदान LLM स्पैरसिटी प्रायर (LSP) है, जो एक बेयसियन फ्रेमवर्क है जो Spike-and-Slab और Spike-and-Slab Lasso मॉडल्स के प्रायर इनक्लूजन प्रोबेबिलिटीज में LLM-जनित भारों को एकीकृत करता है।

वेट इंटीग्रेशन: LLM से निरंतर संभाव्यताएं (continuous probabilities) अनुमान लगाने के बजाय (जो त्रुटिपूर्ण हो सकती हैं), LLM को ऑर्डिनल इम्पॉर्टेंस रैंकिंग $w \in \{1, \dots, K\}^p$ असाइन करने के लिए कहा जाता है।
प्रायर फॉर्मूलेशन: फीचर $j$ $j$ के लिए प्रायर इनक्लूजन प्रोबेबिलिटी $\theta_j$ $θ_{j}$ को इस प्रकार परिभाषित किया गया है:
$\theta_j = s \frac{w_j^\eta}{\sum_{k=1}^p w_k^\eta}$
जहाँ:
- $s \in (0, 1)$ एक बेसलाइन स्पैरसिटी पैरामीटर है।
- $\eta \in (0, \eta_{\max})$ एक कंसंट्रेशन पैरामीटर है जो भारों के बीच कंट्रास्ट की डिग्री को नियंत्रित करता है। जैसे-जैसे $\eta \to 0$ होता है, मॉडल पारंपरिक यूनिफॉर्म सेटिंग को पुनः प्राप्त कर लेता है; बड़ा $\eta$ भार के अंतर को बढ़ाता है।
हाइरार्किकल हाइपरप्रायर्स: मजबूती सुनिश्चित करने के लिए, लेखक $s$ $s$ और $\eta$ $η$ के लिए हाइरार्किकल हाइपरप्रायर्स असाइन करते हैं:
- $s \sim \text{Beta}(a_s, b_s)$ ।
- $\eta$ एक जीरो-इन्फ्लेटेड डिस्क्रीट यूनिफॉर्म प्रायर का पालन करता है: $\eta \sim \pi_0 \delta_0 + (1-\pi_0)\text{DiscreteUniform}(E)$ ।
  यह संरचना मॉडल को एक अनइंफॉर्मेटिव बेसलाइन ( $\eta=0$ ) पर "फॉल बैक" करने की अनुमति देती है यदि LLM भार डेटा के साथ संघर्ष करते हैं, जिससे खराब भारों से होने वाले प्रदर्शन ह्रास को रोका जा सके।

3. पोस्टीरियर एस्टीमेशन

LSP कुशल पोस्टीरियर एस्टीमेशन तकनीकों के साथ संगत है:

Spike-and-Slab: ADS (Add-Delete-Swap) एल्गोरिदम का एक अनुकूलन उपयोग किया जाता है। हेटेरोजेनियस प्रायर इनक्लूजन प्रोबेबिलिटीज को ध्यान में रखने के लिए मेट्रोपोलिस-हेस्टिंग्स एक्सेप्टेंस रेशियो को संशोधित किया गया है, और कन्वर्जेंस को तेज करने के लिए भारों का उपयोग इनक्लूजन वेक्टर $\gamma$ को इनिशियलाइज करने के लिए किया जाता है।
Spike-and-Slab Lasso: $\eta$ के ग्रिड मानों के माध्यम से कई बार कोऑर्डिनेट डिसेंट एल्गोरिदम चलाया जाता है ताकि लॉग जॉइंट पोस्टीरियर को मैक्सिमाइज करने वाले मान का चयन किया जा सके।

मुख्य योगदान

वेट क्वालिटी फ्रेमवर्क: LLM-जनित भार की गुणवत्ता को मापने के लिए एक व्यवस्थित डायग्नोस्टिक टूल, जो जनरेशन मैकेनिज्म के कठोर तुलना को सक्षम बनाता है।
LLM स्पैरसिटी प्रायर (LSP): एक अभिनव फ्रेमवर्क जो व्याख्या योग्य हाइपरपैरामीटर्स ( $s$ और $\eta$ ) और हाइरार्किकल प्रायर्स के माध्यम से बेयसियन वेरिएबल सिलेक्शन में LLM वेट्स को एकीकृत करता है, जो भ्रामक भारों के प्रति मजबूती सुनिश्चित करता है।
प्रॉम्प्ट इंजीनियरिंग और वैलिडेशन: व्यवस्थित प्रॉम्प्ट रणनीतियों का विकास और बेयलर कॉलेज ऑफ मेडिसिन (BCM) के एक निजी मेडिकल डेटासेट (एक्यूट किडनी इंजरी) पर अनुभवजन्य सत्यापन, जो प्रॉम्प्ट विविधताओं के प्रति मजबूती और लो-डेटा रिजीमों में प्रभावशीलता प्रदर्शित करता है।

परिणाम

सिमुलेशन अध्ययन

मजबूती (Robustness): LSP विधियाँ (स्पाइक-एंड-स्लैब और स्पाइक-एंड-स्लैब लासो वेरिएंट दोनों) सभी वेट क्वालिटीज में मजबूत रहती हैं। रैंडम वेट्स ( $\phi_{\ell_1} = 0.5$ ) के तहत, LSP का प्रदर्शन बेसलाइन के लगभग समान रहता है ( $\ell_1$ एरर में 0.1 यूनिट के भीतर)।
परफॉरमेंस गेन: जैसे-जैसे वेट क्वालिटी में सुधार होता है, LSP बेसलाइन्स से काफी बेहतर प्रदर्शन करता है। उदाहरण के लिए, सटीक वेट्स वाले हाई-डायमेंशनल रिजीम में, LSP ने स्टैंडर्ड स्पाइक-एंड-स्लैब की तुलना में $\ell_1$ एरर को चार गुना कम कर दिया।
LLM-Lasso के साथ तुलना: LSP के विपरीत, LLM-Lasso विधि अत्यधिक अस्थिर है। मध्यम-से-खराब वेट रिजीम के तहत, इसका प्रदर्शन गंभीर रूप से गिर जाता है (स्टैंडर्ड लासो की एरर का 1.64 गुना तक), क्योंकि क्रॉस-वैलिडेशन अनइंफॉर्मेटिव वेट्स के मामले में स्टैंडर्ड लासो पर सही ढंग से वापस जाने में विफल रहता है।

एप्लीकेशन: एक्यूट किडनी इंजरी (AKI)

कार्डिएक सर्जरी के मरीजों से संबंधित बेयलर कॉलेज ऑफ मेडिसिन (BCM) के एक निजी डेटासेट का उपयोग करते हुए, लेखकों ने पोस्ट-ऑपरेशन सीरम क्रिएटिनिन स्तर की भविष्यवाणी की।

प्रेडिक्टिव एक्यूरेसी: LSP (स्पाइक-एंड-स्लैब) ने स्टैंडर्ड स्पाइक-एंड-स्लैब की तुलना में पांच अलग-अलग पेशेंट सब-पॉपुलेशन में आउट-ऑफ-सैंपल मीन स्क्वेर्ड एरर (MSE) को औसतन 5% कम किया।
फीचर सिलेक्शन: LSP ने चिकित्सकीय रूप से प्रासंगिक फीचर्स की पहचान की जिन्हें बेसलाइन्स ने मिस कर दिया था। विशेष रूप से, इसने इंट्राऑपरेटिव रेड ब्लड सेल्स (RBC) ट्रांसफ्यूज्ड को एक प्रमुख प्रेडिक्टर के रूप में अनूठे रूप से चुना, जो AKI के लिए एक ज्ञात बायोमार्कर है, जबकि बेसलाइन मेथड इसे मिस कर गया।
लो-डेटा रिजीम्स: बेसलाइन्स की तुलना में LSP का प्रदर्शन लाभ कम सैंपल साइज ( $n \in \{100, 150, 200\}$ ) के साथ बढ़ता गया, जो डेटा-दुर्लभ वातावरण में इसकी उपयोगिता की पुष्टि करता है।
प्रॉम्प्ट सेंसिटिविटी: यह विधि पांच अलग-अलग प्रॉम्प्ट इंजीनियरिंग रणनीतियों के बीच मजबूत रही, जिसमें LSP (स्पाइक-एंड-स्लैब) ने 25 में से 24 मामलों में बेसलाइन से बेहतर प्रदर्शन किया।

महत्व और दावे

पेपर का दावा है कि LLM स्पैरसिटी प्रायर वास्तविक दुनिया के अनुप्रयोगों के लिए एक विश्वसनीय और प्रभावी विकल्प प्रदान करता है जहाँ LLM-जनित भार की गुणवत्ता अज्ञात होती है। एक हाइरार्किकल प्रायर को शामिल करके जो मॉडल को अनइंफॉर्मेटिव वेट्स को गतिशील रूप से डिस्काउंट करने की अनुमति देता है, LSP दो लक्ष्यों को एक साथ प्राप्त करता है:

यह सटीक वेट्स होने पर प्रेडिक्शन एक्यूरेसी और फीचर सिलेक्शन को बेहतर बनाने के लिए उच्च-गुणवत्ता वाले डोमेन ज्ञान का लाभ उठाता है।
यह मौजूदा विधियों (जैसे LLM-Lasso) में होने वाले भारी प्रदर्शन ह्रास को रोकता है जब वेट्स गलत या भ्रामक होते हैं।

लेखक नोट करते हैं कि LSP का लाभ लो-डेटा रिजीम्स और अत्यधिक स्पार्स सेटिंग्स में सबसे अधिक स्पष्ट है जहाँ मानक विधियाँ संघर्ष करती हैं। वे निष्कर्ष निकालते हैं कि जबकि LLM-सूचित विधियाँ बहुत अधिक संभावना रखती हैं, उनकी व्यावहारिक उपयोगिता LSP जैसे मजबूत एकीकरण तंत्रों पर निर्भर करती है जो LLMs की स्टोकेस्टिसिटी और संभावित मतिभ्रम (hallucinations) को ध्यान में रखते हैं।