Optimal Inference with Black-box Predictions

तकनीकी सारांश: ब्लैक-बॉक्स भविष्यवाणियों के साथ इष्टतम अनुमान (Optimal Inference)

समस्या विवरण
यह कार्य उच्च-आयामी (high-dimensional) परिवेश में वैध और कुशल सांख्यिकीय परिकल्पना परीक्षण (statistical hypothesis testing) करने की चुनौती को संबोधित करता है, जब डेटा वितरण के सहायक ब्लैक-बॉक्स भविष्यवाणियाँ उपलब्ध हों। विशेष रूप से, लेखक गाऊसी अनुक्रम मॉडल (Gaussian sequence model) का अध्ययन करते हैं जहाँ हम $n$ नमूने $X_1, \dots, X_n \sim N(\theta, I_d/n)$ देखते हैं और अज्ञात माध्य $\theta \in \mathbb{R}^d$ के $m$ निश्चित ब्लैक-बॉक्स भविष्यवाणियाँ $\{\hat{\theta}_1, \dots, \hat{\theta}_m\}$ प्राप्त होते हैं। लक्ष्य शून्य परिकल्पना $H_0: \theta = 0$ के विरुद्ध वैकल्पिक परिकल्पना $H_1: \|\theta\|_2 \geq \epsilon$ का परीक्षण करना है।

एक केंद्रीय तनाव मौजूद है: जबकि सूचनात्मक भविष्यवाणियाँ विशिष्ट दिशाओं में सांख्यिकीय शक्ति (statistical power) को केंद्रित कर सकती हैं, खराब भविष्यवाणियाँ परीक्षण को गुमराह कर सकती हैं। महत्वपूर्ण रूप से, व्यवहार में, इन भविष्यवाणियों की सटीकता (त्रुटि त्रिज्या/error radius) अज्ञात होती है। यह शोध पत्र अज्ञात भविष्यवाणी सटीकता के अनुकूल होने वाले परीक्षणों को विकसित करने का प्रयास करता है जो वैधता (validity) से समझौता किए बिना कार्य करते हैं।

कार्यप्रणाली और ढांचा
लेखक $H_0$ से $H_1$ को अलग करने की कठिनाई का विश्लेषण करने के लिए एक मिनिमैक्स (minimax) ढांचे का उपयोग करते हैं। वे "ओरेकल" (oracle) सेटिंग को परिभाषित करते हैं जहाँ भविष्यवाणियों की सटीकता $r = (r_1, \dots, r_m)$ ज्ञात है, और "अनुकूलनशील" (adaptive) सेटिंग जहाँ वे अज्ञात हैं।

1. ओरेकल अनुमान (Oracle Inference): जब सटीकता ज्ञात होती है, तो वैकल्पिक परिकल्पना $B_r = \bigcap_{i=1}^m B(\hat{\theta}_i, r_i)$ के प्रतिच्छेदन (intersection) के भीतर स्थानीयकृत होती है। लेखक $S_\epsilon \cap B_r$ (जहाँ $S_\epsilon$ त्रिज्या $\epsilon$ वाला गोला है) की ज्यामिति के आधार पर इष्टतम पृथक्करण दर $\epsilon^*(r)$ को अभिलक्षित (characterize) करते हैं।

   • वे $\gamma_*(\epsilon, r)$ को पेश करते हैं, जो भविष्यवाणियों के विस्तार (span) पर वैकल्पिक माध्य के सबसे छोटे प्रक्षेप (projection) की लंबाई है।
   • वे एक "वर्स्ट-केस कोसाइन सिमिलैरिटी" (worst-case cosine similarity) $CS(\epsilon, r)$ को परिभाषित करते हैं, जो डेटा माध्य और भविष्यवाणी विस्तार के बीच संरेखण (alignment) को मापने के लिए है।
   • इष्टतम ओरेकल परीक्षण मानक ची-स्क्वायर टेस्ट (जब भविष्यवाणियाँ सूचनात्मक नहीं होतीं) और लाइक्लिहुड-रेशियो या प्रोजेक्शन-आधारित टेस्ट (जब भविष्यवाणियाँ सूचनात्मक होती हैं) के बीच स्विच करता है।

2. अनुकूलनशील अनुमान (लंबवत भविष्यवाणियाँ - Orthogonal Predictions): जब भविष्यवाणियाँ लंबवत (orthogonal) होती हैं और सटीकता अज्ञात होती है, तो लेखक एक अनुकूलनशील परीक्षण प्रस्तावित करते हैं जो भविष्यवाणियों के विस्तार पर सभी दिशाओं के प्रोजेक्शन को ची-स्क्वायर सांख्यिकी का उपयोग करके एकत्रित करता है। वे "अनुकूलनता अंतराल" (adaptivity gap) का विश्लेषण करते हैं: नमूना आकार में वह लागत जो अज्ञात सटीकता के कारण आवश्यक होती है क्योंकि परीक्षण अज्ञात सटीकता के अनुसार दिशाओं को भार (weight) नहीं दे सकता।

3. अनुकूलनशील अनुमान (मनमानी भविष्यवाणियाँ - Arbitrary Predictions): गैर-लंबवत भविष्यवाणियों (जैसे पुन: नमूनाकरण/resampling के माध्यम से एक ही मॉडल से प्राप्त) के लिए, मानक प्रोजेक्शन परीक्षण उप-इष्टतम होते हैं क्योंकि वे सभी दिशाओं के साथ समान व्यवहार करते हैं। लेखक एक आंतरिक प्रोजेक्शन परीक्षण (intrinsic projection test) प्रस्तावित करते हैं। यह विधि भविष्यवाणियों के मैट्रिक्स $\hat{U}$ के सिंगुलर मानों (singular values) के आधार पर प्रोजेक्शन को भार देती है, विशेष रूप से $\Sigma = \hat{U}^T \hat{U}$ के वर्ग कोसेट को उपयोग करती है। परीक्षण सांख्यिकी $\Sigma^2$ के आंतरिक आयाम (intrinsic dimension) पर निर्भर करती है, जिसे $Int(\Sigma^2) = \text{Tr}(\Sigma^2) / \|\Sigma^2\|_{op}$ के रूप में परिभाषित किया गया है, न कि भविष्यवाणियों के विस्तार के परिवेशी आयाम (ambient dimension) पर।

प्रमुख योगदान और परिणाम

• ओरेकल सीमाएँ (प्रमेय 1 और 2): लेखक एक ओरेकल परीक्षण के लिए इष्टतम नमूना जटिलता (sample complexity) को अभिलक्षित करते हैं। यह दर सत्य माध्य और भविष्यवाणी विस्तार के बीच वर्स्ट-केस कोसाइन सिमिलैरिटी पर निर्भर करती है।

  • यदि समानता कम है ($CS \lesssim d^{-1/4}$), तो भविष्यवाणी कोई लाभ नहीं देती है, और दर बिना भविष्यवाणी वाली दर $n \gtrsim \sqrt{d}/\epsilon^2$ बनी रहती है।
  • यदि समानता उच्च है, तो ओरेकल आयाम-स्वतंत्र दर $n \gtrsim 1/\gamma_*^2$ प्राप्त करता है, जो प्रभावी रूप से समस्या को एक-आयामी परीक्षण में बदल देता है।
  • यदि भविष्यवाणी अत्यंत सटीक है (विजातीय गोले/disjoint spheres), तो पैरामीट्रिक दर $n \gtrsim 1/\|\theta^*\|^2$ प्राप्त की जाती है।

• लंबवत भविष्यवाणियों के लिए अनुकूलन की लागत (प्रमेय 3 और 4): लंबवत भविष्यवाणियों के लिए, लेखक स्थापित करते हैं कि एक अनुकूलनशील परीक्षण को ओरेकल की तुलना में $\sqrt{m}$ कारक अधिक नमूना आकार की आवश्यकता होती है।

  • अनुकूलनशील दर $n \gtrsim \sqrt{m}/\gamma_*^2$ है।
  • यह अंतराल इसलिए उत्पन्न होता है क्योंकि अनुकूलनशील परीक्षण को सभी $m$ लंबवत दिशाओं में विचलन खोजना पड़ता है, जबकि ओरेकल उन्हें एक एकल इष्टतम दिशा में एकत्रित कर सकता है।
  • लेखक सिद्ध करते हैं कि यह $\sqrt{m}$ निर्भरता एक प्राकृतिक अपरिवर्तनीयता गुण (Property 1) को संतुष्ट करने वाले पृथक्करण वक्रों के बीच इष्टतम है, जो दर्शाता है कि लंबवत भविष्यवाणियों के लिए "फ्री लंच" (मुफ्त लाभ) असंभव है।

• मनमानी भविष्यवाणियों के लिए अनुकूलन (प्रमेय 5): गैर-लंबवत भविष्यवाणियों के लिए, लेखक दिखाते हैं कि अनुकूलन की लागत भविष्यवाणियों की संख्या $m$ या विस्तार के रैंक के बजाय आंतरिक आयाम ($Int(\Sigma^2)$) पर निर्भर करती है।

  • आंतरिक प्रोजेक्शन का उपयोग करने वाला अनुकूलनशील परीक्षण $n \gtrsim \sqrt{Int(\Sigma^2)}/\tilde{\gamma}_*^2$ की दर प्राप्त करता है।
  • चूंकि $Int(\Sigma^2) \leq \text{rank}(\hat{U})$, गैर-लंबवत भविष्यवाणियाँ (जो अक्सर क्लस्टर होती हैं) अनुकूलन लागत को लंबवत मामले की तुलना में काफी कम कर सकती हैं।
  • यह शोध पत्र प्रदर्शित करता है कि जब भविष्यवाणियाँ पर्याप्त सूचना साझा करती हैं (कम आंतरिक आयाम), तो अनुकूलनशील विधियाँ प्रतिस्पर्धी विधियों की तुलना में बेहतर प्रदर्शन कर सकती हैं जो इस संरचना को अनदेखा करती हैं।

महत्व और दावे
यह शोध पत्र ब्लैक-बॉक्स भविष्यवाणियों को परिकल्पना परीक्षण में एकीकृत करने के लिए एक एकीकृत सिद्धांत प्रदान करने का दावा करता है। इसके प्राथमिक योगदान हैं:

1. सीमाओं का निर्धारण: यह भविष्यवाणियों के ज्यामितीय संरेखण के आधार पर यह अंतर करते हुए कि भविष्यवाणियाँ सहायक हैं या अनुपयोगी, ब्लैक-बॉक्स भविष्यवाणियों के साथ अनुमान की सूचना-सैद्धांतिक सीमाओं को स्थापित करता है।
2. अनुकूलन लागत का परिमाणीकरण: यह "अनुकूलन की लागत" (अज्ञात भविष्यवाणी सटीकता के लिए नमूना आकार दंड) को कठोरता से मात्रात्मक बनाता है। यह प्रकट करता है कि लंबवत भविष्यवाणियों के लिए, यह लागत $\sqrt{m}$ के साथ स्केल करती है, लेकिन सहसंबद्ध (correlated) भविष्यवाणियों के लिए, यह भविष्यवाणियों के सेट के आंतरिक आयाम के साथ स्केल करती है।
3. व्यावहारिक एल्गोरिदम: यह व्यावहारिक, अनुकूलनशील परीक्षण (प्रोजेक्शन-आधारित और इंट्रिंसिक प्रोजेक्शन-आधारित) प्रस्तावित करता है जो स्वचालित रूप से शक्ति आवंटन (power allocation) को समायोजित करते हैं। ये परीक्षण भविष्यवाणियों की गुणवत्ता के बावजूद वैध होते हैं (टाइप I त्रुटि नियंत्रण बनाए रखते हैं) लेकिन जब भविष्यवाणियाँ सूचनात्मक होती हैं तो इष्टतम शक्ति प्राप्त करते हैं।

लेखक इस कार्य को संरचना-अज्ञेय (structure-agnostic) अनुमान और प्रेडिक्शन-पावर्ड इंफरेंस (prediction-powered inference) के व्यापक संदर्भ में रखते हैं, और इन अवधारणाओं को परिकल्पना परीक्षण तक विस्तारित करते हैं। वे इस बात पर जोर देते हैं कि हालांकि भविष्यवाणियाँ दक्षता में सुधार कर सकती हैं, इष्टतम रणनीति अज्ञात सत्य के साथ भविष्यवाणियों के ज्यामितीय संबंध पर महत्वपूर्ण रूप से निर्भर करती है, और अज्ञात गुणवत्ता के लिए अनुकूलन करने में एक विशिष्ट, मात्रात्मक लागत लगती है।