Deployment-complete benchmarking

तकनीकी सारांश: परिनियोजन-पूर्ण बेंचमार्किंग (Deployment-Complete Benchmarking)

समस्या विवरण
वर्तमान मशीन लर्निंग बेंचमार्क तेजी से महत्वपूर्ण परिनियोजन (deployment) निर्णयों को निर्देशित कर रहे हैं, जैसे कि मॉडल खरीद, सामग्री स्क्रीनिंग और कंपाउंड ट्राइएज। हालाँकि, एक मौलिक विसंगति मौजूद है: एक बेंचमार्क स्कोर केवल उस विशिष्ट प्रतिक्रिया के लिए साक्ष्य प्रदान करता है जिसे वह रिकॉर्ड करता है (जैसे, परीक्षण सेट पर भविष्यवाणी सटीकता), न कि आवश्यक परिनियोजन क्रिया के लिए (जैसे, सुरक्षा, मजबूती, या एक विशिष्ट भौतिक सीमा)। एक मॉडल बेंचमार्क पर पूरी तरह से प्रदर्शन कर सकता है जबकि उस स्कोर से प्राप्त क्रिया अपूर्ण रह सकती है क्योंकि परिनियोजन बेंचमार्क के दायरे से बाहर की प्रतिक्रियाओं (जैसे, विषाक्तता, स्थिरता, या आउट-ऑफ-डिस्ट्रीब्यूशन मजबूती) पर निर्भर करता है। यह शोध पत्र तर्क देता है कि मानक मेट्रिक्स जैसे सटीकता (accuracy), अंशांकन (calibration), और अनिश्चितता (uncertainty) यह गारंटी नहीं देते कि एक बेंचमार्क स्कोर एक विशिष्ट परिनियोजन दावे का समर्थन करता है।

कार्यप्रणाली (Methodology)
लेखक परिनियोजन-पूर्ण बेंचमार्किंग (deployment-complete benchmarking) पेश करते हैं, जो एक ऐसा ढांचा है जो बेंचमार्क साक्ष्य से परिनियोजन क्रिया तक के संक्रमण को एक गणितीय गुणनखंडन (factorization) समस्या के रूप में मानता है।

• औपचारिक परिभाषाएँ:

  • मान लीजिए $S$ उम्मीदवारों का स्थान है, $Z$ रिकॉर्ड किए गए साक्ष्य (बेंचमार्क स्कोर) का स्थान है, और $A$ परिनियोजन क्रियाओं का स्थान है।
  • एक बेंचमार्क एक साक्ष्य मानचित्र $E: S \to Z$ रिकॉर्ड करता है। एक परिनियोजन दावा एक क्रिया $D: S \to A$ है।
  • दावा-पूर्णता (Claim-Completeness): एक बेंचमार्क किसी दावे $D$ के लिए पूर्ण है यदि और केवल यदि $D$, प्रत्येक साक्ष्य फाइबर $E^{-1}(z)$ पर स्थिर है। समतुल्य रूप से, एक मानचित्र $\phi: Z \to A$ होना चाहिए ताकि $D = \phi \circ E$ हो।
  • मिश्रित फाइबर (Mixed Fibers): यदि एक फाइबर $E^{-1}(z)$ में ऐसे उम्मीदवार शामिल हैं जिन्हें अलग-अलग परिनियोजन क्रियाओं की आवश्यकता है (जैसे, एक उम्मीदवार को तैनात किया जाना चाहिए, दूसरा अस्वीकार किया जाना चाहिए), तो यह एक "मिश्रित फाइबर" है। यह एक गणितीय गवाह के रूप में कार्य करता है कि रिपोर्ट किया गया साक्ष्य क्रिया निर्धारित करने के लिए अपर्याप्त है।

• नैदानिक उपकरण (Diagnostic Tools):

  • मिश्रित-फाइबर ऑडिट (Mixed-Fiber Audit): एक नैदानिक जो मिश्रित फाइबर में रहने वाले उम्मीदवारों के अंश की गणना करता है।
  • पूर्णता वक्र (Completion Curves): ये अस्पष्टता को हल करने के लिए आवश्यक लागत (अतिरिक्त प्रतिक्रिया जांच या बजट के संदर्भ में) को मापते हैं। वे "प्रमाणित अंश" (शुद्ध फाइबर वाले उम्मीदवार) को "प्रतिक्रिया बजट" के विरुद्ध प्लॉट करते हैं।
  • प्रमाणन प्रकार (Certification Types): पेपर सटीक प्रमाणन (ज्ञात लेबल वाले परिमित सेट), अंशांकन प्रमाणन (होल्ड-आउट डेटा पर अनुभवजन्य जोखिम), और अनुमानित प्रमाणन (मॉडलिंग धारणाओं पर आधारित अंतराल सीमाएं) के बीच अंतर करता है।

• प्रायोगिक डिजाइन:

  • नियंत्रित प्रतिक्रिया स्थान (Controlled Response Spaces): सिंथेटिक प्रयोग जहाँ प्रतिक्रिया स्थान की ज्यामिति ज्ञात है, जिससे "अवशिष्ट आकार" (residual size - बेंचमार्क के अदृश्य घटक) की सटीक गणना संभव होती है।
  • सार्वजनिक ऑडिट: वास्तविक दुनिया के बेंचमार्क में मिश्रित फाइबर की व्यापकता को मापने के लिए मौजूदा डेटासेट (Tox21, Matbench, JARVIS, Vision) का विश्लेषण।
  • होल्ड-आउट रिप्ले (Held-out Replays): परिचालन सिमुलेशन जहाँ "प्रमाणित-फिर-प्राप्त करें" (certify-then-acquire) वर्कफ़्लो का परीक्षण किया जाता है। शुद्ध फाइबर वाले उम्मीदवारों के बारे में तुरंत निर्णय लिया जाता है; मिश्रित फाइबर वाले उम्मीदवारों को अतिरिक्त माप (अधिग्रहण/acquisition) के लिए भेजा जाता है।

मुख्य परिणाम

1. बेंचमार्क सटीकता $\neq$ परिनियोजन पूर्णता:

   • नियंत्रित प्रयोगों में, बेंचमार्क-चैनल कॉन्फॉर्मल प्रेडिक्शन ने मापे गए लेबल पर 94.98% कवरेज प्राप्त किया लेकिन अनमापे गए परिनियोजन चैनल पर केवल 10.07%।
   • शून्य बेंचमार्क त्रुटि (बेंचमार्क पर पूर्ण भविष्यवाणी) के साथ भी, परिनियोजन कवरेज गिर गया (एक विशिष्ट अवशिष्ट आकार पर 45.4% तक), क्योंकि परिनियोजन दिशा बेंचमार्क स्पैन के लंबवत (orthogonal) एक घटक थी।
   • लीडरबोर्ड उलटाव (Leaderboard Inversion): सबसे अच्छा बेंचमार्क MAE वाला मॉडल अक्सर परिनियोजन उम्मीदवारों को प्रमाणित करने में सबसे खराब था। कुछ रन में, सबसे अच्छे-MAE वाले मॉडल ने अपने शीर्ष उम्मीदवारों में से केवल 6% को प्रमाणित किया, जबकि खराब MAE वाले मॉडल ने 100% को प्रमाणित किया क्योंकि उसके रिस्पॉन्स स्पान ने परिनियोजन प्रोब को कवर किया था।

2. सार्वजनिक बेंचमार्क में प्रणालीगत अपूर्णता:

   • Tox21: 97.9% फाइबर (समान 7-असे-प्रोफाइल वाले यौगिकों के समूह) SR-p53 परिनियोजन एंडपॉइंट के संबंध में मिश्रित थे।
   • Matbench और JARVIS: मुख्य 20-क्वांटाइल ऑडिट में, स्थिरता और बैंड-गैप दावों के लिए औसत प्रमाणन योग्य अंश 0% था।
   • Vision: क्लीन प्रेडिक्शन फाइबर ने भ्रष्टाचार-मजबूती (corruption-robustness) दावों को 22.7% तक अस्पष्ट छोड़ दिया।

3. पूर्णता-जागरूक नीतियों का परिचालन प्रभाव:

   • गलत निर्णयों में कमी: Tox21 होल्ड-आउट रिप्ले में, एक "प्रमाणित-फिर-प्राप्त करें" वर्कफ़्लो ने अनुभवजन्य गलत निर्णयों को 1.19% (बेंचमार्क-बहुमत नीति) से घटाकर 0.027% कर दिया। JARVIS में, गलत बैंड-गैप निर्णयों में 20.3% से 0.128% की गिरावट आई।
   • मॉडल चयन: पूर्णता-जागरूक वर्कफ़्लो ने बेंचमार्क-MAE वर्कफ़्लो की तुलना में अलग मॉडल चुने। एक प्रतिनिधि JARVIS स्प्लिट में, बेंचमार्क-MAE मॉडल ने 613 गलत बैंड-गैप निर्णय लिए, जबकि रिस्पॉन्स-चयनित वर्कफ़्लो ने एक भी नहीं लिया।
   • प्रोब चयन: "रिस्पॉन्स-रैंक" और "रेसिड्यूअल-ग्रीडी" नीतियों ने सफलतापूर्वक परिनियोजन-प्रासंगिक प्रोब्स (जैसे, विशिष्ट विषाक्तता परख या बैंड-गैप गणना) की पहचान की, जो अनिश्चितता-आधारित या विविधता-आधारित अधिग्रहण रणनीतियों से बेहतर प्रदर्शन करते हैं।

महत्व और दावे
शोध पत्र का दावा है कि परिनियोजन-तैयार बेंचमार्क को "केवल स्कोर" से बदलकर एक ऑडिट योग्य साक्ष्य पैकेज के रूप में रिपोर्टिंग मानक को बदलना चाहिए। इस पैकेज में शामिल होना चाहिए:

1. स्कोर।
2. उपयोग किया गया साक्ष्य मानचित्र।
3. वह विशिष्ट क्रिया जिसका स्कोर समर्थन करने के लिए है।
4. उन उम्मीदवारों का अंश जिनका कार्य पहले से ही निर्धारित है (शुद्ध फाइबर)।
5. अस्पष्टता का अंश (मिश्रित फाइबर)।
6. पूर्णता लागत (अस्पष्टता को हल करने के लिए आवश्यक बजट)।

लेखक का तर्क है कि रैंकिंग और विश्वसनीयता के लिए सटीकता, अंशालेशन और अनिश्चितता अनुमान मूल्यवान बने रहते हैं, लेकिन वे अलग प्रश्नों का उत्तर देते हैं। परिनियोजन पूर्णता विशेष रूप से यह पूछती है कि क्या साक्ष्य पैकेज क्रिया को निर्धारित करता है। यह ढांचा एक डायग्नोस्टिक प्रदान करता है कि कब साक्ष्य अपर्याप्त है, लापता जानकारी को ठीक करने के लिए सांख्यिकी की सीमा बताता है (कोई नहीं, यदि वे केवल उसी साक्ष्य पर निर्भर हैं), और आवश्यक जानकारी प्राप्त करने के लिए एक डिज़ाइन नियम प्रदान करता है।

सीमाएं और दायरा
यह पेपर यह दावा नहीं करता कि सभी बेंचमार्क बेकार हैं, बल्कि यह कि वे अक्सर विशिष्ट परिनजन दावों के लिए अपूर्ण होते हैं। "प्रमाणित-फिर-प्राप्त करें" वर्कफ़्लो अस्पष्ट उम्मीदवारों को विफलताओं के रूप में नहीं, बल्कि आगे के माप के अनुरोधों के रूप में मानता है। फ्रेमवर्क साक्ष्य-सापेक्ष (evidence-relative) है; डिस्क्रिप्टर, बाधाएं या नए माप जोड़ने से साक्ष्य मानचित्र बदल जाता है और पूर्णता लागत को कम कर सकता है। परिणाम अनिश्चित वितरणों पर औपचारिक जनसंख्या गारंटी के बजाय, होल्ड-आउट डेटा पर अनुभवजन्य जोखिम मूल्यांकन और परिमित सेटों पर गणितीय निदान के रूप में प्रस्तुत किए गए हैं।