🤖 machine learning

BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies

यह शोध पत्र BOKBO को प्रस्तुत करता है, जो K-सैंपल VLA इन्फरेंस के लिए पहला कॉन्फॉर्मल एब्स्टेंशन लेयर (conformal abstention layer) है, जो मौजूदा नॉनकॉन्फॉर्मिटी स्कोर्स में संरचनात्मक विफलताओं को संबोधित करके और फोर्स थ्रेशोल्डिंग में पद्धतिगत खामियों को सुधारकर निष्पादित-उल्लंघन दरों (executed-violation rates) पर परिमित-नमूना वितरण-मुक्त गारंटी प्रदान करता है, जिससे विविध बेंचमार्क और वितरण बदलावों (distribution shifts) में सुरक्षा अंशांकन (safety calibration) और कार्य सफलता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बहुत ही नाजुक काम करना सिखा रहे हैं, जैसे केचप डालना या मक्खन फैलाना। रोबोट को अधिक सुरक्षित और विश्वसनीय बनाने के लिए, इंजीनियर एक तरकीब का उपयोग करते हैं जिसे K-Sample Scaling कहा जाता है। केवल एक चाल सोचने के बजाय, वे रोबोट से K अलग-अलग संभावित चालों की कल्पना करने के लिए कहते हैं (मान लीजिए केचप डालने के 8 अलग-अलग तरीके) और फिर उनमें से "सबसे अच्छी" को चुनने के लिए कहते हैं।

समस्या यह है: क्या होगा अगर कल्पना की गई सभी 8 चालें खतरनाक हों?

मौजूदा तरीकों में एक कमी है। वे यह मान लेते हैं कि यदि आप पर्याप्त विकल्प उत्पन्न करते हैं, तो कम से कम एक सुरक्षित होगा। यदि सभी 8 खराब हैं, तो रोबोट "सबसे कम बुरे" को चुन लेता है और उसे फिर भी कर दिखाता है, जिससे दुर्घटना या रिसाव हो जाता है। यह एक शेफ से 8 सड़े हुए सेबों में से सबसे अच्छा चुनने के लिए कहने जैसा है; वे फिर भी एक चुन लेंगे, और आपको सड़ा हुआ सलाद मिलेगा।

यह पेपर BOKBO (Best of K Bad Options) पेश करता है, जो एक नया सुरक्षा स्तर (safety layer) है जिसे इस समस्या को ठीक करने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "सुरक्षा द्वारपाल" (Conformal Abstention)

BOKBO को एक सख्त सुरक्षा द्वारपाल के रूप में सोचें जो रोबोट के सामने खड़ा है।

पुराना तरीका: द्वारपाल 8 विकल्पों को देखता है, "सबसे अच्छे" को चुनता है, और उसे जाने देता है। यदि सभी 8 खराब हैं, तो द्वारपाल सबसे बुरे को भी जाने देता है।
BOKBO वाला तरीका: द्वारपाल के पास एक विशेष नियम है: "यदि मैं गारंटी नहीं दे सकता कि चुना गया कदम सुरक्षित है, तो मैं रोबोट को पूरी तरह से रोक दूँगा।"
परिणाम: रोबोट कभी-कभी काम नहीं कर पाएगा (वह "abstain" करेगा), लेकिन जब वह कोई कार्य करता है, तो आपके पास एक गणितीय गारंटी होती है कि सुरक्षा उल्लंघन की संभावना अत्यंत कम है (उनके परीक्षणों में 5% से भी कम)।

2. "टूटा हुआ दिशा-सूचक यंत्र" (क्यों पुराने तरीके विफल रहे)

शोधकर्ताओं ने पता लगाया कि पिछले सुरक्षा चेक क्यों विफल हुए। उन्होंने दो "मुफ्त" संकेतों का उपयोग करने की कोशिश की जो रोबोट पहले से ही उत्पन्न करता है:

आत्मविश्वास (Confidence): रोबत अपनी चाल के बारे में कितना आश्वस्त महसूस करता है।
असहमति (Disagreement): 8 विकल्प एक-दूसरे से कितने अलग हैं।

उपमा: कल्पना कीजिए कि आप मौसम का अनुमान लगाने की कोशिश कर रहे हैं।

गलती: शोधकर्ताओं ने महसूस किया कि "असहमति" का संकेत वास्तव में यह नहीं माप रहा था कि रोबोट मौसम के बारे में कितना अनिश्चित था। इसके बजाय, यह केवल यह माप रहा था कि शोधकर्ताओं ने विकल्प उत्पन्न करने से पहले पासे (dice) को कितनी बार हिलाया था।
वास्तविकता: उनके सेटअप में, रोबोट 8 विकल्प उत्पन्न करने के लिए यादृच्छिक "शोर" (noise) जोड़कर करता है (पासे हिलाना)। जितना अधिक शोर जोड़ा गया, विकल्पों में उतनी ही अधिक असहमति हुई। रोबोट का "असहमति" स्कोर केवल शोर के स्तर का थर्मामीटर था, न कि खतरे का डिटेक्टर। यह एक स्मोक अलार्म की तरह था जो केवल तभी बजता है जब आप उसके पास परफ्यूम छिड़कते हैं, लेकिन वास्तविक आग लगने पर शांत रहता है।

3. "स्मार्ट जासूस" (The Learned Predictor)

चूंकि रोबोट के अपने आंतरिक संकेत झूठ बोल रहे थे (या यूँ कहें कि गलत चीज़ माप रहे थे), शोधकर्ताओं ने एक छोटा, अलग AI जासूस (एक "Learned Violation Predictor") बनाया।

यह जासूस रोबोट के विकल्पों और दृश्य दृश्य (कैमरे का उपयोग करके) को देखता है।
इसे विशेष रूप से खतरे को पहचानने के लिए प्रशिक्षित किया गया था, जो रोबोट द्वारा उत्पन्न किए जा रहे "शोर" को अनदेखा करता है।
परिणाम: यह जासूस वास्तव में एक सुरक्षित चाल और एक खतरनाक चाल के बीच अंतर बता सकता था, जिससे सुरक्षा द्वारपाल सही निर्णय ले सका।

4. "कस्टम फिट" बनाम "एक ही आकार सबके लिए" (One Size Fits All)

पेपर ने यह भी पाया कि सुरक्षा हर कार्य के लिए एक समान नहीं होती है।

समस्या: एक "ग्लोबल" सुरक्षा नियम (जैसे "50 न्यूटन से अधिक जोर न लगाएं") नरम कार्यों (जैसे टमाटर संभालना) के लिए बहुत सख्त है और कठिन कार्यों (जैसे भारी बोतल संभालना) के लिए बहुत ढीला है। इससे या तो गलत अलार्म बजते थे या खतरे छूट जाते थे।
समाधान (Mondrian): BOKBO प्रत्येक विशिष्ट कार्य के लिए एक कस्टम सुरक्षा नियम बनाता है। यह सीखता है कि एक मानव विशेषज्ञ केचप बनाम मक्खन को संभालते समय वास्तव में कितना दबाव डालता है, और उसी के अनुसार सुरक्षा सीमा निर्धारित करता है। यह सिस्टम को बहुत अधिक विश्वसनीय बनाता है।

5. "सिमुलेशन रियलिटी चेक"

शोधकर्ताओं ने उच्च-सटीकता वाले कंप्यूटर सिमुलेशन (MuJoCo) में इसका परीक्षण किया।

उन्होंने पाया कि BOKBO ने 86% परीक्षण मामलों में रोबोट को खतरनाक चालें चलने से सफलतापूर्वक रोका, जबकि इसने रोबोट को 70% समय कार्य पूरा करने भी दिया।
BOKBO के बिना, रोबोट सुरक्षित रूप से विफल (रुककर) कम बार होता, लेकिन जब वह कार्य करता, तो वह 8.6% बार गलतियाँ करता। BOKBO के साथ, त्रुटि दर घटकर लगभग 3% रह गई।

सारांश

यह पेपर तर्क देता है कि केवल रोबोट से "कुछ चीजें आज़माने और सबसे अच्छी चुनने" के लिए कहना पर्याप्त नहीं है यदि आपके पास यह कहने का तरीका नहीं है कि "इनमें से कोई भी सुरक्षित नहीं है।"

पुराना तरीका: "खराब विकल्पों में से सबसे अच्छा चुनें।" (मौन विफलता/Silent failure)।
BOKBO: "यदि कोई भी विकल्प सुरक्षित नहीं है, तो रुक जाएँ।" (सुरक्षित विफलता/Safe failure)।
मुख्य अंतर्दृष्टि: आप रोबोट के अपने "आत्मविश्वास" या "असहमति" स्कोर पर भरोसा नहीं कर सकते जब आप विकल्प उत्पन्न करने के लिए कृत्रिम रूप से शोर जोड़ रहे हों। आपको वास्तविक खतरे को पहचानने के लिए एक समर्पित "जासूस" की आवश्यकता है।

पेपर निष्कर्ष निकालता है कि यह दृष्टिकोण सिमुलेशन में अच्छी तरह से काम करता है और सुरक्षा की गणितीय गारंटी प्रदान करता है, लेकिन यह नोट करता है कि वास्तविक भौतिक रोबोटों पर परीक्षण करना अगला आवश्यक कदम है।

तकनीकी सारांश: BOKBO — Best of K Bad Options

समस्या विवरण (Problem Statement)
विज़न-लैंग्वेज-एक्शन (VLA) पॉलिसियों के लिए टेस्ट-टाइम स्केलिंग एक मानक विश्वसनीयता तकनीक बन गई है, जहाँ $K$ संभावित एक्शन चंक्स (action chunks) को सैंपल किया जाता है और एक वेरीफायर या स्कोरर द्वारा "सर्वश्रेष्ठ" का चयन किया जाता है। हालाँकि, यह प्रतिमान (paradigm) एक महत्वपूर्ण, अक्सर अनसुलझे अनुमान पर निर्भर करता है: कि $K$ उम्मीदवारों में से कम से कम एक सुरक्षित और कार्य-पूर्ण (task-completing) है। जब सभी $K$ उम्मीदवार असुरक्षित होते हैं, तो सिस्टम बिना किसी चेतावनी तंत्र के, पूर्ण गुणवत्ता की परवाह किए बिना "वेरिफायर-बेस्ट" उम्मीदवार को निष्पादित करता है, जिससे "साइलेंट फेलियर" (silent failure) होता है। मौजूदा विधियों में इन "सभी-असुरक्षित" (all-unsafe) सेल्स को पहचानने या सुरक्षा गारंटी के साथ निष्पादन से बचने के लिए कोई औपचारिक तंत्र नहीं है। इसके अलावा, पूर्व के कार्यों ने यह माना था कि "फ्री" सिग्नल (वे सिग्नल जो अतिरिक्त इन्फरेंस लागत के बिना उपलब्ध हैं, जैसे कि बेस-पॉलिसी कॉन्फिडेंस या $K$ -सैंपल डिसएग्रीमेंट) पॉलिसी अनिश्चितता के साथ सह-संबंधित (correlate) होते हैं; यह शोध पत्र प्रदर्शित करता है कि यह धारणा पर्टर्बेशन-आधारित सैंपलिंग के तहत विनाशकारी रूप से विफल हो जाती है।

कार्यप्रणाली (Methodology): BOKBO
लेखक BOKBO पेश करते हैं, जो $K$ -सैंपल VLA इन्फरेंस के लिए विशेष रूप से डिज़ाइन किया गया पहला कॉन्फॉर्मल एब्स्टेंशन लेयर (conformal abstention layer) है। BOKBO एक कैलिब्रेटेड स्कोर के आधार पर यह निर्णय लेता है कि निष्पादित करना है या बचना (abstain) है, जो गैर-अब्स्टेंड निर्णयों के बीच असुरक्षित निष्पादन की दर पर परिमित-नमूना (finite-sample), डिस्ट्रीब्यूशन-फ्री अपर बाउंड प्रदान करता है।

कॉन्फॉर्मल रिस्क कंट्रोल (CRC): यह विधि $K$ -सैंपल सेटिंग पर CRC लागू करती है। यह सुरक्षा उल्लंघन ( $v=1$ ) की संभावना का अनुमान लगाने के लिए एक प्रेडिक्टर को प्रशिक्षित करती है और एक होल्ड-आउट कैलिब्रेशन सेट पर एक थ्रेशोल्ड $\hat{\tau}$ को कैलिब्रेट करती है। सिस्टम केवल तभी निष्पादित होता है जब प्रेडिक्टर स्कोर $s_\theta \le \hat{\tau}$ हो।
नॉनकन्फॉर्मिटी स्कोर (Nonconformity Scores): पेपर तीन स्कोरिंग तंत्रों का मूल्यांकन करता है:
1. VLA कॉन्फिडेंस प्रॉक्सी: चुने गए चंक का बेस-पॉलिसी लॉग-प्रोबेबिलिटी।
2. $K$ -सैंपल डिसएग्रीमेंट: उम्मीदवारों के बीच अधिकतम पेयरवाइज $L_2$ दूरी।
3. लर्नड वायलेशन प्रेडिक्टर (Learned Violation Predictor): एक छोटा MLP जिसे सीधे उल्लंघन का अनुमान लगाने के लिए सिमेंटिक विजुअल फीचर्स (DINOv2), प्रोप्रियोसेप्टिव स्टेट और टास्क आइडेंटिटी पर प्रशिक्षित किया गया है।
मोंड्रियन कैलिब्रेशन (Mondrian Calibration): विभिन्न कार्यों में उल्लंघन दरों की विषमता (heterogeneity) को संबोधित करने के लिए, लेखक CRC का एक मोंड्रियन (प्रति-कार्य) वेरिएंट लागू करते हैं। यह सुनिश्चित करता है कि सुरक्षा बाउंड पूरे डेटासेट में मार्जिनली होने के बजाय प्रत्येक विशिष्ट कार्य के लिए सशर्त रूप से (conditionally) मान्य हो।
सेफ्टी लेबलिंग (Safety Labeling): एक महत्वपूर्ण पद्धतिगत सुधार सुरक्षा लेबल को परिभाषित करने में शामिल है। लेखक पहचानते हैं कि वैश्विक रूप से सेट किए गए फोर्स थ्रेशोल्ड (जैसे 50N) उल्लंघन दरों को 5 $\times$ बढ़ा देते हैं क्योंकि वे कई कार्यों के लिए विशेषज्ञ-सामान्य हेनुपलेशन बलों (expert-typical manipulation forces) से अधिक होते हैं। वे प्रति-कार्य विशेषज्ञ-कैलिब्रेटेड थ्रेशोल्ड प्रस्तावित करते हैं जिन्हें $\max(50\text{N}, p99(\text{expert max force}) + 10\text{N})$ के रूप में परिभाषित किया गया है।

प्रमुख निष्कर्ष और नैदानिक विश्लेषण (Key Findings and Diagnostic Analysis)
पेपर का सबसे महत्वपूर्ण नैदानिक निष्कर्ष पर्टर्बेशन-आधारित $K$ -सैंपलिंग के तहत "फ्री" सिग्नल्स की संरचनात्मक विफलता है।

पर्टर्बेशन बनाम अनिश्चितता (Perturbation vs. Uncertainty): एक्शन-स्पेस गॉसियन पर्टर्बेशन के तहत (जहाँ उम्मीदवारों को $a_k = a_0 + \sigma\xi_k$ के रूप में जेनरेट किया जाता है), VLA कॉन्फिडेंस प्रॉक्सी और $K$ -सैंपल डिसएग्रीमेंट दोनों शोर हाइपरपैरामीटर $\sigma$ के साथ 0.98 के स्तर पर सह-संबंधित हैं, लेकिन वास्तविक सुरक्षा उल्लंघनों के साथ (Spearman $\approx -0.05$ के शोर फ्लोर पर) सह-संबंध नहीं रखते हैं।
तंत्र (Mechanism): ये सिग्नल इंजेक्ट किए गए पर्टर्बेशन के परिमाण को मापते हैं, न कि पॉलिसी की आंतरिक अनिश्चितता को।
बाउंड्री कंडीशन: लेखक टोकन-लेवल टेम्परेचर सैंपलिंग का परीक्षण करते हैं (जो इंजेक्ट किए गए शोर के बजाय पॉलिसी स्टोकास्टिसिटी से विविधता उत्पन्न करता है)। इस तंत्र के तहत, फ्री सिग्नल्स और सैंपलिंग हाइपरपैरामीटर के बीच सह-संबंध (0.98 से गिरकर 0.41) कम हो जाता है, और सिग्नल कुछ सुरक्षा जानकारी पुनः प्राप्त कर लेते हैं। हालांकि, लर्नड प्रेडिक्टर दोनों व्यवस्थाओं में श्रेष्ठ बना रहता है।

प्रायोगिक परिणाम (Experimental Results)
प्रयोग OpenVLA-OFT और $\pi_0$ -FAST बैकबोन पर, LIBERO सूट (विशेष रूप से libero_object_temp_x0.1 और libero_spatial_temp_x0.1) पर फाइन-ट्यून करके किए गए।

सुरक्षा गारंटी: एक लक्षित उल्लंघन दर $\epsilon = 0.05$ पर, कंडीशनल CRC बाउंड libero_object के लिए 86% बूटस्ट्रैप स्प्लिट्स और libero_spatial के लिए 83% पर बना रहता है।
प्रदर्शन: लर्नड प्रेडिक्टर के साथ, BOKBO libero_object पर 78% कवरेज और 70% नेट टास्क सक्सेस प्राप्त करता है, जो ऑरेकल सुरक्षा सुधार का 87% रिकवर करता है।
मोंड्रियन वेरिएंट: प्रति-कार्य वेरिएंट ग्लोबल (0.71) की तुलना में न्यूनतम प्रति-कार्य कंडीशनल होल्ड को 0.93 तक बढ़ा देता है, जिससे "केचप" और "मिल्क" जैसे उच्च-जोखिम वाले कार्यों पर विश्वसनीयता में काफी सुधार होता है।
डिस्ट्रीब्यूशन शिफ्ट: बाउंड्स चार इन-सूट डिस्ट्रीब्यूशन शिफ्ट्स (टेम्परेचर, ऑब्जेक्ट और क्रॉस-सूट शिफ्ट्स) के तहत बने रहते हैं, लेकिन जब एक्शन-नॉइज़ लेवल $\sigma$ कैलिब्रेटेड रेंज से बाहर चला जाता है, तो वे घट जाते हैं।
आर्किटेक्चर विशिष्टता: लर्नड प्रेडिक्टर पॉलिसी-विशिष्ट है; OpenVLA-OFT डेटा पर प्रशिक्षित प्रेडिक्टर $\pi_0$ -FAST पर सीधे लागू होने में विफल रहता है (कंडीशनल होल्ड 0.42 तक गिर जाता है), जिसके लिए बैकबोन-विशिष्ट कैलिब्रेशन की आवश्यकता होती है।

महत्व और दावे (Significance and Claims)
पेपर तीन प्राथमिक योगदानों का दावा करता है:

औपचारिक गारंटी (Formal Guarantees): BOKBO $K$ -सैंपल VLA इन्फरेंस के लिए पहला औपचारिक, परिमित-नमूना, डिस्ट्रीब्यूशन-फ्री एब्स्टेंशन गारंटी प्रदान करता है, जिससे सिस्टम असुरक्षित कार्यों को निष्पादित करने के बजाय मना करने में सक्षम होता है।
संरचनात्मक निदान (Structural Diagnosis): यह कार्य पर्टर्बेशन-आधारित सैंपलिंग के लिए सुरक्षा हेतु "फ्री" सिग्नल्स पर भरोसा करने की एक मौलिक खामी को उजागर करता है। यह स्पष्ट करता है कि ऐसे सिग्नल पॉलिसी अनिश्चितता के बजाय पर्टर्बेशन मैकेनिज्म को ट्रैक करते हैं, जो विश्वसनीय रोबोट कंट्रोलर डिजाइन करने के लिए एक महत्वपूर्ण अंतर है।
पद्धतिगत सुधार (Methodological Correction): पेपर सुरक्षा मूल्यांकन में एक त्रुटि को ठीक करता है, यह प्रदर्शित करते हुए कि मैनिपुलेशन कार्यों के लिए वैश्विक फोर्स थ्रेशोल्ड अपर्याप्त हैं, और एक प्रति-कार्य विशेषज्ञ अंशांकन (expert calibration) विधि प्रस्तावित करता है जो यथार्थवादी उल्लंघन दरें प्रदान करती है।

सीमाएँ (Limitations)
लेखक नोट करते हैं कि वर्तमान में सभी प्रयोग MuJoCo सिमुलेशन में किए गए हैं। वास्तविक दुनिया की तैनाती के लिए प्रति-कार्य फोर्स थ्रेशोल्ड को भौतिक रोबोटों पर स्थानांतरित करने और रनटाइम फोर्स मॉनिटरिंग को एकीकृत करने के सत्यापन की आवश्यकता है। इसके अतिरिक्त, इसे कैलिब्रेशन के लिए प्रति-कार्य विशेषज्ञ प्रदर्शन (प्रत्येक कार्य के लिए 25) की आवश्यकता होती है और यह वर्तमान में LIBERO फैमिली के बेंचमार्क और विशिष्ट VLA बैकबोन तक सीमित है।