🤖 machine learning

BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies

Dit artikel introduceert BOKBO, de eerste conform abstention-laag voor K-sample VLA-inferentie die distributievrije garanties op uitgevoerd-schendingspercentages biedt door structurele defecten in bestaande nonconformiteitsscores aan te pakken en methodologische valkuilen in drempelwaarde-correctie voor kracht te corrigeren, waardoor de veiligheidscalibratie en taaksucces over diverse benchmarks en distributieverschuivingen aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om delicate taken uit te voeren, zoals het schenken van ketchup of het smeren van boter. Om de robot veiliger en betrouwbaarder te maken, gebruiken ingenieurs een truc genaamd K-Sample Scaling. In plaats van de robot slechts één beweging te laten bedenken, vragen ze de robot om zich K verschillende mogelijke bewegingen voor te stellen (zeg bijvoorbeeld 8 verschillende manieren om de ketchup te schenken) en vervolgens de "beste" uit te kiezen om daadwerkelijk uit te voeren.

Het probleem is: Wat als alle 8 de verbeelde bewegingen gevaarlijk zijn?

Huidige methoden hebben een blinde vlek. Ze gaan ervan uit dat als je genoeg opties genereert, er tenminste één veilig zal zijn. Als alle 8 slecht zijn, kiest de robot de "minst slechte" en voert deze toch uit, wat leidt tot een crash of een morsmoment. Het is alsoam met een kok die de beste van 8 rotte appels moet kiezen; hij zal er nog steeds één kiezen, en je krijgt een rotte salade.

Dit artikel introduceert BOKBO (Best of K Bad Options), een nieuwe veiligheidslaag die ontworpen is om dit op te lossen. Zo werkt het, met eenvoudige analogieën:

1. De "Veiligheidsbewaker" (Conformal Abstention)

Zie BOKBO als een strikte veiligheidsbewaker die voor de robot staat.

De Oude Manier: De bewaker kijkt naar de 8 opties, kiest de "beste" één en laat deze door. Als alle 8 slecht zijn, laat de bewaker de slechtste alsnog door.
De BOKBO-Manier: De bewaker heeft een speciale regel: "Als ik niet kan garanderen dat de gekozen beweging veilig is, dan stop ik de robot volledig."
Het Resultaat: De robot voert de taak soms niet uit (hij "onthoudt" zich van actie), maar wanneer hij wél handelt, heb je een wiskundige garantie dat de kans op een veiligheidschending extreem laag is (minder dan 5% in hun tests).

2. De "Kapotte Kompas" (Waarom oude methoden faalden)

De onderzoekers ontdekten waarom eerdere veiligheidscontroles faalden. Ze probeerden twee "gratis" signalen te gebruiken die de robot al genereerde:

Vertrouwen (Confidence): Hoe zeker de robot zich voelt bij zijn beweging.
Onenigheid (Disagreement): Hoe verschillend de 8 opties van elkaar zijn.

De Analogie: Stel je voor dat je probeert het weer te voorspellen.

De Fout: De onderzoekers realiseerden zich dat het "Onenigheid"-signaal niet echt mat hoe onzeker de robot was over het weer. In plaats daarvan mat het simpelweg hoeveel de onderzoekers met de dobbelstenen schudden voordat ze werden gegooid.
De Realiteit: In hun opstelling genereert de robot 8 opties door willekeurige "ruis" (noise) toe te voegen (het schudden met de dobbelstenen). Hoe meer ruis ze toevoegden, hoe meer de opties van elkaar verschilden. Het "onenigheid"-cijfer van de robot was slechts een thermometer voor het ruisniveau, niet een detector voor gevaar. Het was als een rookmelder die alleen afgaat als je parfum in de buurt spuit, maar stil blijft wanneer er een echte brand is.

3. De "Slimme Detective" (De Learned Predictor)

Omdat de eigen interne signalen van de robot loog (of liever gezegd: het verkeerde maten), bouwden de onderzoekers een kleine, aparte AI-detective (een "Learned Violation Predictor").

Deze detective kijkt naar de opties van de robot en de visuele scène (met behulp van een camera).
Deze detective werd specifiek getraind om gevaar te herkennen, waarbij de "ruis" die de robot genereerde werd genegeerd.
Het Resultaat: Deze detective kon daadwerkelijk het verschil zien tussen een veilige beweging en een gevaarlijke beweging, waardoor de veiligheidsbewaker de juiste beslissing kon nemen.

4. "Maatwerk" versus "One Size Fits All"

Het artikel vond ook dat veiligheid niet hetzelfde is voor elke taak.

Het Probleem: Een "globale" veiligheidsregel (zoals "duw niet harder dan 50 Newton") is te streng voor zachte taken (zoals het hanteren van een tomaat) en te los voor harde taken (zo of het hanteren van een zware fles). Dit veroorzaakte valse alarmen of gemiste gevaren.
De Oplossing (Mondrian): BOKBO creëert een specifieke veiligheidsregel voor elke specifieke taak. Het leert precies hoe hard een menselijke expert drukt bij het hanteren van ketchup versus boter, en stelt de veiligheidslimiet dienovereenkomstig in. Dit maakt het systeem veel betrouwbaarder.

5. De "Simulatie Realiteitscheck"

De onderzoekers testten dit in een hoogwaardige computersimulatie (MuJoCo).

Ze ontdekten dat BOKBO erin slaagde de robot ervan te weerhouden gevaarlijke bewegingen te maken in 86% van de testgevallen, terwijl de robot de taak nog steeds in 70% van de gevallen voltooide.
Zonder BOKBO zou de robot minder vaak veilig falen (door te stoppen), maar wanneer hij wel handelde, zou hij in 8,6% van de gevallen fouten maken. Met BOKBO daalde dit foutpercentage naar ongeveer 3%.

Samenvatting

Het artikel betoogt dat het simpelweg vragen aan een robot om "een paar dingen te proberen en de beste te kiezen" niet genoeg is als je geen manier hebt om te zeggen: "Geen van deze opties is veilig."

Oude Methode: "Kies de beste van de slechte opties." (Stille fout).
BOKBO: "Als geen van de opties veilig is, stop dan." (Veilige fout).
Belangrijk Inzicht: Je kunt de eigen "vertrouwen"- of "onenigheid"-scores van de robot niet vertrouwen wanneer je kunstmatig ruis toevoegt om opties te genereren. Je hebt een toegewijde "detective" nodig om naar daadwerkelijk gevaar te zoeken.

Het artikel concludeert dat deze aanpak goed werkt in simulatie en een wiskundige garantie van veiligheid biedt, maar merkt op dat testen op echte fysieke robots de volgende noodzakelijke stap is.

Technische Samenvatting: BOKBO — Best of K Bad Options

Probleemstelling
Test-time scaling voor Vision-Language-Action (VLA) policies is een standaard betrouwbaarheidstechniek geworden, waarbij $K$ kandidaat-actiechunks worden gesampled en de "beste" wordt geselecteerd door een verifier of scorer. Echter, dit paradigma rust op een cruciale, vaak niet nagekomen aanname: dat er onder $K$ kandidaten ten minste één veilig en taakvoltooiend is. Wanneer alle $K$ kandidaten onveilig zijn, voert het systeem de "verifier-best" kandidaat uit, ongeacht de absolute kwaliteit, wat leidt tot "stille fouten" (silent failure) zonder waarschuwingsmechanisme. Bestaande methoden missen een formeel mechanisme om deze "alle-onveilige" cellen te detecteren of om de uitvoering te staken met veiligheidsgaranties. Bovendien ging eerder werk ervan uit dat "gratis" signalen (signalen die beschikbaar zijn zonder extra inferentiekosten, zoals de basisbeleid-betrouwbaarheid of $K$ -sample onenigheid) correleren met beleidsonzekerheid; dit artikel toont aan dat deze aanname catastrofaal faalt onder perturbatie-gebaseerde sampling.

Methodologie: BOKBO
De auteurs introduceren BOKBO (Best of K Bad Options), de eerste conformale abstentie-laag die specifiek is ontworpen voor $K$ -sample VLA-inferentie. BOKBO beslist of er moet worden uitgevoerd of gestaakt op basis van een gekalibreerde score, waarbij eindige-steekproef, distributievrije bovengrenzen worden geboden op de snelheid van onveilige executies onder niet-gestaakte beslissingen.

Conformal Risk Control (CRC): De methode past CRC toe op de $K$ -sample setting. Het traint een voorspeller om de waarschijnlijkheid van een veiligheidschending ( $v=1$ ) te schatten en kalibreert een drempelwaarde $\hat{\tau}$ op een hold-out kalibratieset. Het systeem voert alleen uit als de voorspeller-score $s_\theta \le \hat{\tau}$ is.
Nonconformity Scores: Het artikel evalueert drie scoringsmechanismen:
1. VLA Confidence Proxy: De log-waarschijnlijkheid van de gekozen chunk door het basisbeleid.
2. $K$ -Sample Disagreement: De maximale paarwijze $L_2$ -afstand tussen kandidaten.
3. Learned Violation Predictor: Een kleine MLP getraind op semantische visuele kenmerken (DINOv2), proprioceptieve staat en taakidentiteit om schendingen direct te voorspellen.
Mondrian Kalibratie: Om de heterogeniteit in scheidingspercentages over verschillende taken aan te pakken, implementeren de auteurs een Mondrian (per-taak) variant van CRC. Dit zorgt ervoor dat de veiligheidsgrens conditioneel geldt voor elke specifieke taak, in plaats van slechts marginaal over de gehele dataset.
Veiligheidslabeling: Een cruciale methodologische correctie betreft het definiëren van veiligheidslabels. De auteurs identificeren dat globaal ingestelde krachtdrempels (bijv. 50N) de scheidingspercentages met factor 5 verhogen omdat ze de typische manipulatiekrachten van experts voor veel taken overschrijden. Ze stellen per-taak expert-gekalibreerde drempels voor, gedefinieerd als $\max(50\text{N}, p99(\text{expert max force}) + 10\text{N})$ .

Belangrijkste Bevindingen en Diagnostische Analyse
De meest significante diagnostische bevinding van het artikel is het structurele falen van "gratis" signalen onder perturbatie-gebaseerde $K$ -sampling.

Perturbatie versus Onzekerheid: Onder actieruimte Gaussische perturbatie (waarbij kandidaten worden gegenereerd als $a_k = a_0 + \sigma\xi_k$ ), correleren zowel de VLA confidence proxy als de $K$ -sample onenigheid met een waarde van 0.98 met de ruis-hyperparameter $\sigma$ , maar op de ruisvloer (Spearman $\approx -0.05$ ) met werkelijke veiligheidsschendingen.
Mechanisme: Deze signalen meten de magnitude van de geïnjecteerde perturbatie, niet de interne onzekerheid van het beleid.
Randvoorwaarde: De auteurs testen token-level temperatuur sampling (die diversiteit genereert uit de stochastiek van het beleid in plaats van geïnjecteerde ruis). Onder dit mechanisme daalt de correlatie tussen gratis signalen en de sampling-hyperparameter (van 0.98 naar 0.41), en herwinnen de signalen enige veiligheidsinformatie. De geleerde voorspeller blijft echter superieur in beide regimes.

Experimentele Resultaten
Experimenten werden uitgevoerd op OpenVLA-OFT en $\pi_0$ -FAST backbones, gefinetuned op de LIBERO suite (specifiek libero_object_temp_x0.1 en libero_spatial_temp_x0.1).

Veiligheidsgaranties: Bij een doelstelling voor het scheidingspercentage $\epsilon = 0.05$ , houdt de conditionele CRC-grens stand op 86% van de bootstrap splits voor libero_object en 83% voor libero_spatial.
Prestaties: Met de geleerde voorspeller bereikt BOKBO 78% dekking en 70% netto taaksucces op libero_object, waarbij 87% van de oracle veiligheidsverbetering wordt herwonnen.
Mondrian Variant: De per-taak variant verhoogt de minimale per-taak conditionele hold van 0.71 (globaal) naar 0.93, wat de betrouwbaarheid op hoog-risico taken zoals "ketchup" en "milk" aanzienlijk verbetert.
Distributieverschuiving: De grenzen blijven standhouden onder vier binnen-suite distributieverschuivingen (temperatuur, object en cross-suite verschuivingen), maar verslechteren wanneer het actie-ruisniveau $\sigma$ buiten het gekalibreerde bereik valt.
Architectuur-specificiteit: De geleerde voorspeller is beleid-specifiek; een voorspeller getraind op OpenVLA-OFT data faalt bij directe toepassing op $\pi_0$ -FAST (de conditionele hold daalt naar 0.42), wat backbone-specifieke kalibratie noodzakelijk maakt.

Significantie en Claims
Het artikel claimt drie primaire bijdragen:

Formele Garanties: BOKBO biedt de eerste formele, eindige-steekproef, distributievrije abstentie-garantie voor $K$ -sample VLA-inferentie, waardoor systemen onveilige acties kunnen weigeren in plaats van stilzwijgend te falen.
Structurele Diagnose: Het werk legt een fundamenteel defect bloot bij het vertrouwen op "gratis" signalen voor veiligheid bij perturbatie-gebaseerde sampling. Het verheldert dat dergelijke signalen de perturbatiemechanisme volgen in plaats van de beleidsonzekerheid, een onderscheid dat cruciaal is voor het ontwerpen van betrouwbare robotcontrollers.
Methodologische Correctie: Het artikel corrigeert een valkuil in veiligheidsevaluatie door aan te tonen dat globale krachtdrempels onvoldoende zijn voor manipulatietaken, en stelt een per-taak expert-kalibratiemethode voor die realistische scheidingspercentages oplevert.

Beperkingen
De auteurs merken op dat alle experimenten momenteel in MuJoCo simulatie worden uitgevoerd. Implementatie in de echte wereld vereist validatie van de transfer van per-taak krachtdrempels naar fysieke robots en de integratie van runtime krachtmonitoring. Daarnaast vereist de methode per-taak expert-demonstraties (25 per taak) voor kalibratie en is het momenteel beperkt tot de LIBERO-familie van benchmarks en specifieke VLA-backbones.