Technische Samenvatting: Vertrouwensgebaseerde Robotautonoomie

1. Probleemformulering

Robotische systemen vertrouwen vaak op vertrouwensgebaseerde autonomie, waarbij een perceptiemodel een actie- of activiteitslabel voorspelt en een bijbehorende onzekerheidsscore bepaalt of de robot autonoom handelt of doorgaat naar een fallback-beleid. Dit mechanisme formaliseert de risico-dekkingsafweging die inherent is aan selectieve voorspelling.

Het kernprobleem dat wordt aangepakt, is de evaluatie van voorspellende onzekerheid in deze specifieke context. Standaardmetrieken zoals de Verwachte Kalibratiefout (Expected Calibration Error, ECE) en het Oppervlak Onder de Receiver Operating Characteristic-curve (AUROC) beoordelen probabilistische kalibratie of globale rangschikking, maar meten niet direct of onzekerheidsscores materieel verschillende handelen/uitstel-beslissingen veroorzaken. De auteurs vragen zich af hoe onzekerheid moet worden geëvalueerd wanneer haar primaire rol is om uitvoering te regelen in plaats van gekalibreerde kansen te bieden, met name onder omstandigheden van modelbekwaamheid en distributieverandering.

2. Methodologie

Evaluatiekader

De auteurs stellen een beslissingsgerichte evaluatieprotocol voor dat onzekerheid behandelt als een beslissingsvariabele in plaats van als een probabilistische grootheid. Het kader rust op drie hoofdbestanddelen:

1. Spearman Rangcorrelatie ($\rho$): Meet de correlatie tussen onzekerheidsscores en binaire foutindicatoren. Dit beoordeelt of hogere onzekerheid consequent wordt toegewezen aan foutieve voorspellingen, wat de fundamentele vereiste is voor effectieve regeling.
2. Gepaarde Bootstrap-equivalentietest: Gebruikt niet-parametrische resampling ($B=1000$) om te bepalen of verschillen tussen onzekerheidsschatters operationeel betekenisvol zijn. Een conservatieve marge van $\delta = 0,01$ wordt gebruikt om praktische equivalentie te definiëren.
3. Handelen/uitstel-overeenkomst: Vergelijkt de sets van steekproeven die zijn geselecteerd voor autonome uitvoering over verschillende schatters heen wanneer drempels worden afgestemd op dekking (in plaats van op ruwe scorewaarde).

Experimentele Opstelling

• Benchmarks: Drie tijdsreeks-activiteitherkenningsdatasets met variërende nauwkeurigheidsregimes:
  • EGO4D: Egocentrische actieherkenning (7 klassen, ~63,5% nauwkeurigheid).
  • iAssist: Assisterende activiteitherkenning vanuit IMU/blik (8 klassen, ~96,5% nauwkeurigheid).
  • GTEA: Blik-plus-activiteitherkenning (20 klassen, ~46% nauwkeurigheid).
• Onzekerheidsschatters: Zeven methoden werden geëvalueerd:
  • Softmax-afgeleide heuristieken (Entropie, Margin, Variation Ratio, Least Confidence).
  • MC Dropout (Predictive Entropy, Epistemic Variance uit $T=30$ passes).
  • Deep Ensembles (3-ledige Entropie).
• Robuustheidsprotocollen:
  • Bekwaamheidsanalyse: Modellen werden getraind op subsets (5%–70%) van trainingsdata om de nauwkeurigheidsdrempel te identificeren waarbij onzekerheid besluitrelevant wordt.
  • Temporele Covariatenverschuiving: Testsets werden beschadigd via frame-dropout, Gaussisch ruis en temporele jitter op vijf ernstniveaus.
  • Semantische OOD-detectie: Geëvalueerd met behoud van klassen (willekeurig en zeldzaam) om fijne nieuwheidsdetectie te testen.
• Ingebedde Simulatie: Een minimale PyBullet-simulatie mapte 7 activiteitsklassen naar 3 navigatieprimitieven (links, recht, rechts). Het meette botsingspercentages en totale kosten onder verschillende autonomie-niveaus en schatterkeuzes.

3. Belangrijkste Resultaten

Het Bekwaamheidsregime

Onzekerheid biedt een betrouwbare foutrangschikking alleen nadat het basismodel een dataset-afhankelijk bekwaamheidsregime is binnengegaan.

• Onder een specifieke nauwkeurigheidsdrempel (bijv. ~33% voor GTEA, ~58% voor EGO4D, ~70% voor iAssist) leveren onzekerheidsscores zwakke, instabiele rangschikkingen op met hoge variabiliteit over trainingszaden.
• Boven dit regime rangschikken onzekerheidsscores fouten consequent, waardoor effectieve regeling mogelijk wordt.

Schatter-equivalentie

Zodra het model bekwaam is, heeft de keuze van de onzekerheidsschatter een verwaarloosbaar effect op uitvoeringsuitkomsten:

• Vergelijkbaar Regelgedrag: Softmax-heuristieken, MC Dropout en ensembles produceren bijna identieke Spearman $\rho$-waarden en handelen/uitstel-overeenkomsten (>97–99%).
• Drempeldominantie: De keuze van de uitvoeringsdrempel ($\tau$) heeft een aanzienlijk groter effect op uitkomsten dan de keuze van de schatter. Bijvoorbeeld: het beperken van uitvoering tot de top 10% meest vertrouwenwekkende voorspellingen op EGO4D verlaagde de uitvoeringsfout met 46%, terwijl het overschakelen van softmax-entropie naar margin de nauwkeurigheid met minder dan 0,5% veranderde.
• Ingebedde Validatie: In de navigatiesimulatie resulteerden verschillende schatters, wanneer de gerealiseerde autonomie werd afgestemd, in statistisch niet van elkaar te onderscheiden botsingspercentages en kosten.

Robuustheid tegen Verschuiving

• Temporele Covariatenverschuiving: Onder temporele corrupties (bijv. frame-dropout) bleef de rangschikkingskwaliteit ($\rho$) stabiel, en verlaagde regeling effectief de uitvoeringsfout (bijv. een 3,4$\times$ vermindering op EGO4D). Het systeem vertoonde een genadevolle degradatie.
• Semantische OOD-detectie: Daarentegen bleef fijne semantische Out-of-Distribution (OOD)-detectie dicht bij toeval (AUROC $\approx$ 0,35–0,49). Modellen waren vaak zekerder over bewaarde klassen dan over in-distributie klassen, een bekende faalmodus van softmax-gebaseerde detectie wanneer onbekende klassen kenmerken delen met bekende klassen.

4. Bijdragen

Het artikel claimt de volgende bijdragen:

1. Beslissingsgericht Protocol: Introductie van een evaluatiekader gebaseerd op rangcorrelatie, bootstrap-equivalentietesten en handelen/uitstel-overeenkomst, verdergaand dan standaard kalibratiemetrieken.
2. Identificatie van Bekwaamheidsregime: Empirisch bewijs dat onzekerheid alleen besluitrelevant is boven een specifieke, dataset-afhankelijke nauwkeurigheidsdrempel.
3. Schatter-uitwisselbaarheid: Aantonen dat, in bekwaame regimes, lichtgewicht softmax-heuristieken praktisch equivalent zijn aan computationeel dure methoden (MC Dropout, Ensembles) voor drempelgebaseerde autonomie.
4. Drempel versus Schatter: Bewijs dat drempelselectie de primaire drijver is van uitvoeringsuitkomsten, niet de keuze van de onzekerheidsschatter.
5. Verschuiving-Asymmetrie: Verduidelijking dat onzekerheidsproxies volstaan voor temporele covariatenverschuiving maar falen voor fijne semantische nieuwheidsdetectie.

5. Betekenis en Implicaties

Het artikel pleit voor een verschuiving in hoe robotische autonomie wordt ingezet en geëvalueerd. De primaire implicatie is dat taakniveau-bekwaamheid moet worden vastgesteld voordat onzekerheidsregeling effectief is. Zodra een model bekwaam is, moeten practitioners drempelafstemming prioriteren op basis van applicatiespecifieke kostenverhoudingen (balancering van fout- versus uitstelkosten) in plaats van te investeren in complexe onzekerheidsschattingmethoden.

De auteurs suggereren een praktische implementatievolgorde:

1. Stel taakniveau-bekwaamheid vast.
2. Stem de uitvoeringsdrempel af op de gewenste risico-dekkingsafweging.
3. Implementeer eenvoudige onzekerheidsproxies (bijv. softmax-entropie) voor het hanteren van temporele covariatenverschuivingen.
4. Implementeer dedicated open-set mechanismen wanneer semantische nieuwheid wordt verwacht, aangezien standaard onzekerheidsscores ontoereikend zijn voor deze taak.

De studie erkent beperkingen, waarbij wordt opgemerkt dat ingebedde uitkomsten sterk afhankelijk zijn van het fallback-beleid en dat de simulatie een vereenvoudigde actiemapping gebruikt. Het biedt echter consequentie-niveau onderbouwing voor de claim dat, in drempelgebaseerde instellingen, het "hoe" van onzekerheidsschatting minder uitmaakt dan het "wanneer" (bekwaamheid) en "waar" (drempel) van de toepassing ervan.