Riepilogo Tecnico: Autonomia Robotica a Soglia di Fiducia

1. Formulazione del Problema

I sistemi robotici fanno spesso affidamento sull'autonomia a soglia di fiducia, dove un modello di percezione prevede un'azione o un'etichetta di attività e un punteggio di incertezza associato determina se il robot esegue in autonomia o si rimette a una politica di fallback. Questo meccanismo formalizza il compromesso rischio-copertura intrinseco nella previsione selettiva.

Il problema centrale affrontato è la valutazione dell'incertezza predittiva in questo specifico contesto. Metriche standard come l'Errore di Calibrazione Atteso (ECE) e l'Area sotto la curva caratteristica operativa del ricevitore (AUROC) valutano la calibrazione probabilistica o il ranking globale, ma non misurano direttamente se i punteggi di incertezza inducono decisioni di esecuzione/rinvio materialmente diverse. Gli autori si chiedono come l'incertezza debba essere valutata quando il suo ruolo principale è quello di abilitare l'esecuzione piuttosto che fornire probabilità calibrate, in particolare in condizioni di competenza del modello e di spostamento della distribuzione.

2. Metodologia

Quadro di Valutazione

Gli autori propongono un protocollo di valutazione centrato sulla decisione che tratta l'incertezza come una variabile decisionale piuttosto che come una quantità probabilistica. Il quadro si basa su tre componenti principali:

1. Correlazione di Rango di Spearman ($\rho$): Misura la correlazione tra i punteggi di incertezza e gli indicatori di errore binari. Questo valuta se un'incertezza più elevata viene assegnata in modo coerente alle previsioni errate, requisito fondamentale per un'abilitazione efficace.
2. Test di Equivalenza Bootstrap Appaiato: Utilizza il ricampionamento non parametrico ($B=1000$) per determinare se le differenze tra gli stimatori di incertezza sono operativamente significative. Viene utilizzato un margine conservativo di $\delta = 0.01$ per definire l'equivalenza pratica.
3. Accordo Esecuzione/Rinvio: Confronta gli insiemi di campioni selezionati per l'esecuzione autonoma tra diversi stimatori quando le soglie sono allineate in base alla copertura (piuttosto che al valore grezzo del punteggio).

Configurazione Sperimentale

• Benchmark: Tre dataset di riconoscimento di attività temporali con regimi di accuratezza variabili:
  • EGO4D: Riconoscimento di azioni egocentriche (7 classi, ~63,5% di accuratezza).
  • iAssist: Riconoscimento di attività assistive da IMU/guardata (8 classi, ~96,5% di accuratezza).
  • GTEA: Riconoscimento di attività basate su guardata più altro (20 classi, ~46% di accuratezza).
• Stimatori di Incertezza: Sono stati valutati sette metodi:
  • Euristiche derivate da Softmax (Entropia, Margine, Rapporto di Variazione, Minima Fiducia).
  • MC Dropout (Entropia Predittiva, Varianza Epistemica da $T=30$ passaggi).
  • Deep Ensembles (Entropia a 3 membri).
• Protocolli di Robustezza:
  • Analisi della Competenza: I modelli sono stati addestrati su sottoinsiemi (5%–70%) dei dati di addestramento per identificare la soglia di accuratezza in cui l'incertezza diventa utile per le decisioni.
  • Spostamento della Covariata Temporale: I set di test sono stati corrotti tramite omissione di fotogrammi, rumore gaussiano e jitter temporale a cinque livelli di gravità.
  • Rilevamento OOD Semantico: Valutato utilizzando classi tenute da parte (casuali e rare) per testare il rilevamento di novità fine-granularità.
• Simulazione Embodied: Una simulazione PyBullet minimale ha mappato 7 classi di attività su 3 primitive di navigazione (sinistra, dritto, destra). Ha misurato i tassi di collisione e il costo totale sotto diversi livelli di autonomia e scelte di stimatori.

3. Risultati Chiave

Il Regime di Competenza

L'incertezza fornisce un ranking affidabile degli errori solo dopo che il modello di base entra in un regime di competenza dipendente dal dataset.

• Al di sotto di una specifica soglia di accuratezza (ad esempio, ~33% per GTEA, ~58% per EGO4D, ~70% per iAssist), i punteggi di incertezza producono ranking deboli e instabili con alta variabilità tra i semi di addestramento.
• Al di sopra di questo regime, i punteggi di incertezza classificano coerentemente gli errori, consentendo un'abilitazione efficace.

Equivalenza degli Stimatori

Una volta che il modello è competente, la scelta dello stimatore di incertezza ha un impatto trascurabile sui risultati di esecuzione:

• Comportamento di Abilitazione Simile: Le euristiche Softmax, MC Dropout e gli ensemble producono valori di $\rho$ di Spearman quasi identici e accordi esecuzione/rinvio (>97–99%).
• Dominanza della Soglia: La scelta della soglia di esecuzione ($\tau$) ha un effetto sostanzialmente maggiore sui risultati rispetto alla scelta dello stimatore. Ad esempio, limitare l'esecuzione al 10% delle previsioni più fiduciose su EGO4D ha ridotto l'errore di esecuzione del 46%, mentre passare dall'entropia softmax al margine ha cambiato l'accuratezza di meno dello 0,5%.
• Validazione Embodied: Nella simulazione di navigazione, quando l'autonomia realizzata era allineata, diversi stimatori hanno portato a tassi di collisione e costi statisticamente indistinguibili.

Robustezza allo Spostamento

• Spostamento della Covariata Temporale: Sotto corruzioni temporali (ad esempio, omissione di fotogrammi), la qualità del ranking ($\rho$) è rimasta stabile e l'abilitazione ha ridotto efficacemente l'errore di esecuzione (ad esempio, una riduzione di 3,4 volte su EGO4D). Il sistema ha mostrato un degrado graduale.
• Rilevamento OOD Semantico: Al contrario, il rilevamento di novità semantica Out-of-Distribution (OOD) fine-granularità è rimasto vicino al caso (AUROC $\approx$ 0,35–0,49). I modelli erano spesso più fiduciosi sulle classi tenute da parte rispetto alle classi nella distribuzione, un noto modo di fallimento del rilevamento basato su softmax quando le classi non viste condividono caratteristiche con quelle viste.

4. Contributi

Il paper rivendica i seguenti contributi:

1. Protocollo Centrato sulla Decisione: Introduzione di un quadro di valutazione basato su correlazione di rango, test di equivalenza bootstrap e accordo esecuzione/rinvio, superando le metriche di calibrazione standard.
2. Identificazione del Regime di Competenza: Evidenza empirica che l'incertezza è utile per le decisioni solo al di sopra di una specifica soglia di accuratezza dipendente dal dataset.
3. Intercambiabilità degli Stimatori: Dimostrazione che, nei regimi competenti, le euristiche softmax leggere sono praticamente equivalenti ai metodi computazionalmente costosi (MC Dropout, Ensemble) per l'autonomia a soglia.
4. Soglia vs. Stimatore: Evidenza che la selezione della soglia è il principale motore dei risultati di esecuzione, non la scelta dello stimatore di incertezza.
5. Asimmetria dello Spostamento: Chiarimento che i proxy di incertezza sono sufficienti per lo spostamento della covariata temporale ma falliscono nel rilevamento di novità semantica fine-granularità.

5. Significato e Implicazioni

Il paper sostiene un cambiamento nel modo in cui l'autonomia robotica viene implementata e valutata. L'implicazione principale è che la competenza a livello di compito deve essere stabilita prima che l'abilitazione basata sull'incertezza sia efficace. Una volta che un modello è competente, i praticanti dovrebbero dare priorità alla sintonizzazione della soglia basata sui rapporti di costo specifici dell'applicazione (bilanciando errori e costi di rinvio) piuttosto che investire in metodi complessi di stima dell'incertezza.

Gli autori suggeriscono un ordine pratico di implementazione:

1. Stabilire la competenza a livello di compito.
2. Sintonizzare la soglia di esecuzione per il compromesso rischio-copertura desiderato.
3. Implementare semplici proxy di incertezza (ad esempio, entropia softmax) per gestire gli spostamenti della covariata temporale.
4. Implementare meccanismi dedicati open-set quando ci si aspetta novità semantica, poiché i punteggi di incertezza standard sono insufficienti per questo compito.

Lo studio riconosce le limitazioni, notando che gli esiti embodied dipendono fortemente dalla politica di fallback e che la simulazione utilizza una mappatura delle azioni semplificata. Tuttavia, fornisce un fondamento a livello di conseguenze per l'affermazione che, in contesti a soglia, il "come" della stima dell'incertezza conta meno del "quando" (competenza) e del "dove" (soglia) della sua applicazione.