ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation

Sintesi Tecnica: Conformal Prediction per Episodio (ENCP) per la Navigazione Vision-and-Language

1. Definizione del Problema

La navigazione Vision-and-Language (VLN) consente agli agenti incarnati di navigare in ambienti fisici utilizzando istruzioni in linguaggio naturale. Una sfida critica nel dispiegamento sicuro di questi agenti è la stima dell'incertezza. La navigazione sequenziale è soggetta a errori cumulativi; un'unica azione errata altera lo stato dell'agente e le osservazioni successive, portando potenzialmente al fallimento del compito o a collisioni fisiche.

Sebbene le moderne policy VLN raggiungano elevati tassi di successo, le metriche di confidenza standard (ad es., probabilità softmax) sono spesso non calibrate e eccessivamente sicure di sé, in particolare quando gli ambienti di deployment differiscono dai dati di addestramento. I meccanismi di auto-monitoraggio esistenti si affidano a euristiche empiriche piuttosto che a garanzie formali.

La Conformal Prediction (CP) offre un quadro statistico per generare insiemi di predizione con copertura garantita (ovvero, l'insieme contiene l'azione corretta con probabilità $1-\alpha$). Tuttavia, la CP standard assume dati scambiabili. Nella VLN, questa ipotesi fallisce perché:

1. Dipendenza tra i passi: Le azioni all'interno di un singolo episodio sono statisticamente dipendenti a causa della storia condivisa e dell'influenza causale sulle osservazioni future.
2. Lunghezza Variabile: Gli episodi hanno lunghezze differenti.
3. Fallimento della Calibrazione per Step-Pooling: Applicare la CP standard ai singoli passi (aggregati tra gli episodi) non riesce a fornire una garanzia che l'azione corretta sia inclusa ad ogni passo di un percorso. Spesso si verifica un sottocopertura, il che significa che il tasso di errore effettivo supera il livello di rischio target $\alpha$.

2. Metodologia: Episode-Normalized Conformal Prediction (ENCP)

Gli autori propongono ENCP, un framework post-training che non modifica la policy di navigazione sottostante. ENCP affronta i problemi di dipendenza e di lunghezza variabile spostando l'unità di calibrazione dal singolo passo all'episodio completo.

Meccanismi Core:

1. Calibrazione a Livello di Episodio: Invece di calibrare su un pool di singoli passi, ENCP aggrega i punteggi di non conformità di tutti i passi all'interno di un singolo episodio in un unico valore scalare. Nello specifico, calcola il massimo punteggio di non conformità normalizzato dell'intero episodio. Questo singolo valore rappresenta la deviazione "peggiore" per quella traiettoria.
2. Normalizzazione del Punteggio Regolata dalla Confidenza: Per gestire la variazione della confidenza della policy tra i passi, ENCP riscala il punteggio di non conformità di base ($s_{base}$) in base alla confidenza residua della policy.
   • Variante senza parametri: Utilizza un peso fisso $w(x_t) = 1 - p_{max}(x_t)$, dove $p_{max}$ è la massima probabilità assegnata dalla policy. Il punteggio normalizzato è:
     $$s_{norm}(x_t, a) = \frac{s_{base}(x_t, a)}{1 + (1 - p_{max}(x_t))} = \frac{s_{base}(x_t, a)}{2 - p_{max}(x_t)}$$
   • Variante basata sull'apprendimento: Utilizza una rete neurale per predire i pesi basandosi su caratteristiche come entropia, gap di probabilità e indice dello step, addestrata per identificare i passi in cui la policy è sicura ma errata.
3. Generazione dell'Insieme di Predizione:
   • Una soglia conforme $\hat{q}(\alpha)$ viene calcolata dalla distribuzione dei massimi punteggi a livello di episodio su un set di calibrazione.
   • Al tempo di test, per ogni step $t$, l'insieme di predizione $C_\alpha(x_t)$ include tutte le azioni $a$ tali che $s_{norm}(x_t, a) \le \hat{q}(\alpha)$.
   • Regola Act-or-Ask (Agisci o Chiedi): Se la dimensione dell'insieme di predizione $|C_\alpha(x_t)|$ supera un budget definito dall'utente $\tau$, l'agente richiede l'assistenza umana (o delega a un simulatore). Altrimenti, procede autonomamente.

Garanzia Teorica:
Sotto l'ipotesi che gli episodi di calibrazione e di test siano scambiabili (ad es., estratti dalla stessa distribuzione), ENCP garantisce che l'azione corretta sia inclusa nell'insieme di predizione ad ogni passo di un episodio di test con probabilità almeno $1-\alpha$. Ciò fornisce una copertura simultanea della traiettoria, una garanzia più forte rispetto alla copertura per singolo step.

3. Contributi Chiave

1. Identificazione del Fallimento della CP Standard: Il documento dimostra che la CP standard per step-pooling fallisce nel soddisfare le garanzie di copertura nella VLN a causa delle dipendenze intra-episodio, risultando spesso in una grave sottocopertura.
2. Sviluppo di ENCP: Gli autori introducono un metodo di calibrazione a livello di episodio che riscala i punteggi tramite la confidenza della policy e li aggrega tramite un operatore di massimo. Questa costruzione assicura la copertura simultanea sull'intera traiettoria.
3. Validazione Empirica: Il metodo è valutato su quattro policy VLN (DUET, HAMT, R-prev, R-osc) attraverso due dataset (R2R e REVERIE). Lo studio include:
   • Verifica degli obiettivi di copertura per step sugli split seen-to-unseen.
   • Confronto tra schemi di pesatura senza parametri e basati sull'apprendimento.
   • Un esperimento di richiesta di aiuto simulato che dimostra come la dimensione dell'insieme di predizione possa innescare l'intervento umano per migliorare i tassi di successo.

4. Risultati

• Obiettivi di Copertura: In tutte le policy testate e per i diversi punteggi di non conformità (THR, APS, RAPS) sugli split R2R e REVERIE val-unseen, ENCP ha soddisfatto con successo i target di copertura empirica (ad es., raggiungendo $\ge 90\%$ di copertura per $\alpha=0.10$) sotto split scambiabili. Al contrario, la CP standard per split ha costantemente mostrato sottocopertura.
• Shift di Distribuzione: Il documento nota esplicitamente che, sebbene ENCP soddisfi i target sotto split scambiabili, la copertura diminuisce nello scenario "seen-to-unseen" (dove la calibrazione avviene su edifici visti e il test su edifici non visti). In questo scenario, la scambiabilità dell'episodio non è assunta e la garanzia formale di copertura non è strettamente valida, sebbene ENCP superi comunque la CP standard.
• Varianti di Pesatura: Lo schema di pesatura senza parametri (usando $1-p_{max}$) ha raggiunto una copertura comparabile alla variante basata sull'apprendimento, ma ha prodotto insiemi di predizione più piccoli e non ha richiesto ulteriore fitting del modello.
• Utilità della Richiesta di Aiuto: In una simulazione in cui l'agente delega a un "oracle" (oracolo) della verità fondamentale quando la dimensione dell'insieme di predizione supera una soglia $\tau$, il tasso di successo è migliorato significativamente. Ad esempio, sul modello DUET, abbassare la soglia per innescare più query ha aumentato il tasso di successo dal 71.2% (senza aiuto) al 98.8% (interrogando su ogni insieme non singola), sebbene con un tasso di richiesta ("ask rate") più elevato.

5. Significato e Rivendicazioni

Il documento sostiene che ENCP fornisce un metodo agnostico rispetto al modello per la quantificazione dell'incertezza nella VLN che offre garanzie di copertura formali a campioni finiti su traiettorie dipendenti e di lunghezza variabile.

• Sicurezza e Affidabilità: Fornendo un insieme di predizione statisticamente valido, ENCP consente agli agenti di identificare i passi inaffidabili e delegare l'assistenza umana prima che gli errori si accumulino, affrontando una lacuna critica di sicurezza.
• Deployment Pratico: La dimensione dell'insieme di predizione funge da segnale pratico per l'intervento. Gli autori sostengono che ciò permetta un compromesso regolabile tra autonomia e sicurezza, consentendo agli agenti di "sapere quando non sanno".
• Limitazioni: Gli autori notano con modestia che la valutazione in loop chiuso si basa su un oracolo simulato piuttosto che su operatori umani. Inoltre, il metodo assume uno spazio di azione finito e la garanzia di copertura è marginale rispetto alla distribuzione dell'episodio, il che significa che potrebbe non valere perfettamente sotto significativi shift di distribuzione (ad es., edifici non visti) senza ricalibrazione, come evidenziato dal calo di copertura osservato nello scenario seen-to-unseen.

In sintesi, ENCP colma il divario tra le garanzie teoriche di incertezza e la natura sequenziale pratica della VLN, offrendo un meccanismo robusto per il deployment sicuro degli agenti.