Dynamic Control Barrier Function Regulation with Vision-Language Models for Safe, Adaptive, and Realtime Visual Navigation

1. Il Problema

I robot autonomi che operano in ambienti dinamici e non strutturati devono bilanciare sicurezza ed efficienza. Le sfide principali identificate sono:

• Parametri Fissi dei Filtri di Sicurezza: I metodi attuali basati su Control Barrier Functions (CBF) utilizzano spesso parametri di conservatività fissi. Questi possono essere eccessivamente conservativi in scenari sicuri (riducendo l'efficienza) o troppo permissivi vicino a pericoli (compromettendo la sicurezza).
• Limitazioni della Percezione: Ottenere misurazioni di stato precise in ambienti dinamici è difficile. L'uso esclusivo di input visivi (RGB) per la navigazione sicura è una sfida significativa.
• Latenza dei Modelli Vision-Language (VLM): I VLM offrono una comprensione semantica avanzata, ma la loro inferenza introduce latenze non trascurabili. Applicare stime di rischio asincrone e ritardate in modo ingenuo può portare a comportamenti insicuri o a blocchi del ciclo di controllo.

2. Metodologia: AlphaAdj

Il framework proposto, AlphaAdj, è un sistema di navigazione adattivo che utilizza input RGB egocentrici per regolare in tempo reale la conservatività di un filtro di sicurezza CBF.

Componenti Chiave:

1. Stima del Rischio tramite VLM:

   • Un VLM (specificamente LLaVA-1.5 7B) analizza il frame RGB corrente e produce una stima scalare del rischio di collisione $r \in [0, 1]$.
   • Il rischio viene mappato in un parametro $\alpha_{vlm}$ che modula il filtro CBF. La mappatura è una funzione di potenza decrescente: un rischio più alto porta a un $\alpha$ più basso (comportamento più conservativo).
   • Per ridurre la latenza, il sistema utilizza un endpoint HTTP locale, output JSON rigoroso e quantizzazione a 4 bit, riducendo la latenza end-to-end da ~1482 ms a ~695 ms.

2. Adattamento del Parametro CBF ($\alpha$):

   • Il parametro $\alpha$ nel filtro CBF determina quanto aggressivamente il robot si avvicina agli ostacoli.
   • $\alpha$ basso = comportamento conservativo (lontano dagli ostacoli).
   • $\alpha$ alto = comportamento aggressivo (avvicinamento più rapido).
   • AlphaAdj adatta $\alpha$ dinamicamente in base al rischio percepito dal VLM.

3. Gestione della Latenza e Staleness (Freschezza):

   • Poiché l'inferenza del VLM è asincrona, il sistema implementa una politica di fusione che rileva se l'ultimo aggiornamento del VLM è "stale" (obsoleto) rispetto alla soglia di latenza attesa.
   • Se l'aggiornamento è obsoleto, il sistema ignora il valore del VLM e ricade su un comportamento di sicurezza conservativo predefinito.

4. Cappo Dinamico Geometrico (Dynamic Cap):

   • Per garantire la sicurezza anche in caso di stime del VLM errate o ritardate, viene applicato un "cappo" geometrico basato sulla distanza dall'ostacolo più vicino e sulla velocità del robot.
   • Soft Cap: Usato quando il VLM è fresco; permette una certa flessibilità ma limita l'aggressività eccessiva.
   • Hard Cap: Usato quando il VLM è obsoleto; impone un limite di conservatività molto più stretto basato puramente sulla geometria e sulla velocità, garantendo un fallback sicuro.

3. Contributi Principali

• Mobilità Adattiva in Tempo Reale da RGB: Il primo framework che utilizza un segnale di rischio derivato da un VLM per modulare direttamente un parametro di controllo di basso livello (CBF), permettendo al robot di essere assertivo in scenari sicuri e prudente in situazioni pericolose senza cambiare la struttura del controller.
• Robustezza alla Latenza Asincrona: Introduzione di un meccanismo che rileva aggiornamenti obsoleti del VLM e attiva strategie di fallback, risolvendo il problema della latenza tipica dei grandi modelli fondazionali nei robot mobili.
• Politica di Fusione e Mappatura Pratica: Proposta di una mappatura rischio-$\alpha$ basata su leggi di potenza e di una politica di fusione che combina stime semantiche (VLM) con vincoli geometrici (cappi dinamici), offrendo un metodo deployabile per integrare il rischio semantico nei filtri di sicurezza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti in simulazione (NVIDIA IsaacSim) su un robot differenziale in quattro scenari: ostacolo frontale, campo disordinato, ostacoli dinamici laterali e ostacolo frontale dinamico.

• Sicurezza e Successo: AlphaAdj ha raggiunto l'obiettivo in 8 su 8 configurazioni (ambiente warehouse + toy) con 0 collisioni.
• Efficienza: Rispetto a un parametro $\alpha$ fisso conservativo ($\alpha_{min}$), AlphaAdj ha migliorato la lunghezza del percorso fino al 18.5% e il tempo di arrivo fino al 10.8%.
• Confronto con Baseline:
  • Rispetto a un sistema senza cappo (no cap), AlphaAdj ha ridotto le collisioni (da 2 a 0) e migliorato la robustezza, con un costo di efficienza trascurabile (solo 0.53 secondi in più in media) quando le previsioni del VLM erano già accurate.
  • Rispetto a un parametro fisso aggressivo ($\alpha_{max}$), AlphaAdj ha evitato le collisioni (6 collisioni nel baseline vs 0 in AlphaAdj).
• Latenza: Il sistema mantiene un tasso di controllo di 60 Hz, operando in modo asincrono rispetto al VLM, a differenza di approcci sincroni che richiederebbero attese di secondi, rendendo AlphaAdj adatto alla navigazione in tempo reale.

5. Significato e Impatto

Il lavoro di AlphaAdj rappresenta un passo significativo verso la navigazione robotica sicura ed efficiente in ambienti complessi.

• Superamento dei Limiti dei Controller Fissi: Dimostra che la conservatività del controllo non deve essere statica, ma può essere adattata semanticamente in base al contesto visivo.
• Integrazione VLM-Robotica: Fornisce un modello pratico per l'uso di grandi modelli linguistici-visivi (VLM) nei robot, affrontando direttamente il problema critico della latenza e dell'affidabilità attraverso meccanismi di sicurezza ibridi (semantici + geometrici).
• Scalabilità: L'approccio è progettato per essere implementabile su hardware reale, offrendo una via per robot che possono "pensare" semanticamente mentre agiscono fisicamente in sicurezza.

In sintesi, AlphaAdj trasforma i VLM da semplici strumenti di percezione in regolatori attivi della sicurezza, permettendo ai robot di navigare in modo più fluido e intelligente senza compromettere la sicurezza.