Dynamic Control Barrier Function Regulation with Vision-Language Models for Safe, Adaptive, and Realtime Visual Navigation

---

1. O Problema

Robôs autônomos que operam em ambientes dinâmicos e não estruturados enfrentam um dilema fundamental: equilibrar segurança e eficiência.

• Limitação das Abordagens Atuais: Funções de Barreira de Controle (CBFs) são amplamente utilizadas para garantir a segurança (evitar colisões) através de filtros de controle. No entanto, o comportamento dessas CBFs é frequentemente governado por parâmetros fixos.
  • Parâmetros muito conservadores tornam o robô lento e hesitante em cenas seguras (ex: corredores abertos).
  • Parâmetros muito permissivos podem levar a colisões em cenas perigosas (ex: portas estreitas com pessoas).
• Desafio da Latência: Modelos Visão-Linguagem (VLMs) oferecem uma compreensão semântica rica do ambiente a partir de imagens RGB, mas sofrem de alta latência de inferência. Usá-los em tempo real para controle de baixo nível é desafiador devido a atrasos assíncronos, o que pode tornar as estimativas de risco obsoletas ("stale") e perigosas se aplicadas diretamente.

O objetivo do trabalho é criar um sistema de navegação que adapte a conservatização do controlador de segurança em tempo real, utilizando apenas entradas visuais (RGB), sem depender de mapeamento complexo ou medições de estado exatas, enquanto gerencia a latência inerente aos VLMs.

2. Metodologia: AlphaAdj

Os autores propõem o AlphaAdj, um framework de navegação que conecta a percepção semântica de alto nível (VLM) ao comportamento de controle de baixo nível (CBF).

A. Mapeamento de Risco para Parâmetro $\alpha$

O sistema utiliza um VLM (especificamente LLaVA-1.5 7B) para analisar quadros RGB egocêntricos e gerar uma estimativa de risco escalar $r \in [0, 1]$.

• Mapeamento: O risco $r$ é convertido em um parâmetro $\alpha_{vlm}$ que controla a agressividade da restrição de segurança da CBF.
  • A função de mapeamento é uma lei de potência decrescente: $\alpha_{vlm}(r) = \alpha_{min} + (\alpha_{max} - \alpha_{min})(1 - r)^\gamma$.
  • Lógica: Risco alto ($r \approx 1$) $\rightarrow$ $\alpha$ baixo (comportamento conservador, evita obstáculos com mais margem). Risco baixo ($r \approx 0$) $\rightarrow$ $\alpha$ alto (comportamento ágil, permite aproximação mais rápida).

B. Gerenciamento de Latência e Falhas (Staleness)

Como a inferência do VLM é assíncrona e lenta (média de ~695ms), o sistema implementa uma política de fusão robusta:

1. Detecção de Obsolescência: Se o tempo desde a última estimativa válida do VLM exceder um limiar ($T_{stale}$), o sistema considera a estimativa "stale" (obsoleta).
2. Política de Fusão:
   • Se a estimativa for fresca: O parâmetro final é o mínimo entre a estimativa do VLM e um "teto" geométrico suave ($\alpha_{final} = \min(\alpha_{vlm}, \alpha_{soft\_cap})$).
   • Se a estimativa for obsoleta: O sistema ignora o VLM e usa um "teto" geométrico rígido e mais conservador ($\alpha_{final} = \alpha_{hard\_cap}$).

C. Teto Dinâmico Geométrico (Geometric Dynamic Cap)

Para garantir segurança mesmo sem a percepção semântica (ou quando ela falha), um teto baseado puramente na geometria é aplicado:

• Margem de Limpeza ($m$): Baseado na distância até o obstáculo mais próximo.
• Velocidade ($v$): A agressividade permitida é reduzida se o robô estiver se movendo rápido, mesmo que a distância seja grande.
• Função: O teto ajusta $\alpha$ suavemente entre um valor conservador (perto de obstáculos) e permissivo (longe de obstáculos), garantindo que o robô nunca se torne excessivamente agressivo perto de perigos físicos imediatos.

D. Implementação Técnica

• Arquitetura: O controlador roda a 60 Hz (16.7ms). O VLM é consultado assincronamente a cada 30 passos (0.5s).
• Otimização: Uso de quantização de 4 bits no modelo VLM e formato de saída estrito (JSON) para reduzir a latência de ponta a ponta de ~1482ms para ~695ms.
• Simulação: Testado no NVIDIA IsaacSim com um robô diferencial (Carter).

3. Contribuições Principais

1. Mobilidade Adaptativa em Tempo Real a partir de RGB: Uso de um sinal de risco derivado de VLM para modular dinamicamente o parâmetro de conservatização de um controlador CBF, permitindo que o robô seja ágil em cenas seguras e cauteloso em cenas perigosas, sem alterar a estrutura do controlador subjacente.
2. Robustez Consciente de Latência: Introdução de um mecanismo que detecta estimativas obsoletas ou anômalas do VLM e aciona um comportamento de fallback conservador, garantindo segurança mesmo com atrasos de inferência.
3. Política de Fusão e Mapeamento Prático: Proposição de um "teto" geométrico dinâmico e uma regra de fusão simples que integra risco semântico ao filtro de segurança, permitindo a implantação prática em sistemas com restrições de tempo real.

4. Resultados

Os experimentos foram realizados em quatro cenários (obstáculo frontal, campo desordenado, obstáculo dinâmico cruzando, obstáculo frontal dinâmico) em dois ambientes (Toy e Armazém).

• Desempenho Geral: O AlphaAdj alcançou sucesso (chegada ao objetivo sem colisões) em 8/8 configurações (ambientes + cenários).
• Comparação com Baselines:
  • Vs. Parâmetro Fixo Conservador ($\alpha_{min}$): O AlphaAdj foi 18,5% mais eficiente em termos de comprimento do caminho e 10,8% mais rápido no tempo de chegada, mantendo a segurança. O método conservador fixo falhou em chegar ao destino em cenários dinâmicos devido à hesitação excessiva.
  • Vs. Parâmetro Fixo Agressivo ($\alpha_{max}$): O AlphaAdj evitou todas as colisões, enquanto o método agressivo sofreu 6 colisões em 8 tentativas.
  • Vs. Sem Teto (No Cap): A remoção do teto geométrico resultou em 2 colisões e 6/8 sucessos. O AlphaAdj melhorou o tempo de chegada em 4,5% em média e, crucialmente, garantiu a segurança contra atrasos do VLM.
• Eficiência de Latência: Diferente de abordagens síncronas que pausam o robô enquanto o VLM processa (latências de segundos), o AlphaAdj mantém o loop de controle a 60 Hz contínuo, apenas atualizando o parâmetro de segurança quando novas informações chegam.

5. Significado e Conclusão

O trabalho demonstra que é possível integrar a percepção semântica profunda de grandes modelos (VLMs) em sistemas de controle de robôs de baixo nível de forma segura e em tempo real.

• Inovação Chave: A abordagem não tenta substituir o controlador de segurança, mas sim adaptar seus parâmetros com base no contexto semântico.
• Segurança: O uso de um "teto" geométrico como fallback garante que, mesmo que o VLM falhe ou demore, o robô não se torne inseguro.
• Aplicabilidade: O método permite que robôs naveguem de forma mais humana (assertiva quando seguro, cauteloso quando necessário) em ambientes complexos, superando as limitações de políticas fixas e mitigando os problemas de latência dos modelos foundation.

O AlphaAdj representa um passo significativo em direção a robôs autônomos que podem operar de forma robusta em ambientes do mundo real, onde a dinâmica e a incerteza são a norma, utilizando apenas câmeras a bordo para tomada de decisão de segurança.