Resumo Técnico: Co-GLANCE

Definição do Problema

Equipes de robôs heterogêneos (especificamente combinações ar-terra) operando em ambientes externos não estruturados enfrentam uma incerteza perceptual significativa devido a oclusões. Nenhum ponto de vista único fornece compreensão de cena confiável; por exemplo, a vegetação pode bloquear a visão de um robô aéreo, permanecendo transparente para um robô terrestre, enquanto obstáculos insignificantes vistos de cima podem ocluir totalmente um robô terrestre. Resolver essas incertezas requer tanto o raciocínio contextual baseado na cena (para entender o que está oculto) quanto uma alocação de robôs consciente de capacidades (decidir qual robô pode melhor resolver a oclusão).

Embora os Modelos de Linguagem-Visão (VLMs) ofereçam fortes vieses semânticos para este raciocínio, eles apresentam três limitações críticas para implantação embarcada:

1. Proibições Computacionais: São pesados demais para inferência em tempo real embarcada.
2. Dependência da Nuvem: Frequentemente exigem inferência baseada em nuvem, introduzindo latência e problemas de conectividade.
3. Incerteza Não Calibrada: Carecem de quantificação de incerteza estatisticamente válida, tornando-os não confiáveis para decisões de percepção ativa de segurança crítica.

Métodos de percepção ativa existentes frequentemente dependem de confiança heurística ou não calibrada, falhando em fornecer garantias de quando o sensoriamento adicional é realmente necessário.

Metodologia: Co-GLANCE

Os autores introduzem o Co-GLANCE, um framework de percepção e tomada de decisão em tempo real e embarcado, projetado para resolver a incerteza perceptual em equipes de robôs heterogêneos. O sistema opera através de três componentes principais:

1. Destilação de Conhecimento com Auto-Revisão Contextual

Para eliminar a dependência da nuvem, o Co-GLANCE destila as capacidades de raciocínio semântico de um VLM de grande escala para um modelo YOLO-seg-nano leve e de ponta a ponta para inferência embarcada.

• Pipeline: O processo começa com um VLM gerando palavras-chave de oclusão a partir de quadros aéreos, que são passadas para um modelo de segmentação de vocabulário aberto para criar máscaras candidatas.
• Auto-Revisão Contextual: Reconhecendo que as máscaras geradas pelo VLM frequentemente desalinham-se com as regiões pretendidas, o sistema emprega um mecanismo de conversação de múltiplos turnos. As máscaras candidatas são alimentadas de volta ao VLM, que realiza uma "auto-revisão" para remover máscaras incorretas, refinar regiões desalinhadas, propor novas palavras-chave e atribuir rótulos de alocação de plataforma (ground [solo], both [ambos] ou either [qualquer um]).
• Treinamento: O modelo leve é treinado nessas pseudo-rótulos refinados, permitindo que realize segmentação de oclusão e alocação de robôs em uma única passagem direta (forward pass).

2. Quantificação de Incerteza em Dois Estágios

Para garantir a confiabilidade sem inferência na nuvem, o Co-GLANCE combina abstenção seletiva e predição conformal para fornecer garantias de cobertura estatisticamente válidas.

• Estágio 1 (Controlado por Risco): Utiliza a abstenção seletiva para identificar predições de alta confiança. Se a confiança de uma predição exceder um limiar calibrado ($\hat{\lambda}$), ela é aceita como uma decisão "singleton", com uma taxa de erro garantida (ex: $1-\alpha$).
• Estágio 2 (Controlado por Cobertura): Para predições abaixo do limiar (abstenções), o sistema aplica a predição conformal para gerar um conjunto de predição. Isso garante que o rótulo verdadeiro esteja contido no conjunto com uma probabilidade especificada ($1-\epsilon$), fornecia um fallback estatisticamente válido em vez de um palpite aleatório.

3. Percepção Ativa Dirigida pela Incerteza

As estimativas de incerteza calibradas direcionam diretamente o despacho de robôs:

• Alta Confiança: Se o Estágio 1 confirmar uma predição singleton (ex: "oclusão existe, robô terrestre necessário"), o sistema prossegue com o plano atribuído.
• Baixa Confiança/Abstenção: Se o sistema se abster (incerteza muito alta), ele aciona a percepção ativa.
  • Para alocação de robôs, as abstenções acionam um despacho conservador de ambos os robôs para a região para garantir a cobertura.
  • Para detecção de objetos, as abstenções despacham o robô terrestre para adquirir um ponto de vista mais próximo.
  • O sistema roteia os robôs usando um resolvedor de Problema de Roteamento de Veículos Heterogêneos (HVRP), minimizando custos de viagem enquanto respeita as restrições das plataformas (ex: robôs terrestres são ponderados com maior custo de travessia).

Principais Contribuições

1. Percepção Embarcada Consciente de Incerteza: O Co-GLANCE é o primeiro sistema que destila o raciocínio de VLM para segmentação de oclusão e alocação de robôs em um modelo embarcado leve, alcançando 25% de maior precisão na detecção de oclusão e 36% de maior precisão na alocação de robôs em comparação com baselines de VLM baseados em nuvem.
2. Incerteza Calibrada para Percepção Ativa: Ao integrar abstenção seletiva com predição conformal, o sistema fornece garantias estatisticamente válidas para saídas de segmentação, alocação e detecção, acionando a percepção ativa apenas quando necessário.
3. Mecanismo de Auto-Revisão Contextual: Um processo de refinamento de múltiplos turnos que melhora a consistência da supervisão gerada pelo VLM, aumentando significativamente o recall e a precisão de alocação sobre os baselines padrão de VLM.
4. Implantação no Mundo Real e Dataset: Os autores validam o sistema em uma equipe ar-terra real (DJI Matrice 600 e Boston Dynamics Spot) e lançam um dataset ar-terra multimodal contendo mais de 4.000 quadros sincronizados, abordando uma lacuna na literatura existente que frequentemente depende de simulação ou equipes homogêneas.

Resultados Experimentais

Avaliado em ambientes externos semiestruturados com vegetação natural e infraestrutura:

• Precisão: O Co-GLANCE superou o baseline de VLM baseado em nuvem (ChatGPT-5.4 + Grounding DINO + SAM) em 25% na detecção de oclusão e 36% na precisão de alocação de robôs.
• Eficiência: O modelo destilado reduziu a latência de inferência por quadro em 350$\times$ (de >13 segundos para 37 ms) e eliminou totalmente o uso de tokens de API.
• Calibração de Incerteza: O esquema de dois estágios manteve com sucesso as taxas de erro dentro dos limites alvo (ex: $\le$ 15% para alocação) enquanto gerenciava as taxas de abstenção (aprox. 10% para alocação, 50% para detecção de pessoas).
• Dataset: O dataset liberado inclui dados sincronizados de RGB, RTK GPS e IMU de ambas as plataformas, suportando pesquisas futuras em percepção heterogênea.

Significância

O artigo argumenta que o Co-GLANCE demonstra a viabilidade da implantação prática e em tempo real de raciocínio semântico complexo em equipes de robôs heterogêneos sem depender de conectividade em nuvem. Ao destilar as capacidades de VLM e quantificar rigorosamente a incerteza, o sistema preenche a lacuna entre o raciocínio semântico de alto nível e os requisitos de confiabilidade da percepção ativa de segurança crítica. Os autores posicionam este trabalho como um passo em direção à operação autônoma em ambientes não estruturados onde a confiabilidade de um ponto de vista único é insuficiente.

Limitações

Os autores reconhecem várias limitações:

• A avaliação foi conduzida em ambientes semiestruturados com um número limitado de robôs (um aéreo, um terrestre).
• A política de percepção ativa é heurística e não é otimizada conjuntamente com objetivos de planejamento downstream.
• O modelo destilado pode herdar vieses dos pseudo-rótulos gerados pelo VLM usados durante o treinamento.