AVERY: Intent-Driven Adaptive VLM Split Computing via Embodied Self-Awareness for Efficient Disaster Response Systems

Resumo Técnico: AVERY

1. O Problema

Os sistemas de resposta a desastres (DRS) utilizam cada vez mais Veículos Aéreos Não Tripulados (UAVs) para aumentar a consciência situacional e apoiar operações de busca e resgate. No entanto, existem lacunas críticas na inteligência embarcada atual:

• Limitações das CNNs: As Redes Neurais Convolucionais (CNNs) tradicionais oferecem detecção básica, mas carecem de flexibilidade semântica e raciocínio contextual. Elas não conseguem responder a consultas complexas baseadas em linguagem natural (ex: "localize veículos parcialmente submersos mas acessíveis por estrada").
• Custo dos Modelos VLM: Os Modelos Visão-Linguagem (VLMs) oferecem o raciocínio semântico necessário, mas seus requisitos computacionais e energéticos tornam a execução completa no dispositivo (on-device) inviável para UAVs com recursos limitados.
• Falha do Offloading Nascivo: O envio de dados brutos para a nuvem (cloud offloading) falha em zonas de desastre devido à conectividade instável, baixa largura de banda e latência proibitiva.
• Abordagem Inadequada de Split Computing: As soluções existentes de computação dividida (split computing) focam apenas na divisão por profundidade de modelos CNN, ignorando que diferentes intenções do operador exigem produtos semânticos fundamentalmente diferentes (consciência rápida vs. análise detalhada), e não apenas diferentes pontos de troca entre latência e precisão.

2. Metodologia: O Framework AVERY

O AVERY é um framework de computação dividida adaptativa e orientada a intenção, projetado para implantar VLMs em UAVs sob condições de rede dinâmicas.

• Arquitetura de Duplo Fluxo (Dual-Stream): Inspirado na cognição visual humana (fluxo dorsal e ventral), o sistema divide o VLM em dois fluxos funcionais distintos:
  1. Fluxo Contexto (Context Stream): Um fluxo de alta frequência e baixa resolução, baseado apenas no codificador CLIP. Projetado para consciência situacional rápida e triagem (respostas textuais rápidas).
  2. Fluxo Insight (Insight Stream): Um fluxo de baixa frequência e alta fidelidade, baseado no backbone do SAM (Segment Anything Model) e CLIP. Projetado para análise espacial profunda e geração de máscaras de segmentação precisas.
• Divisão Funcional e Hierárquica:
  • Nível 1 (Seleção de Fluxo): O controlador decide qual fluxo é semanticamente admissível com base na intenção do operador. Se a tarefa exige apenas triagem, usa-se o Context Stream. Se exige localização precisa, ativa-se o Insight Stream.
  • Nível 2 (Adaptação de Recursos): Dentro do Insight Stream, o sistema aplica uma divisão por profundidade (split@1, após o primeiro bloco ViT) e utiliza compressão aprendida (bottleneck treinável) para reduzir o tamanho dos dados transmitidos.
• Controlador de Autoconsciência (Embodied Self-Awareness): Um controlador leve embarcado monitora em tempo real:
  • Condições de rede (largura de banda).
  • Orçamento de energia computacional do UAV.
  • Intenção do operador.
    Com base nisso, ele seleciona dinamicamente uma configuração pré-perfilada (Lookup Table - LUT) que equilibra fidelidade, taxa de atualização (throughput) e consumo de energia, garantindo que os requisitos de serviço (SLOs) sejam atendidos.

3. Principais Contribuições

1. Framework de Split Computing Orientado a Intenção: Primeiro framework a tratar a intenção humana como um objetivo de sistema de primeira classe, organizando a computação por função semântica antes de adaptar aos recursos.
2. Modelo Operacional de Duplo Fluxo: Uma arquitetura que separa a inferência em consciência situacional rápida (Contexto) e análise espacial fundamentada (Insight), alinhando-se com fluxos de trabalho reais de resposta a desastres.
3. Controlador Adaptativo Leve: Um mecanismo que navega nas compensações (trade-offs) entre fidelidade semântica, throughput e energia, selecionando fluxos e taxas de compressão em tempo real.
4. Dataset e Modelo Especializado: Criação do dataset Flood-ReasonSeg (focado em vítimas e veículos em enchentes) e o ajuste fino (fine-tuning) do modelo VLM LISA-7B para reconhecimento de objetos aberto e segmentação em cenários de desastre.

4. Resultados Experimentais

O sistema foi avaliado em um hardware NVIDIA Jetson AGX Xavier (32 GB) com um servidor em nuvem, simulando condições de rede flutuantes (8–20 Mbps) típicas de zonas de desastre.

• Eficiência Energética: O AVERY reduziu o consumo de energia em 93,98% em comparação com a execução completa do Insight Stream no dispositivo (edge).
• Precisão vs. Compressão: O sistema alcançou 11,2% de precisão (IoU) superior em comparação com a compressão de imagens brutas (raw image compression).
• Adaptabilidade Dinâmica: Durante a adaptação dinâmica em condições de rede variáveis, a precisão média do AVERY permaneceu dentro de 0,75% da linha de base estática de "Alta Precisão", enquanto mantinha um throughput estável que os sistemas estáticos não conseguiam manter sob baixa largura de banda.
• Desempenho Operacional: O sistema conseguiu manter uma taxa de atualização de 0,74 PPS (pacotes por segundo) com alta precisão, ou até 1,85 PPS quando priorizado o throughput, demonstrando robustez onde soluções estáticas falham.

5. Significado e Impacto

O AVERY representa um avanço significativo na inteligência de borda para robótica em ambientes adversos.

• Mudança de Paradigma: Demonstra que a implantação de VLMs em agentes físicos não deve ser tratada como um problema monolítico de offloading, mas como um problema de sistemas adaptativo condicionado à intenção semântica.
• Viabilidade Prática: Torna possível a execução de raciocínio semântico rico e grounded (fundamentado espacialmente) em UAVs com recursos limitados, mesmo com conectividade de rede degradada.
• Aplicabilidade em Missões Críticas: Permite que operadores de resgate realizem triagem rápida e, em seguida, solicitem análises detalhadas apenas quando necessário, otimizando o uso de energia e largura de banda em cenários de desastre onde cada recurso conta.

Em suma, o AVERY preenche a lacuna entre a necessidade de inteligência semântica avançada em desastres e as limitações físicas dos UAVs, utilizando uma arquitetura inteligente que prioriza a intenção da missão sobre a simples otimização de recursos.