Using an On-Device VLM-Based Edge Computing System for Real-Time Disaster Detection

Resumo Técnico: Computação de Borda Baseada em VLM no Dispositivo para Detecção de Desastres em Tempo Real

Definição do Problema
Os sistemas de detecção de desastres naturais tradicionalmente dependem de Redes Neurais Convolucionais (CNNs) para classificação de imagens. Embora eficazes, as CNNs geralmente exigem um ajuste fino (fine-tuning) extensivo em conjuntos de dados específicos para alcançar alta precisão e carecem da capacidade de gerar respostas em linguagem natural ou de se integrar de forma flexível com outros sensores após a detecção. Por outro lado, os Modelos de Linguagem de Visão (VLMs) oferecem compreensão multimodal e capacidades de geração de linguagem natural, mas frequentemente são considerados computacionalmente pesados demais para implantação em tempo real em dispositivos de borda (edge) com recursos limitados. Este estudo aborda a lacuna na verificação de se os VLMs podem igualar ou exceder o desempenho de inferência das CNNs para a detecção de desastres operando inteiramente em hardware de borda com recursos restritos, permitindo assim a detecção zero-shot e tarefas downstream baseadas em linguagem natural sem dependência de rede.

Metodologia
A pesquisa foi conduzida utilizando um ambiente de computação de borda no dispositivo para garantir aplicabilidade em tempo real e eficiência energética.

• Hardware: Todos os experimentos de inferência foram executados em um Raspberry Pi 5 para simular um dispositivo de borda de baixo custo e escalável.
• Conjunto de Dados: O estudo utilizou o AIDER (Aerial Image Dataset for Emergency Response Applications), filtrando os dados para quatro classes relacionadas a desastres: incêndio, inundação, colapso de edifícios e acidente de trânsito. "Condições normais" foram excluídas.
• Modelos:
  • Baseline (CNNs): Três arquiteturas foram avaliadas: GoogLeNet (Inception v1), ResNet-18 e MobileNet V2.
  • Experimental (VLM): Gemma 3 (variante de 4 bilhões de parâmetros), um modelo multimodal capaz de processar texto e imagens.
• Design Experimental:
  • Controle de Equidade: Para garantir uma comparação justa com o VLM zero-shot, as CNNs foram primeiro avaliadas usando pesos pré-treinados no ImageNet sem qualquer exposição ao conjunto de dados AIDER.
  • Comparação de Fine-Tuning: As CNNs foram subsequentemente submetidas a ajuste fino no conjunto de dados AIDER (80 imagens por classe para treinamento, 20 para validação) para estabelecer um baseline de desempenho de limite superior.
  • Reprodutibilidade: Os experimentos foram executados através de cinco sementes aleatórias distintas (42–46) para descartar variações incidentais.
  • Métricas: O desempenho foi medido utilizando Acurácia e F1 Score.

Principais Resultados

• CNNs Pré-treinadas no ImageNet: Sem o ajuste fino, os modelos de CNN apresentaram um desempenho insatisfatório, com acurácia variando entre 0,20 e 0,35 e F1 scores entre 0,10 e 0,30. Isso indica que os pesos padrão do ImageNet são insuficientes para tarefas específicas de classificação de desastres sem adaptação.
• CNNs com Fine-Tuning: Após o ajuste fino no conjunto de dados AIDER, o desempenho das CNNs melhorou significativamente. A ResNet-18 alcançou o maior desempenho entre as CNNs (acurácia na casa alta dos 0,8), seguida pela MobileNet V2 e GoogLeNet. Todos os modelos com ajuste fino estabilizaram na faixa de 0,85–0,90 de acurácia.
• VLM Zero-Shot (Gemma 3): O modelo Gemma 3, operando em um cenário zero-shot sem qualquer treinamento no conjunto de dados AIDER, alcançou uma acurácia e F1 score estáveis entre 0,92 e 0,94 em todas as sementes.
• Desempenho Comparativo: O VLM superou as CNNs pré-treinadas no ImageNet por uma margem de aproximadamente 60 pontos percentuais (0,92–0,94 vs. 0,20–0,35). Crucialmente, o desempenho zero-shot do VLM foi comparável a, e em algumas sementes ligeiramente superior aos, das CNNs com ajuste fino. O VLM demonstrou um desempenho consistente independentemente da divisão de dados, sugerindo uma generalização robusta de padrões visuais relacionados a desastres aprendidos durante seu pré-treinamento em larga escala.

Significância e Alegações
O artigo afirma que os VLMs são uma alternativa viável e potencialmente superior às CNNs para a detecção de desastres em tempo real em dispositivos de borda. A principal significância reside em três áreas:

1. Viabilidade de Desempenho: O estudo demonstra que um VLM de 4 bilhões de parâmetros pode alcançar a detecção de desastres de alta acurácia em um Raspberry Pi 5 sem a necessidade de ajuste fino específico do conjunto de dados, desafiando a noção de que os VLMs são muito pesados ou exigem retreinamento extensivo para tarefas de borda.
2. Eficiência Operacional: Ao operar inteiramente no dispositivo, o sistema garante funcionalidade em cenários com conectividade de rede limitada ou inexistente, um fator crítico para a resposta a desastres.
3. Expansão Funcional: Diferente das CNNs tradicionais que produzem apenas rótulos de classe, o sistema baseado em VLM permite a geração de respostas em linguagem natural. Isso permite a integração flexível com outros sensores e o potencial para ações downstream automatizadas e orientadas por linguagem (ex: relatórios baseados em voz ou texto) diretamente na borda.

O autor reconhece limitações, especificamente a incapacidade de testar modelos maiores (ex: DeepSeek, GPT) devido às restrições de memória do Raspberry Pi 5, e observa que as lacunas de desempenho podem variar com diferentes composições de dados. No entanto, o estudo conclui que, para implantação imediata onde o tempo de configuração e o custo são fatores determinantes, os VLMs oferecem uma vantagem convincente sobre o pipeline tradicional de CNN.