Using an On-Device VLM-Based Edge Computing System for Real-Time Disaster Detection

Resumen Técnico: Computación en el Borde Basada en VLM en Dispositivos para la Detección de Desastres en Tiempo Real

Planteamiento del Problema
Los sistemas de detección de desastres naturales han dependido tradicionalmente de las Redes Neuronales Convolucionales (CNN) para la clasificación de imágenes. Aunque son efectivas, las CNN suelen requerir un ajuste fino (fine-tuning) exhaustivo en conjuntos de datos específicos para lograr una alta precisión y carecen de la capacidad de generar respuestas en lenguaje natural o de integrarse de manera flexible con otros sensores tras la detección. Por el contrario, los Modelos de Lenguaje-Visión (VLM) ofrecen comprensión multimodal y capacidades de generación de lenguaje natural, pero a menudo se asume que son demasiado pesados computacionalmente para un despliegue en tiempo real en dispositivos de borde (edge computing) con recursos limitados. Este estudio aborda la brecha de verificar si los VLM pueden igualar o superar el rendimiento de inferencia de las CNN para la detección de desastres operando enteramente en hardware de borde con recursos restringidos, permitiendo así la detección zero-shot y tareas downstream basadas en lenguaje natural sin dependencia de la red.

Metodología
La investigación se llevó a cabo utilizando un entorno de computación en el borde en el dispositivo para asegurar la aplicabilidad en tiempo real y la eficiencia energética.

• Hardware: Todos los experimentos de inferencia se ejecutaron en una Raspberry Pi 5 para simular un dispositivo de borde de bajo costo y escalable.
• Conjunto de Datos: El estudio utilizó el AIDER (Aerial Image Dataset for Emergency Response Applications), filtrando los datos para cuatro clases relacionadas con desastres: incendio, inundación, colapso de edificios y accidente de tráfico. Se excluyeron las "condiciones normales".
• Modelos:
  • Base (CNNs): Se evaluaron tres arquitecturas: GoogLeNet (Inception v1), ResNet-18 y MobileNet V2.
  • Experimental (VLM): Gemma 3 (variante de 4 mil millones de parámetros), un modelo multimodal capaz de procesar texto e imágenes.
• Diseño Experimental:
  • Control de Equidad: Para asegurar una comparación justa con el VLM zero-shot, las CNN fueron evaluadas primero utilizando pesos preentrenados en ImageNet sin exposición previa al conjunto de datos AIDER.
  • Comparación de Ajuste Fino (Fine-Tuning): Posteriormente, las CNN se sometieron a un ajuste fino en el conjunto de datos AIDER (80 imágenes por clase para entrenamiento, 20 para validación) para establecer un límite superior de rendimiento base.
  • Reproducibilidad: Los experimentos se ejecutaron a través de cinco semillas aleatorias distintas (42–46) para descartar variaciones incidentales.
  • Métricas: El rendimiento se midió utilizando Exactitud (Accuracy) y Puntuación F1 (F1 Score).

Result Resultados Clave

• CNNs Preentrenadas en ImageNet: Sin ajuste fino, los modelos CNN tuvieron un desempeño deficiente, con una exactitud que osciló entre 0.20 y 0.35 y puntuaciones F1 entre 0.10 y 0.30. Esto indica que los pesos estándar de ImageNet son insuficientes para tareas específicas de clasificación de desastres sin adaptación.
• CNNs con Ajuste Fino: Tras el ajuste fino en el conjunto de datos AIDER, el desempeño de las CNN mejoró significamente. ResNet-18 logró el mayor desempeño entre las CNN (exactitud en los altos 0.8), seguida de MobileNet V2 y GoogLeNet. Todos los modelos ajustados se estabilizaron en el rango de exactitud de 0.85–0.90.
• VLM Zero-Shot (Gemma 3): El modelo Gemma 3, operando en un entorno zero-shot sin entrenamiento previo en el conjunto de datos AIDER, alcanzó una exactitud y puntuación F1 estables entre 0.92 y 0.94 en todas las semillas.
• Desempeño Comparativo: El VLM superó a las CNN preentrenadas en ImageNet por un margen de aproximadamente 60 puntos porcentuales (0.92–0.94 frente a 0.20–0.35). Crucialmente, el desempeño zero-shot del VLM fue comparable a, y en algunas semillas ligeramente superior a, las CNN con ajuste fino. El VLM demostró un desempeño consistente independientemente de la división de los datos, lo que sugiere una generalización robusta de los patrones visuales relacionados con desastres aprendidos durante su preentrenamiento a gran escala.

Significancia y Reivindicaciones
El artículo sostiene que los VLM son una alternativa viable y potencialmente superior a las CNN para la detección de desastres en tiempo real en dispositivos de borde. La significancia principal reside en tres áreas:

1. Viabilidad de Desempeño: El estudio demuestra que un VLM de 4 mil millones de parámetros puede lograr una detección de desastres de alta precisión en una Raspberry Pi 5 sin necesidad de ajuste fino específico del conjunto de datos, desafiando la noción de que los VLM son demasiado pesados o requieren un reentrenamiento extensivo para tareas de borde.
2. Eficiencia Operativa: Al operar enteramente en el dispositivo, el sistema garantiza la funcionalidad en escenarios con conectividad de red limitada o nula, un factor crítico para la respuesta ante desastres.
3. Expansión Funcional: A diferencia de las CNN tradicionales que solo emiten etiquetas de clase, el sistema basado en VLM permite la generación de respuestas en lenguaje natural. Esto permite una integración flexible con otros sensores y el potencial de acciones downstream automatizadas y dirigidas por lenguaje (por ejemplo, reportes de voz o texto) directamente en el borde.

El autor reconoce limitaciones, específicamente la imposibilidad de probar modelos más grandes (por ejemplo, DeepSeek, GPT) debido a las restricciones de memoria de la Raspberry Pi 5, y señala que las brechas de desempeño pueden variar con diferentes composiciones de datos. Sin embargo, el estudio concluye que para despliegues inmediatos donde el tiempo de configuración y el costo son factores determinantes, los VLM ofrecen una ventaja convincente sobre el flujo de trabajo tradicional de las CNN.