💻 ciencias de la computación

Real-Time Joint Classification and Heat-Source Localization on Native 8×8 Thermal Frames with a Lightweight Dual-Head CNN for Microcontroller Deployment

Este artículo presenta JFilterLocalizationCNN, una red neuronal convolucional de doble cabeza y ligera que permite la clasificación conjunta en tiempo real de escenas térmicas y la localización de fuentes de calor en tramas infrarrojas nativas de 8×8, logrando una alta precisión y un despliegue eficiente en microcontroladores con recursos limitados mientras preserva la privacidad del usuario.

Autores originales: Abbas Yasin, Abdur Rouf, Protik Barua, Md. Yousuf, Raqibul Hasan

Publicado 2026-11-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Abbas Yasin, Abdur Rouf, Protik Barua, Md. Yousuf, Raqibul Hasan

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo en el que podamos vigilar nuestros hogares, hospitales y oficinas sin capturar nunca un rostro o un cuerpo reconocible. Esta es la promesa de un tipo específico de detección que se basa en el calor en lugar de la luz. Mientras que las cámaras estándar registran imágenes detalladas que pueden identificar quién está en una habitación, los sensores térmicos solo ven diferencias de temperatura. La versión más básica de esta tecnología utiliza una pequeña cuadrícula de sesenta y cuatro sensores, dispuestos en un cuadrado de ocho por ocho. Para el ojo humano, los datos de tal cuadrícula parecen una mancha borrosa y de baja resolución de calor. Es demasiado tosca para mostrar los rasgos de una persona, pero contiene información suficiente para decir si una habitación está vacía, si hay alguien sentado allí, o si se ha iniciado una fuente de calor peligrosa, como un fuego. El desafío para los científicos ha sido descubrir cómo hacer que estos datos diminutos y borrosos sean útiles en tiempo real, especialmente en computadoras pequeñas y económicas que puedan ocultarse en un techo o una pared.

Un equipo de investigadores ha resuelto ahora este problema enseñando a un pequeño programa informático a leer estas manchas térmicas directamente. Crearon un sistema que puede mirar un único fotograma de esta cuadrícula de ocho por ocho e instantáneamente hacer dos cosas a la vez: decide qué está sucediendo en la habitación y señala exactamente dónde se encuentra la principal fuente de calor. Este es un paso significativo hacia adelante porque los intentos previos de usar estos datos de baja resolución dependían de reglas complejas escritas a mano que a menudo fallaban al detectar fuegos o localizar personas con precisión. El nuevo enfoque utiliza una red neuronal ligera, un tipo de modelo informático inspirado en el cerebro, diseñada específicamente para trabajar con esta cantidad diminuta de datos. En lugar de intentar adivinar cómo podría verse la imagen si fuera más clara, el sistema aprende a encontrar patrones en los propios números brutos y borrosos.

Los investigadores construyeron un modelo personalizado que actúa como una herramienta de doble propósito. En un solo vistazo a los datos, clasifica la escena en una de tres categorías: una habitación vacía, una habitación con una persona, o una habitación con una persona y un fuego. Al mismo tiempo, calcula la ubicación precisa del punto más caliente en esa cuadrícula. Para que esto funcione de manera fiable, primero limpiaron los datos con un filtro sencillo que elimina la temperatura de fondo de la habitación, asegurando que el sistema se concentre solo en el calor relativo de los objetos. Esto permite que el modelo funcione incluso si la habitación se calienta o se enfría ligeramente con el tiempo. Cuando se probó en un conjunto de datos de doce mil imágenes equilibradas, el sistema fue notablemente preciso, identificando la escena correctamente en casi todos los casos y localizando la fuente de calor con un error de menos de medio píxel.

Lo que hace que este descubrimiento sea particularmente poderoso es que se ejecuta en hardware tan pequeño como un microcontrolador, el tipo de chip que se encuentra en los dispositivos inteligentes cotidianos. Los investigadores tomaron su modelo y lo comprimieron tanto que cabe en una cantidad diminuta de memoria, reduciéndose de un tamaño de casi medio megabyte a solo ciento veintiséis kilobytes. Esta compresión no perjudicó su rendimiento. Cuando instalaron esta versión diminuta en una pequeña placa de desarrollo conectada a un sensor térmico real, continuó funcionando en tiempo real. En pruebas en vivo que involucraron miles de fotogramas de un entorno real, el sistema mantuvo un alto nivel de precisión, identificando escenas correctamente aproximadamente el ochenta y dos por ciento de las veces y localizando fuentes de calor con un error promedio de poco menos de un píxel y medio.

El estudio también exploró qué tan bien podía este sistema adaptarse a diferentes entornos. Cuando los investigadores probaron el modelo con datos de un tipo diferente de sensor con una resolución más alta, este tuvo dificultades al principio, mostrando que el sistema está ajustado a la geometría específica de la cuadrícula de ocho por ocho. Sin embargo, tras un breve periodo de reentrenamiento con los nuevos datos, el sistema se adaptó rápidamente y recuperó una alta precisión. Esto sugiere que, si bien el diseño específico está optimizado para el sensor pequeño, la capacidad central de aprender patrones térmicos es lo suficientemente robusta como para transferirse a otros dispositivos con un poco de ayuda. Los investigadores confirmaron que el sistema funciona mejor cuando se entrena para manejar tanto la clasificación como la localización de forma conjunta, ya que intentar hacer solo una tarea hacía que la otra empeorara significativamente.

Este trabajo demuestra que la percepción útil es posible incluso a resoluciones que la mayoría de los sistemas de visión descartarían. Al demostrar que un sensor diminuto y que preserva la privacidad puede combinarse con un ordenador ligero para detectar personas y fuegos en tiempo real, los investigadores han abierto un camino para una monitorización interior más segura y privada. El sistema no necesita ver un rostro para saber que alguien está allí, ni necesita un servidor potente para procesar los datos. Simplemente lee el calor, comprende la escena y actúa, todo dentro del espacio de unos pocos milisegundos. Esta capacidad podría permitir alertas tempranas de incendios en hogares de cuidado o el seguimiento de ocupación en espacios privados sin comprometer nunca la privacidad de las personas en su interior.

Resumen Técnico: Clasificación de Eventos y Localización de Fuentes de Calor en Tiempo Real sobre Tramas Térmicas Nativas de 8×8

Planteamiento del Problema
Los sistemas de monitorización de interiores que dependen de cámaras RGB enfrentan desafíos significativos de privacidad, ya que capturan rasgos identificables como los rostros. Si bien las matrices térmicas de baja resolución, como el Panasonic AMG833 (una cuadrícula de 8×8 con 64 valores de temperatura), ofrecen una alternativa que preserva la privacidad al impedir la formación de imágenes identificables, presentan un desafío técnico único: la información espacial es extremadamente gruesa. Los enfoques previos para este tipo de sensores se han basado principalmente en procesos manuales (por ejemplo, umbralización adaptativa, interpolación, ajuste estadístico) que tienen dificultades para realizar simultáneamente la clasificación de eventos y la localización a nivel de coordenadas. Además, las soluciones existentes de aprendizaje profundo suelen dirigirse a cámaras térmicas de mayor resolución o se centran únicamente en la segmentación, dejando un vacío en arquitecturas ligeras y multitarea diseñadas específicamente para entradas nativas de 8×8 en microcontroladores con recursos limitados.

Metodología
Los autores proponen JFilterLocalizationCNN, una red neuronal convolucional compacta de doble cabeza diseñada para operar directamente sobre tramas térmicas de 8×8 sin escalado. El flujo de trabajo del sistema consta de tres componentes principales:

Preprocesamiento J-Filter: Para abordar la deriva de la temperatura ambiente, los autores introducen un método de sustracción de fondo por trama. Este "J-filter" resta el valor de temperatura mínimo de la trama a todos los píxeles ( $T' = T - T_{min}$ ) y, posteriormente, normaliza el resultado al rango $[0, 1]$ dividiendo por el máximo de la trama. Este proceso elimina los desplazos ambientales mientras preserva la estructura espacial relativa del calor necesaria para la localización. No se aplica suavizado temporal ni interpolación espacial.
Arquitectura de la Red: El modelo cuenta con un tronco común (backbone) y dos cabezas paralelas.
- Tronco (Backbone): Una arquitectura personalizada de estilo VGG con tres bloques convolucionales que reducen la resolución espacial de $8 \to 4 \to 2 \to 1$ mientras aumentan la profundidad de los canales ( $1 \to 32 \to 64 \to 128$ ). La arquitectura está adaptada a la geometría de 8×8, utilizando convoluciones de $3\times3$ en los dos primeros bloques y una de $2\times2$ en el tercero para colapsar el mapa final de $2\times2$ a $1\times1$ .
- Cabezas: Una capa de agrupación de promedio global (global average pooling) produce un embedding de 128 dimensiones compartido por dos cabezas:
  - Cabeza de Clasificación: Genera probabilidades para tres clases: "Sin Objeto", "Objeto" y "Objeto con Fuego".
  - Cabeza de Localización: Regresa las coordenadas $(x, y)$ normalizadas de la fuente de calor dominante, delimitadas por una activación sigmoide al rango $[0, 1]$ .
Objetivo de Entrenamiento: El modelo se entrena mediante una función de pérdida multitarea que comprende la suma de la pérdida de entropía cruzada (para la clasificación) y el error cuadrático medio (para la localización). El conjunto de datos de entrenamiento consiste en 12,000 tramas balanceadas.
Despliegue en Sistemas Embebidos: El modelo se optimiza para el despliegue en microcontroladores mediante cuantización INT8 post-entrenamiento y se exporta a TensorFlow Lite.

Contribuciones Clave

Pipeline J-Filter: Una etapa de preprocesamiento que permite la insensibilidad del modelo a la deriva de la temperatura ambiente manteniendo las firmas espaciales necesarias para la localización.
JFilterLocalizationCNN: Una CNN de doble cabeza diseñada a medida con aproximadamente 115,365 parámetros que realiza la clasificación conjunta y la regresión de coordenadas en una sola pasada hacia adelante (forward pass) sobre datos nativos de 8×8.
Caracterización de Tiempo Real y Embebida: Una evaluación exhaustiva que incluye recuentos de operaciones de Multiplicación-Acumulación (MAC), mediciones de latencia frente a un presupuesto de sensor de 10 Hz y un despliegue exitoso en un microcontrolador Seeed XIAO ESP32-S3.
Validación Empírica: Pruebas extensas en 12,000 tramas, generalización de conjunto de datos mediante transferencia a corpus térmicos externos (LINAIGE y MLX90640) y un estudio de ablación de doce casos que aísla el impacto de las decisiones de diseño.

Resultados

Rendimiento Controlado: En un conjunto de prueba no visto de 2,400 tramas, el modelo alcanzó una precisión de clasificación del 99.75% y un error absoluto medio de localización de 0.39 píxeles.
Eficiencia: La inferencia requiere aproximadamente 1.5 millones de operaciones MAC y toma 2.7 ms en una CPU de escritorio, muy por debajo del presupuesto de 100 ms de un sensor de 10 Hz.
Cuantización: La cuantización INT8 post-entrenamiento redujo el tamaño del modelo de 466 KB a 126 KB sin pérdida medible de precisión o exactitud.
Despliegue Embebido: En un sistema ESP32-S3 en vivo con 4,752 tramas del mundo real, el modelo TensorFlow Lite INT8 logró una precisión del 81.52% (F1-macro = 0.82) y un error de localización medio de 1.39 píxeles. La clase "Objeto con Fuego" demostró una alta robustez, con una degradación del error de localización de solo 0.03 píxeles en comparación con el conjunto de prueba controlado.
Generalización: La transferencia de cero disparos (zero-shot transfer) a un conjunto de datos de la misma resolución 8×8 (LINAIGE) arrojó un 77% de precisión, ascendiendo al 96.4% tras el ajuste fino (fine-tuning). La transferencia a un conjunto de datos de mayor resolución 32×24 (MLX90640) mostró un rendimiento de cero disparos inferior (46%), pero se recuperó al 81.8% con ajuste fino.
Hallazgos de la Ablación: El estudio confirmó que la sustracción de fondo (J-filter) es el paso de preprocesamiento más crítico. Se encontró que el entrenamiento conjunto es esencial, ya que un modelo de solo clasificación falló al localizar con precisión, y un modelo de solo localización falló al clasificar.

Significancia
El artículo sostiene que la percepción útil es alcanzable a resoluciones (8×8) que la mayoría de los procesos de visión descartarían. Al demostrar que la clasificación y la localización conjuntas pueden realizarse en tiempo real en un microcontrolador utilizando datos térmicos que preservan la privacidad, este trabajo valida la viabilidad de desplegar sistemas de monitorización de interiores sensibles (por ejemplo, para ocupación, detección de caídas o alerta de incendios) en hardware económico sin comprometer la privacidad del usuario. Los autores enfatizan que sus resultados representan un "piso de despliegue" práctico para condiciones del mundo real, distinto del "techo de dominio" observado en conjuntos de datos controlados.

Más como este