💻 ciência da computação

Real-Time Joint Classification and Heat-Source Localization on Native 8×8 Thermal Frames with a Lightweight Dual-Head CNN for Microcontroller Deployment

Este artigo apresenta o JFilterLocalizationCNN, uma rede neural convolucional de cabeça dupla leve que permite a classificação conjunta em tempo real de cenas térmicas e a localização de fontes de calor em quadros infravermelhos nativos de 8×8, alcançando alta precisão e implantação eficiente em microcontroladores de recursos limitados, preservando simultaneamente a privacidade do usuário.

Autores originais: Abbas Yasin, Abdur Rouf, Protik Barua, Md. Yousuf, Raqibul Hasan

Publicado 2026-11-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Abbas Yasin, Abdur Rouf, Protik Barua, Md. Yousuf, Raqibul Hasan

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde possamos vigiar nossas casas, hospitais e escritórios sem nunca capturar um rosto ou um corpo reconhecível. Esta é a promessa de um tipo específico de detecção que se baseia no calor em vez da luz. Enquanto as câmeras padrão registram imagens detalhadas que podem identificar quem está em uma sala, os sensores térmicos veem apenas diferenças de temperatura. A versão mais básica desta tecnologia utiliza uma pequena grade de sessenta e quatro sensores, dispostos em um quadrado de oito por oito. Para o olho humano, os dados de tal grade parecem um borrão de calor borrado e de baixa resolução. É muito grosseiro para mostrar as características de uma pessoa, mas contém informações suficientes para dizer se uma sala está vazia, se alguém está sentado ali ou se uma fonte de calor perigosa, como um incêndio, começou. O desafio para os cientistas tem sido descobrir como tornar esses dados minúsculos e borrados úteis em tempo real, especialmente em computadores pequenos e baratos que podem ser escondidos em um teto ou em uma parede.

Uma equipe de pesquisadores resolveu agora este problema, ensinando um pequeno programa de computador a ler esses borrões térmicos diretamente. Eles criaram um sistema que pode olhar para um único quadro desta grade de oito por oito e instantaneamente fazer duas coisas ao mesmo tempo: decide o que está acontecendo na sala e aponta exatamente onde está a principal fonte de calor. Este é um passo significativo à frente porque as tentativas anteriores de usar esses dados de baixa resolução dependiam de regras complexas e manuais que frequentemente falhavam em detectar incêndios ou localizar pessoas com precisão. A nova abordagem utiliza uma rede neural leve, um tipo de modelo computacional inspirado no céreio, projetada especificamente para trabalhar com essa pequena quantidade de dados. Em vez de tentar adivinhar como a imagem seria se fosse mais clara, o sistema aprende a encontrar padrões nos próprios números brutos e borrados.

Os pesquisadores construíram um modelo personalizado que atua como uma ferramenta de duplo propósito. Em um único olhar sobre os dados, ele classifica a cena em uma de três categorias: uma sala vazia, uma sala com uma pessoa ou uma sala com uma pessoa e um incêndio. Ao mesmo tempo, ele calcula a localização precisa do ponto mais quente naquela grade. Para fazer isso funcionar de forma confiável, eles primeiro limparam os dados com um filtro simples que remove a temperatura de fundo da sala, garantindo que o sistema foque apenas no calor relativo dos objetos. Isso permite que o modelo funcione mesmo se a sala ficar ligeiramente mais quente ou mais fria ao longo do tempo. Quando testado em um conjunto de dados de doze mil imagens equilibradas, o sistema foi extraordinariamente preciso, identificando a cena corretamente em quase todos os casos e localizando a fonte de calor com um erro de menos de meio pixel.

O que torna esta descoberta particularmente poderosa é que ela roda em hardware tão pequeno quanto um microcontrolador, o tipo de chip encontrado em dispositivos inteligentes cotidianos. Os pesquisadores pegaram seu modelo e o comprimiram tanto que ele cabe em uma quantidade minúscula de memória, encolhendo de um tamanho de quase meio megabyte para apenas cento e vinte e seis quilobytes. Esta compressão não prejudicou seu desempenho. Quando instalaram esta versão minúscula em uma pequena placa de desenvolvimento conectada a um sensor térmico real, ela continuou a funcionar em tempo real. Em testes ao vivo envolvendo milhares de quadros de um ambiente real, o sistema manteve um alto nível de precisão, identificando cenas corretamente cerca de oitenta e dois por cento das vezes e localizando fontes de calor com um erro médio de pouco menos de um e meio pixel.

O estudo também explorou quão bem este sistema poderia se adaptar a diferentes ambientes. Quando os pesquisadores testaram o modelo em dados de um tipo diferente de sensor com uma resolução mais alta, ele teve dificuldades inicialmente, mostrando que o sistema é ajustado à geometria específica da grade de oito por oito. No entanto, após um breve período de retreinamento nos novos dados, o sistema se adaptou rapidamente e recuperou a alta precisão. Isso sugere que, embora o design específico seja otimizado para o pequeno sensor, a capacidade central de aprender padrões térmicos é robusta o suficiente para ser transferida para outros dispositivos com um pouco de ajuda. Os pesquisadores confirmaram que o sistema funciona melhor quando é treinado para lidar com classificação e localização de forma conjunta, pois tentar fazer apenas uma tarefa tornava a outra significativamente pior.

Este trabalho demonstra que a percepção útil é possível mesmo em resoluções que a maioria dos sistemas de visão descartaria. Ao provar que um sensor minúsculo e que preserva a privacidade pode ser combinado com um computador leve para detectar pessoas e incêndios em tempo real, os pesquisadores abriram um caminho para um monitoramento interno mais seguro e privado. O sistema não precisa ver um rosto para saber que alguém está lá, nem precisa de um servidor poderoso para processar os dados. Ele simplesmente lê o calor, entende a cena e age, tudo dentro do espaço de alguns milissegundos. Essa capacidade poderia permitir alertas precoces de incêndio em casas de repouso ou o rastreamento de ocupação em espaços privados sem nunca comprometer a privacidade das pessoas no interior.

Resumo Técnico: Classificação de Eventos e Localização de Fonte de Calor em Tempo Real em Matrizes Térmicas Nativas de 8×8

Problema
Sistemas de monitoramento interno que dependem de câmeras RGB enfrentam desafios significativos de privacidade, pois capturam características identificáveis, como rostos. Embora matrizes térmicas de baixa resolução, como a Panasonic AMG8833 (uma grade 8×8 de 64 valores de temperatura), ofereçam uma alternativa que preserva a privacidade ao impedir a formação de imagens identificáveis, elas apresentam um desafio técnico único: a informação espacial é extremamente grosseira. Abordagens anteriores para esta classe de sensores basearam-se amplamente em pipelines manuais (ex: limiarização adaptativa, interpolação, ajuste estatístico) que têm dificuldade em realizar a classificação de eventos e a localização em nível de coordenadas simultaneamente. Além disso, soluções existentes de aprendizado profundo frequentemente visam câmeras térmicas de maior resolução ou focam apenas em segmentação, deixando uma lacuna para arquiteturas leves de múltiplas tarefas projetadas especificamente para entradas nativas de 8×8 em microcontroladores com recursos limitados.

Metodologia
Os autores propõem a JFilterLocalizationCNN, uma rede neural convolucional compacta de duas cabeças (dual-head) projetada para operar diretamente em quadros térmicos brutos de 8×8 sem redimensionamento (upscaling). O pipeline do sistema consiste em três componentes principais:

Pré-processamento J-Filter: Para lidar com o desvio de temperatura ambiente, os autores introduzem um método de subtração de fundo por quadro. Este "J-filter" subtrai o valor de temperatura mínimo do quadro de todos os pixels ( $T' = T - T_{min}$ ) e, subsequentemente, normaliza o resultado para o intervalo $[0, 1]$ dividindo pelo máximo do quadro. Este processo remove desvios ambientes enquanto preserva a estrutura espacial de calor relativa necessária para a localização. Nenhuma suavização temporal ou interpolação espacial é aplicada.
Arquitetura da Rede: O modelo apresenta um backbone compartilhado e duas cabeças paralelas.
- Backbone: Uma arquitetura customizada do tipo VGG com três blocos convolucionais que reduzem a resolução espacial de $8 \to 4 \to 2 \to 1$ , enquanto aumentam a profundidade dos canais ( $1 \to 32 \to 64 \to 128$ ). A arquitetura é adaptada à geometria 8×8, utilizando convoluções $3\times3$ nos dois primeiros blocos e uma convolução $2\times2$ no terceiro para colapsar o mapa final de $2\times2$ para $1\times1$ .
- Cabeças (Heads): Uma camada de pooling de média global produz um embedding de 128 dimensões compartilhado por duas cabeças:
  - Cabeça de Classificação: Fornece probabilidades para três classes: "Sem Objeto", "Objeto" e "Objeto com Fogo".
  - Cabeça de Localização: Regride as coordenadas $(x, y)$ normalizadas da fonte de calor dominante, limitadas por uma ativação sigmoid para o intervalo $[0, 1]$ .
Objetivo de Treinamento: O modelo é treinado usando uma função de perda de múltiplas tarefas composta pela soma da perda de entropia cruzada (para classificação) e erro quadrático médio (para localização). O conjunto de dados de treinamento consiste em 12.000 quadros balanceados.
Implantação Embarcada: O modelo é otimizado para implantação em microcontroladores via quantização INT8 pós-treinamento e exportado para o TensorFlow Lite.

Principais Contribuições

Pipeline J-Filter: Um estágio de pré-processamento que permite a insensibilidade do modelo ao desvio de temperatura ambiente, mantendo as assinaturas espaciais necessárias para a localização.
JFilterLocalizationCNN: Uma CNN de duas cabeças projetada especificamente com aproximadamente 115.365 parâmetros que realiza classificação conjunta e regressão de coordenadas em uma única passagem (forward pass) sobre dados nativos de 8×8.
Caracterização de Tempo Real e Embarcada: Uma avaliação abrangente incluindo contagens de operações de Multiplicação-Acúmulo (MAC), medições de latência contra um orçamento de sensor de 10 Hz e implantação bem-sucedida em um microcontrolador Seeed XIAO ESP32-S3.
Validação Empírica: Testes extensivos em 12.000 quadros, generalização de dataset através de corpora térmicos externos (LINAIGE e MLX90640) e um estudo de ablação de doze casos isolando o impacto das escolhas de design.

Resultados

Desempenho Controlado: Em um conjunto de teste retido de 2.400 quadros, o modelo alcançou 99,75% de acurácia de classificação e um erro de localização absoluto médio de 0,39 pixel.
Eficiência: A inferência requer aproximadamente 1,5 milhão de operações MAC e leva 2,7 ms em uma CPU de desktop, bem dentro do orçamento de 100 ms de um sensor de 10 Hz.
Quantização: A quantização INT8 pós-treinamento reduziu o tamanho do modelo de 466 KB para 126 KB sem perda mensurável de acurácia ou precisão.
Implantação Embarcada: Em um sistema vivo com ESP32-S3 contendo 4.752 quadros do mundo real, o modelo TensorFlow Lite INT8 alcançou 81,52% de acurácia (macro-F1 = 0,82) e um erro de localização médio de 1,39 pixel. A classe "Objeto com Fogo" demonstrou alta robustez, com o erro de localização degradando apenas 0,03 pixels em comparação ao conjunto de teste controlado.
Generalização: A transferência zero-shot para um dataset de mesma resolução 8×8 (LINAIGE) rendeu 77% de acurácia, subindo para 96,4% após o ajuste fino (fine-tuning). A transferência para um dataset de maior resolução 32×24 (MLX90640) mostrou menor desempenho zero-shot (46%), mas recuperou-se para 81,8% com ajuste fino.
Achados de Ablação: O estudo confirmou que a subtração de fundo (J-filter) é o passo de pré-processamento mais crítico. O treinamento conjunto foi considerado essencial, pois um modelo apenas de classificação falhou em localizar com precisão, e um modelo apenas de localização falhou em classificar.

Significância
O artigo afirma que a percepção útil é alcançável em resoluções (8×8) que a maioria dos pipelines de visão descartaria. Ao demonstrar que a classificação e a localização conjuntas podem ser realizadas em tempo real em um microcontrolador usando dados térmicos que preservam a privacidade, este trabalho valida a viabilidade de implantar sistemas de monitoramento interno sensíveis (ex: para ocupação, detecção de queda ou aviso de incêndio) em hardware econômico sem comprometer a privacidade do usuário. Os autores enfatizam que seus resultados representam um "piso de implantação" prático para condições do mundo real, distinto do "teto de domínio" observado em conjuntos de dados controlados.

Mais como este