💻 ciência da computação

Lightweight Real-Time RGB-IR Pedestrian Detection Based on DoG Detail Enhancement and Region-Guided Attention

Este artigo propõe o DRGF-YOLOv10n, um método de detecção de pedestres RGB-IR em tempo real e leve que integra um DualBranchStem com realce de detalhes DoG e Atenção Espacial Guiada por Região para melhorar a precisão e a robustez em ambientes complexos, mantendo uma alta velocidade de inferência.

Autores originais: LinXi Zhong, Zhaohui Xiao

Publicado 2026-10-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: LinXi Zhong, Zhaohui Xiao

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da visão computacional, as máquinas estão constantemente aprendendo a enxergar, mas frequentemente lutam com as mesmas limitações que assolam os olhos humanos em condições difíceis. Uma câmera que depende exclusivamente da luz visível, o tipo que usamos todos os dias, pode ser facilmente confundida pela escuridão, chuva forte ou um brilho ofuscante, fazendo com que ela perca pessoas paradas nas sombras. Por outro lado, câmeras que detectam calor, conhecidas como sensores infravermelhos, podem identificar um corpo quente no breu total, mas muitas vezes falham em mostrar como esse corpo se parece, renderizando-o como um borrão sem textura. Para resolver isso, pesquisadores há muito tentam combinar esses dois tipos de visão, esperando fundir os detalhes nítidos de uma foto padrão com o poder de detecção de calor de uma câmera térmica. O desafio reside em ensinar um computador a misturar esses dois fluxos de informações muito diferentes sem perder as forças específicas de cada um, tudo isso mantendo o sistema rápido o suficiente para rodar em tempo real em um laptop ou em uma câmera de segurança.

Uma equipe de pesquisadores da Universidade de Tecnologia de Chongqing desenvolveu uma nova abordagem para este problema, criando um sistema projetado para detectar pedestres com alta confiabilidade, mesmo em ambientes desordenados e complexos. Seu método, construído sobre uma estrutura de detecção leve, trata a imagem de luz visível e a imagem de calor como dois fluxos de informação separados desde o início, em vez de esmagá-los juntos imediatamente. Eles descobriram que, ao manter essas duas visões distintas para o processamento inicial, o computador pode entender melhor a textura e as bordas de uma pessoa a partir da luz visível enquanto, simultaneamente, rastreia sua assinatura de calor. Essa estratégia de fluxo duplo evita que o sistema se confunda com as diferenças entre os dois tipos de imagens, permitindo que ele construa uma imagem muito mais clara de quem está na cena.

Para tornar a imagem de luz visível ainda mais útil, os pesquisadores adicionaram uma etapa específica antes mesmo de o computador iniciar sua análise principal. Eles aplicaram uma técnica que atua como um filtro de nitidez, especificamente projetada para destacar os contornos e as bordas de objetos. Esse processo faz com que os detalhes finos das roupas de uma pessoa ou a curva de um ombro se destaquem mais claramente contra um fundo poluído, compensando o fato de que a câmera de calor muitas vezes carece desses detalhes finos. Ao alimentar o sistema com essa imagem aprimorada e mais nítida junto aos dados brutos de calor, o computador ganha um conjunto mais rico de pistas para trabalhar, tornando mais fácil distinguir uma pessoa real de um trecho confuso de ruído de fundo.

O sistema também inclui um mecanismo de foco inteligente que entra em ação após o computador ter processado as imagens até certa profundidade. Em vez de tentar prestar atenção a cada parte da imagem igualmente, o que desperdiçaria poder de computação, este mecanismo aprende a ignorar detalhes irrelevantes do fundo, como árvores, cercas ou sombras. Ele concentra sua energia especificamente nas áreas onde é provável que haja uma pessoa, efetivamente aumentando o volume do pedestre e diminuindo o volume do resto do mundo. Essa atenção seletiva ajuda o sistema a evitar alarmes falsos, garantindo que, quando ele sinaliza uma detecção, esteja altamente confiante de que realmente há uma pessoa ali.

Quando testado em um conjunto de dados padrão contendo imagens pareadas de luz visível e infravermelho de pedestres, o novo sistema mostrou uma melhoria significativa na precisão em comparação com métodos anteriores. Ele alcançou uma pontuação de precisão de 0,9204, o que significa que, quando o sistema dizia que via uma pessoa, ele estava correto mais de 92 por cento das vezes. Embora o sistema tenha perdido alguns alvos distantes ou muito pequenos, resultando em uma taxa menor de captura de todas as pessoas, sua capacidade de evitar alarmes falsos foi seu ponto mais forte. Os pesquisadores observaram que o sistema roda a uma velocidade de aproximadamente 31 quadros por segundo em uma placa de vídeo de um laptop padrão, o que é rápido o suficiente para monitoramento de vídeo em tempo real.

Os autores sugerem que esta ferramenta não é necessariamente destinada a ser a primeira linha de defesa em um sistema de segurança, mas sim uma segunda opinião altamente confiável. Em uma configuração típica de vigilância, um primeiro detector pode escanear um feed de vídeo e sinalizar muitos alvos potenciais para garantir que nada seja perdido, mesmo que sinalize alguns objetos inofensivos por engano. Este novo sistema atuaria então como uma etapa de verificação, reexaminando essas áreas sinalizadas com seu realce de bordas e atenção focada para confirmar quais delas são realmente pessoas. Essa abordagem de dois estágios permite que os sistemas de segurança mantenham altos padrões de segurança sem serem sobrecarregados por alertas incorretos e constantes, tornando-o particularmente valioso para o monitoramento noturno ou para áreas onde os alarmes falsos são caros e disruptivos.

Resumo Técnico: Detecção de Pedestres RGB-IR Leve em Tempo Real Baseada em Reforço de Detalhes DoG e Atenção Guiada por Região

Definição do Problema
A detecção de pedestres é crítica para a vigilância inteligente e a condução autônoma, mas enfrenta desafios significativos em ambientes complexos. A detecção de um único modo RGB sofre com baixa iluminação, retroiluminação e fundos poluídos, enquanto a detecção de um único modo Infravermelho (IR) carece de detalhes de textura e limites semânticos, apesar de suas vantagens de saliência térmica. As abordagens de fusão multimodal existentes frequentemente dependem de arquiteturas pesadas ou concatenação simples de canais, que podem falhar em preservar características específicas de cada modalidade ou em atender aos requisitos de inferência em tempo real. Além disso, os mecanismos de atenção padrão podem ser computacionalmente caros ou podem inadvertidamente suprimir detalhes locais úteis quando aplicados muito cedo na rede.

Metodologia
O artigo propõe o DRGF-YOLOv10n, um framework de detecção de pedestres leve e em tempo real construído sobre a arquitetura YOLOv10n. O método integra três componentes principais para abordar as limitações da detecção de modo único e das estratégias de fusão complexas:

Estrutura de Entrada DualBranchStem:
Em vez de concatenar canais RGB e IR em uma única entrada de seis canais para convolução padrão, os autores introduzem um DualBranchStem. Este módulo processa imagens RGB e IR através de ramos paralelos distintos no estágio inicial. O ramo RGB extrai características de textura, borda e contorno, enquanto o ramo IR extrai informações de saliência térmica. Essas características são fundidas apenas após a extração inicial, preservando as características distintas de cada modalidade antes de combiná-las para a rede de backbone.
Reforço de Detalhes DoG (Pré-processamento):
Para compensar a textura e os detalhes de limite limitados nas imagens IR e para fortalecer a percepção do ramo RGB de alvos fracos, uma operação de Diferença de Gaussianas (DoG) é aplicada durante a etapa de pré-processamento de dados RGB.
- A operação é formulada como um reforço residual: $I_{rgb\_dog} = I_{rgb} + \alpha \cdot (G_{\sigma1}(I_{rgb}) - G_{\sigma2}(I_{rgb}))$ , onde $\alpha = 0,025$ .
- Este passo destaca bordas de alta frequência e variações estruturais locais sem alterar as características de saliência térmica da entrada IR. É aplicado como um passo de pré-processamento fixo, não como uma camada aprendível dentro da rede.
Atenção Espacial Guiada por Região (RG-SA):
Um módulo de Atenção Espacial Guiada por Região (RG-SA) leve é incorporado à oitava camada do backbone do YOLOv10n (um estágio semântico profundo).
- Mecanismo: O módulo utiliza um Módulo de Guia de Região (RGM) para comprimir as características de entrada em características regionais de baixa resolução ( $X_r$ ). Ele então gera Query ( $Q$ ) a partir das características originais de alta resolução e Key/Value ( $K, V$ ) a partir das características regionais.
- Racional: Ao utilizar características regionais de baixa resolução para $K$ e $V$ , o módulo reduz a complexidade computacional em comparação com a autoatenção global. Posicionar o módulo na camada profunda garante que o mecanismo de atenção opere em informações semânticas ricas em vez de ruído de textura raso, fortalecendo efetivamente as regiões relacionadas a pedestres enquanto suprime a interferência do fundo.

Principais Contribuições
Os autores resumem suas contribuições da seguinte forma:

DualBranchStem: Uma estrutura de entrada de ramos duplos que extrai separadamente a textura-borda RGB e a saliência térmica IR, mitigando as limitações da detecção de modo único e evitando as armadilhas da mistura superficial precoce.
Integração RG-SA: A incorporação de um mecanismo de atenção guiada por região leve no ramo RGB profundo para reforçar as respostas da região do pedestre e suprimir a interferência do fundo.
Reforço de Detalhes DoG: A introdução de uma estratégia de pré-processamento baseada em DoG para o ramo RGB para reforçar bordas locais e detalhes de contorno, abordando a degradação de detalhes causada por fundos complexos.

Resultados Experimentais
Experimentos foram conduzidos no conjunto de dados de pedestres RGB-IR CVC-14 usando uma GPU NVIDIA RTX 5060 Laptop.

Desempenho: O DRGF-YOLOv10n proposto alcançou uma Precisão de 0,9204, Recall de 0,1912, mAP50 de 0,5231 e mAP50-95 de 0,2361.
Comparações: O modelo superou os baselines de modo único (apenas RGB e apenas IR) e um baseline simples de concatenação de seis canais. Também demonstrou Precisão e mAP superiores em comparação com outras estratégias de fusão, como CBAM-6ch e SE-6ch Fusion, apesar de possuir um tamanho de modelo menor (32,01 MB).
Eficiência: O modelo mantém o desempenho em tempo real com 2,894M de parâmetros, 1,908 GFLOPs e uma latência de inferência de 31,47 ms (aprox. 31,78 FPS), satisfazendo o requisito de 25–30 FPS para vigilância de vídeo.
Ablação: Observou-se que a remoção de aumentos de dados fortes (ex: Mosaic, MixUp) foi crucial, pois eles poderiam amplificar texturas de fundo locais e neutralizar os benefícios do reforço DoG.

Significância e Posicionamento
O artigo posiciona explicitamente o DRGF-YOLOv10n não como um detector de alto recall independente para todo o pipeline de detecção, mas como um módulo de verificação de alta confiança pós-estágio para sistemas de vigilância sensíveis a alarmes falsos.

Alta Precisão, Baixo Recall: O modelo exibe alta precisão, mas baixo recall, indicando uma tendência de emitir apenas alvos de alta confiança. Essa característica é aproveitada para filtrar falsos positivos gerados por um detector de estágio frontal (que utiliza um limiar mais baixo para garantir alto recall).
Cenário de Aplicação: Os autores sugerem uma implantação em cascata onde um detector de estágio frontal identifica regiões candidatas, e o DRGF-YOLOv10n realiza a verificação secundária para filtrar alarmes falsos causados por sombras, fontes de calor ou objetos não humanos. Esta abordagem é particularmente adequada para cenários onde os alarmes falsos são custosos, como detecção de intrusão em parques industriais, monitoramento de armazéns noturnos e segurança perimetral.
Perspectiva Futura: Os autores reconhecem que o modelo ainda tem dificuldades com alvos distantes, de pequena escala ou fortemente ocluídos. Trabalhos futuros podem focar em melhorar o recall através de um melhor alinhamento cross-modal e estratégias de fusão dinâmica, mas a contribuição atual é estruturada como uma solução robusta para refinar a confiabilidade da detecção em ambientes complexos e em tempo real.

Mais como este