Evaluating an Adaptive Multispectral Turret System for Autonomous Tracking Across Variable Illumination Conditions

Resumo Técnico: Avaliação de um Sistema de Torre Multiespectral Adaptativo para Rastreamento Autônomo sob Condições de Iluminação Variáveis

Declaração do Problema
Plataformas robóticas autônomas estão sendo cada vez mais implantadas em setores críticos, como serviços de emergência e defesa, exigindo detecção de objetos confiável em tempo real através de condições ambientais imprevisíveis. Os pipelines tradicionais de detecção Red-Green-Blue (RGB) degradam-se significamente em ambientes de baixa luminosidade, enquanto sistemas térmicos de Onda Longa Infravermelha (LWIR), embora eficazes no escuro, carecem das informações de cor e textura fornecidas pelos sensores do espectro visível. As abordagens de fusão multimodal existentes frequentemente enfrentam um descompasso entre o desempenho de referência (benchmark) e a confiabilidade operacional no mundo real, particularmente em relação às compensações entre estratégias de fusão, eficiência computacional em plataformas embarcadas e adaptabilidade a mudanças dinâmicas de iluminação sem intervenção humana.

Metodologia
Os autores desenvolveram um framework adaptativo que funde fluxos de vídeo RGB e LWIR para melhorar o desempenho de rastreamento autônomo. A arquitetura do sistema consiste em um protótipo de torre baseado em Raspberry Pi 5 equipado com uma câmera RGB (Emeet S600), uma câmera térmica (FLIR Vue Pro R) e um sensor de luz ambiente (Adafruit VEML7700). O Pi encaminha os dados dos sensores para um servidor remoto para inferência computacionalmente intensiva, retornando as coordenadas de detecção para controlar os motores de passo de pan e tilt.

A metodologia experimental central envolveu:

1. Coleta de Dados: Fluxos de vídeo RGB e térmicos sincronizados foram gravados com objetos-alvo (canecas de cores variadas) em uma plataforma rotativa. Aproximadamente 22.000 imagens fundidas foram geradas e anotadas.
2. Categorização de Iluminação: As cenas foram classificadas em três categorias baseadas em leituras de lux: Luz plena (>1000 lux), Luz baixa (10–1000 lux) e Sem luz (<10 lux).
3. Estratégia de Fusão: Os quadros foram fundidos usando uma fórmula de mistura linear ($F = \alpha \cdot RGB_{norm} + (1 - \alpha) \cdot LWIR_{norm}$) através de 11 razões ($\alpha$ de 1.0 a 0.0 em incrementos de 0.1), variando de RGB puro a LWIR puro.
4. Treinamento do Modelo: Os autores realizaram o ajuste fino (fine-tuning) de 33 modelos distintos YOLOv11 nano (YOLOv11n). Cada modelo foi especializado para uma combinação específica de uma razão de fusão e uma categoria de iluminação. Dois modelos de linha de base pré-treinados (YOLOv5n e YOLOv11n treinados no COCO) foram utilizados para comparação.
5. Avaliação: O desempenho foi medido usando a confiança média de detecção através de seis cores de canecas (incluindo duas cores de teste não utilizadas no treino: azul-petróleo e amarelo). Uma pontuação composta foi calculada para equilibrar a confiança média contra o desvio padrão (variabilidade) para identificar os modelos mais robustos.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Abordagem de Fusão Prática: Um método para misturar imagens RGB e LWIR alinhadas em níveis variados de opacidade para melhorar a visibilidade do alvo em diversas condições de iluminação.
2. Treinamento de Modelos Especializados: O treinamento e avaliação de 33 modelos YOLO para identificar configurações de fusão ideais para regimes de iluminação específicos, utilizando um conjunto de dados de mais de 22.000 imagens anotadas que os autores disponibilizaram em código aberto.
3. Framework Adaptativo: A implementação de um sistema de tempo de execução que seleciona dinamicamente o modelo de detecção ideal com base nas leituras de iluminação ambiente, permitindo que a torre alterne entre modelos específicos de iluminação sem intervenção manual.

Resultos
A avaliação demonstrou que a fusão adaptativa RGB–LWIR superou significativamente as linhas de base de modalidade única (YOLOv5n e YOLOv11n) em todas as condições:

• Luz Plena: A configuração ideal foi 80% RGB / 20% LWIR, alcançando uma confiança média de 92,8%. Isso superou significativamente a linha de base YOLOv11n (82,6%) e a YOLOv5n (71,5%).
• Luz Baixa: A configuração 90% RGB / 10% LWIR rendeu o maior desempenho com 92,0% de confiança média, superando as linhas de base YOLOv11n (72,4%) e YOLOv5n (69,5%).
• Sem Luz: O desempenho atingiu o pico em níveis de fusão intermediários. O modelo 40% RGB / 60% LWIR alcançou 71,0% de confiança. Embora a razão 50/50 tenha mostrado uma confiança média ligeiramente superior, a razão 40/60 foi selecionada como ideal devido à variabilidade significativamente menor (pontuação composta mais alta). Ambos os modelos de fusão superaram as linhas de base (YOLOv11n: 54,1%; YOLOv5n: 38,4%), embora a significância estatística fosse menor do que nas condições iluminadas.
• Generalização: O sistema manteve alta confiança em cores de canecas não utilizadas no treino (azul-petróleo e amarelo), indicando que os comportamentos de fusão aprendidos se generalizaram além do conjunto de treinamento.

Significância e Alegações
Os autores alegam que seu trabalho demonstra a superioridade da fusão adaptativa, ciente da iluminação, sobre estratégias de fusão fixa ou detecção de modalidade única. Ao selecionar dinamicamente a razão de fusão ideal e o modelo correspondente especializado com base nas leituras de lux em tempo real, o sistema alcança até um ganho absoluto de 30% na confiança média de detecção em comparação com os modelos de linha de base YOLO.

O artigo enfatiza que uma razão de fusão única e fixa é subótima para ambientes variáveis. Em vez disso, a abordagem proposta de treinar modelos específicos para cada condição permite que o sistema aproveite os pontos fortes do RGB (textura, cor) em condições de luz, e do LWIR (assinaturas térmicas) no escuro, utilizando misturas intermediárias para estabilizar a detecção quando uma modalidade está degradada. Os autores observam que esta abordagem simplifica a implantação em sistemas embarcados ao depender de uma única leitura de sensor para a troca de modelo, em vez de uma reponderação de características online complexa e computacionalmente cara. Os resultados sugerem que este framework é diretamente aplicável a tarefas de missão crítica, como torres de segurança autônomas, robótica móvel e operações de busca e salvamento, onde as condições de iluminação podem mudar abruptamente.

Limitações
Os autores reconhecem diversas limitações, incluindo um deslocamento de domínio entre treino e teste (train-test domain shift), onde imagens estáticas de treinamento foram testadas contra movimento dinâmico, potencial ruído de rótulo devido à anotação manual e o uso de uma paleta de cores térmicas fixa única. Eles também observam que o ruído do sensor e reflexos térmicos ocasionalmente causaram falsos positivos. Trabalhos futuros são propostos para abordar estes pontos através da expansão da diversidade do conjunto de dados, aplicação de aumento de dados (data augmentation) e exploração de arquiteturas de raciocínio temporal.