Adding Thermal Awareness to Visual Systems in Real-Time via Distilled Diffusion Models

Resumo Técnico: FusionProxy

Declaração do Problema
Sistemas de visão baseados puramente em RGB têm dificuldade em condições ambientais desafiadoras, como noite, neblina e ofuscamento, levando a desempenho degradado e riscos de segurança. Embora a imagem infravermelha (térmica) forneça informações complementares críticas ao capturar fontes emissoras de calor, os métodos de fusão de alta fidelidade existentes são impraticáveis para implantação em tempo real na borda. Modelos de fusão baseados em difusão de última geração (por exemplo, DDFM, Mask-DiFuser) produzem qualidade superior, mas sofrem de latência proibitiva devido à amostragem iterativa, frequentemente exigindo vários segundos por quadro. Por outro lado, métodos em tempo real (por exemplo, TarDAL) sacrificam demasiada qualidade de fusão para serem eficazes. Além disso, sensores ativos como LiDAR e radar enfrentam limitações de escalabilidade quanto a interferência e custo. O desafio central é alcançar qualidade de fusão ao nível de difusão com a velocidade de inferência necessária para hardware comercial, garantindo simultaneamente que a saída permaneça compatível com modelos de percepção pré-treinados em RGB existentes e congelados, sem necessidade de retreinamento.

Metodologia: FusionProxy
Os autores propõem o FusionProxy, um módulo de fusão de imagens plug-and-play e em tempo real que destila um ensemble de professores de difusão em uma rede estudante leve e determinística. O framework opera em três etapas principais:

1. Ensemble de Professores de Difusão: Em vez de confiar em um único professor, o método constrói um ensemble usando dois modelos de fusão por difusão pré-treinados com distribuições de treinamento complementares: DDFM (treinado em pares IR-VIS para modelagem térmica fundamentada no domínio) e Mask-DiFuser (treinado em imagens naturais para priores amplos e fidelidade de textura). Para cada par de entrada, $N$ amostras são extraídas de cada professor para formar um ensemble.
2. Função de Perda de Destilação de Duplo Sinal: A rede estudante é treinada para aproximar a média do ensemble usando duas estatísticas complementares derivadas das amostras do professor:
   • Supervisão de Pixel Ponderada por Incerteza: A variância por pixel do ensemble de professores no espaço de imagem bruta é usada para ponderar a supervisão em nível de pixel. Pixels onde o ensemble de professores concorda (baixa variância) recebem peso maior, enquanto regiões ambíguas (alta variância) são ponderadas para baixo para impedir que o estudante aprenda ruído do professor.
   • Alinhamento Multi-Fundação Adaptativo Espacialmente: Para garantir compatibilidade com diversos modelos a jusante, o estudante é alinhado contra um painel de backbones de fundação congelados (VGG-16, DINOv2, CLIP, SAM). A variância de características por pixel entre as amostras do professor para cada backbone serve como um sinal de roteamento. Isso permite que o sistema pondere dinamicamente a contribuição de diferentes backbones com base em sua informatividade local (por exemplo, SAM para limites, CLIP para semântica) em cada localização de pixel.
   • Consistência Estrutural: Uma perda baseada em SSIM é adicionada para preservar detalhes de alta frequência que poderiam ser suavizados pela média no espaço de pixels.
3. Arquitetura do Estudante e Robustez: O estudante é uma rede leve, determinística e de passagem única (padronizando em um U-Net baseado em ConvNeXt V2) que processa entradas IR e VIS através de codificadores duplos. Para lidar com desalinhamento de sensores do mundo real, o processo de treinamento injeta perturbações afins aleatórias (translação e rotação) na entrada IR enquanto supervisiona contra o ensemble de professores alinhado, forçando o estudante a aprender implicitamente a compensação sem adicionar custo de inferência.

Principais Contribuições

• Fusão de Qualidade de Difusão em Tempo Real: O FusionProxy é o primeiro método a alcançar qualidade de fusão ao nível de difusão sob restrições estritas de tempo real (≥30 FPS) em hardware comercial (por exemplo, RTX 4070, RTX 3060, Apple M3), preenchendo a lacuna entre modelos de difusão de alta fidelidade e sistemas de percepção implantáveis.
• Framework de Destilação de Duplo Sinal: O artigo introduz uma função de perda de destilação inovadora que utiliza um único conjunto de passagens forward de professores em cache para impulsionar tanto a supervisão de pixel ponderada por incerteza quanto o alinhamento multi-fundação adaptativo espacialmente. Isso garante que a saída fusionada seja robusta e compatível com modelos a jusante heterogêneos e congelados.
• Implantação Plug-and-Play: O método é projetado como um módulo totalmente independente. Uma vez treinado, pode ser integrado a qualquer sistema de percepção visual (detecção, segmentação ou direção em malha fechada) como um substituto direto para a entrada da câmera visível, não exigindo retreinamento ou ajuste fino dos modelos a jusante.

Resultados Experimentais
Extensos experimentos validam a eficácia do FusionProxy em múltiplas dimensões:

• Qualidade de Fusão: No benchmark MSRS, o FusionProxy alcança um mIoU de 65,4, que está dentro de 0,5 pontos da melhor linha de base não em tempo real (Mask-DiFuser em 65,9), mas roda aproximadamente 103 vezes mais rápido. Alcança as segundas melhores pontuações de IQA aprendida (MUSIQ, CLIP-IQA) na tabela, ficando atrás apenas do ControlFusion não em tempo real.
• Desempenho a Jusante: Quando integrado a modelos congelados sem modificação, a saída fusionada aumenta significativamente o desempenho. Para detecção YOLOv8, o mAP aumentou em +17,0; para segmentação SegFormer-B2, o mIoU aumentou em +16,3.
• Direção em Malha Fechada: Nas simulações CARLA sob visibilidade degradada (neblina densa, ofuscamento noturno), a integração do FusionProxy em uma política de direção CILRS congelada aumentou a taxa de sucesso de 52,4% para 86,5% e reduziu o risco de colisão de 32,0 para 3,5.
• Velocidade de Inferência: O FusionProxy alcança inferência em tempo real (84 FPS em RTX 4070, 47,7 FPS em RTX 3060, 37,8 FPS em Apple M3 na resolução 480×640), superando todos os outros métodos derivados de difusão, que são ou não em tempo real ou significativamente mais lentos.

Significado e Alegações
O artigo afirma que o FusionProxy fornece uma solução flexível e generalizável para "percepção o dia todo", adicionando consciência térmica a pilhas visuais existentes baseadas em RGB sem a necessidade de hardware especializado ou retreinamento do sistema. Ao desacoplar a arquitetura do estudante da pesada rede de remoção de ruído do professor, o método permite que backbones leves herdem qualidade de fusão ao nível de difusão. Os autores enfatizam que essa abordagem resolve os problemas de escalabilidade e latência dos métodos de fusão atuais, tornando a integração térmica de alta fidelidade prática para aplicações reais de direção autônoma e vigilância. O artigo nota modestamente uma limitação: como o estudante é determinístico, ele não retém a diversidade generativa do ensemble de professores, o que significa que pode não ser adequado para aplicações que exigem múltiplas saídas de fusão plausíveis para raciocínio consciente de incerteza.