Resumo Técnico: InfraNet: Orientação RGB com Sensibilidade à Qualidade para Detecção de Objetos em Infravermelho Eficiente

1. Definição do Problema

A detecção robusta de objetos sob condições visuais adversas (ex: baixa luminosidade, brilho excessivo, névoa) continua sendo um desafio significativo para sistemas de percepção multimodal. Embora a detecção por infravermelho (IR) ofereça robustez ao capturar radiação térmica independente da luz ambiente, os métodos de fusão existentes tipicamente tratam as modalidades RGB e IR de forma igual tanto durante o treinamento quanto na inferência. Essa suposição de "tratamento igualitário" ignora uma falha crítica: a não confiabilidade da modalidade RGB em condições degradadas.

Quando as imagens RGB estão severamente degradadas (ex: tornando-se escuras ou ruidosas), a fusão indiscriminada com características de IR confiáveis pode introduzir informações irrelevantes ou prejudiciais, levando a uma "transferência negativa" que compromete a precisão geral da detecção. Além disso, a maioria dos métodos de fusão de estado da arte (SOTA) exige entrada dual-modal durante a inferência, tornando-os impraticáveis quando os sensores RGB estão indisponíveis ou corrompidos. Há uma necessidade de um framework que utilize o RGB como um sinal de orientação durante o treinamento para aprimorar o aprendizado de IR, mas que permita uma implantação eficiente e de alta precisão apenas com IR.

2. Metodologia

Framework Central: InfraNet

Os autores propõem o InfraNet, um framework centrado em IR e sensível à qualidade, projetado para regular a orientação RGB durante o treinamento, permitindo uma implantação flexível nos modos RGB–IR ou apenas IR. O InfraNet emprega uma arquitetura assimétrica composta por:

1. Via Primária de IR: Extrai características de infravermelho multiescala para as predições.
2. Via Auxiliar de RGB: Fornece sinais de supervisão controlados por confiabilidade durante o treinamento.

Componente Chave: QualGate

A inovação central do InfraNet é o QualGate, um módulo de fusão sensível à qualidade implantado em múltiplas escalas dentro da rede. O QualGate aprende um sinal de controle orientado à tarefa para regular dinamicamente as interações cross-modais. Sua operação envolve dois mecanismos paralelos:

• Pontuação de Controle de Confiabilidade ($q$): Uma pontuação escalar $q \in (0, 1)$ é prevista a partir das características auxiliares de RGB ($A_{in}$) usando um MLP leve. Esta pontuação é otimizada para o objetivo de detecção, em vez de servir como uma métrica de qualidade de imagem artesanal.
• Portão de Supressão de RGB: A contribuição auxiliar é ponderada por $w_{rgb}(q) = q$. Quando a qualidade do RGB é baixa (baixo $q$), a orientação RGB é reduzida para evitar a injeção de ruído.
• Portão de Amplificação de IR: Simultaneamente, um ganho de confiabilidade inverso $\alpha(q)$ é aplicado ao fluxo de IR. Definido como $\alpha(q) = \text{clip}(1.5 - q; 1.0, 1.5)$, este mecanismo aumenta a contribuição das características de IR quando a orientação de RGB é fraca, garantindo que a representação de IR permaneça robusta.
• Fusão: A saída final $A_{out}$ é uma fusão do termo auxiliar suprimido e da injeção de IR amplificada:
  $$A_{out} = w_{rgb}(q) \cdot A_{in} + \sum_{k=1}^{K} \alpha(q) \cdot g_k \cdot F_k$$
  onde $F_k$ representa as características de IR alinhadas e $g_k$ é um portão de conteúdo.

Variantes Arquiteturais

Com base no InfraNet, duas arquiteturas específicas foram projetadas:

1. InfraNet-IR: Uma rede de via única leve, otimizada para eficiência computacional. Ela é treinada com entradas pareadas RGB–IR (usando o RGB como supervisão auxiliar privilegiada), mas é implantada com inferência apenas de IR. O ramo RGB e todos os módulos de fusão são removidos no momento do teste, resultando em zero sobrecarga adicional.
2. InfraNet-RGB-IR: Uma estrutura de dois ramos com maior capacidade que processa entradas RGB e IR durante o treinamento e a inferência, utilizando o QualGate para fusão cross-modal controlada por confiabilidade.

Estratégia de Treinamento

O framework utiliza uma função de perda assimétrica:
$$\mathcal{L} = \mathcal{L}^{(\text{main})}_{\text{det}} + w_{\text{aux}} \mathcal{L}^{(\text{aux})}_{\text{det}}$$
onde o peso da perda auxiliar $w_{\text{aux}}$ é definido como 0,25. Isso garante que a otimização seja dominada pela via de infravermelho, enquanto o ramo auxiliar fornece orientação adaptativa para aprimorar as representações de IR.

3. Principais Contribuições

• Framework InfraNet: Um framework de detecção de objetos em infravermelho orientado por RGB e sensível à qualidade, que trata o RGB como um sinal auxiliar controlado por confiabilidade durante o treinamento, permitindo a implantação flexível apenas com IR.
• Módulo QualGate: Um novo mecanismo de fusão que aprende um sinal de controle orientado à tarefa para suprimir a orientação RGB não confiável e compensar as características de IR, mitigando o risco de transferência negativa de dados RGB degradados.
• Implantação Dual-Modo: O design de duas variantes (InfraNet-IR e InfraNet-RGB-IR) que alcançam desempenho competitivo tanto em inferência de via única eficiente quanto em fusão dual-modal de alta capacidade.

4. Resultados Experimentais

O método foi avaliado em quatro conjuntos de dados de referência: LLVIP, FLIR-Aligned, M3FD e DroneVehicle.

• Desempenho: O InfraNet alcançou uma precisão forte ou competitiva em todos os conjuntos de dados.
  • No LLVIP, a variante RGB–IR (YOLOv8) alcançou 70,5% de mAP, superando o SOTA WaveMamba (66,0%). A variante apenas de IR alcançou 68,8% de mAP sem sobrecarga de inferência.
  • No FLIR-Aligned, a variante apenas de IR (ResNet50) alcançou um tempo de inferência de 9,4ms com 53,0% de mAP, sendo significativamente mais rápida que os competidores dual-modais enquanto mantém uma precisão competitiva.
  • No DroneVehicle, a variante apenas de IR do YOLOv12 alcançou 84,7% de mAP50, superando o WaveMamba em um ganho absoluto de +4,9%, com melhorias notáveis na detecção de objetos pequenos (ex: Carros, Ônibus).
  • No M3FD, o método demonstrou robustez nos subconjuntos de noite e desafios, onde a visibilidade do RGB é severamente comprometida.
• Eficiência: O InfraNet-IR mantém alta eficiência na inferência apenas de IR, removendo completamente o ramo RGB e os módulos de fusão durante a implantação.
• Estudos de Ablação: Experimentos confirmaram que ambos os ramos de supressão de RGB e amplificação de IR do QualGate são necessários; remover qualquer um deles leva a quedas de desempenho. Foi demonstrado que a pontuação de controle $q$ aprendida se adapta efetivamente a degradações controladas de RGB (névoa, brilho) sem anotações de qualidade explícitas.

5. Significância e Alegações

O artigo afirma que o InfraNet aborda o problema de longa data da não confiabilidade do RGB em condições adversas ao mudar o paradigma de "fusão igualitária" para "orientação sensível à qualidade centrada em IR".

• Robustez: Ao suprimir pistas de RGB não confiáveis e amplificar as características de IR, o método evita a contaminação das representações de IR, levando a uma detecção mais estável em baixa luminosidade e condições climáticas adversas.
• Flexibilidade de Implantação: Diferente dos métodos de fusão existentes que exigem entrada dual-modal na inferência, o InfraNet-IR oferece uma solução prática para cenários onde os sensores RGB estão indisponíveis ou corrompidos, alcançando alta precisão sem o custo computacional de manter uma arquitetura de dois fluxos em tempo de execução.
• Eficiência: O framework demonstra que a supervisão auxiliar durante o treinamento pode aumentar significativamente o desempenho apenas de IR sem incorrer em sobrecarga de implantação, tornando-o adequado para aplicações de recursos limitados, como direção autônoma e vigilância por UAV.