Resumo Técnico: UNIV – Modelo Fundamental Unificado para Modalidades Infravermelha e Visível

1. Declaração do Problema

Avanços recentes em modelos fundamentais produziram resultados impressionantes em tarefas de modalidade única para os domínios visível (RGB) e infravermelho (IV). No entanto, persiste uma significativa "lacuna de domínio cruzado" ao aplicar esses modelos entre modalidades. Os autores identificam a causa raiz como um atalho de padrão: modelos treinados em uma única modalidade tendem a depender de pistas superficiais específicas do sensor (por exemplo, cor e brilho em RGB, ou intensidade térmica em IV) em vez de estruturas semânticas subjacentes.

Consequentemente, quando um modelo treinado em IV é aplicado a dados RGB, ele frequentemente localiza erroneamente a atenção com base em pistas de brilho, e vice-versa. Abordagens existentes carecem de um codificador unificado capaz de produzir características semanticamente consistentes para ambas as modalidades, limitando a generalização em configurações diversas de percepção (apenas RGB, apenas IV ou cenários conjuntos RGB-IV).

2. Metodologia

O artigo propõe o UNIV, um modelo fundamental unificado projetado para preencher a lacuna entre as modalidades infravermelha e visível. O núcleo do UNIV é uma estratégia auto-supervisionada chamada Aprendizado Contrastivo Cruzado de Patches (PCCL).

2.1. Arquitetura Central

O UNIV utiliza um codificador treinável ($E_{train}$) e um codificador RGB pré-treinado congelado ($E_{frozen}$) inicializado a partir de um modelo pré-treinado no ImageNet (especificamente MCMAE).

• Entrada: Pares de imagens visíveis RGB e infravermelhas.
• Extração de Características: O codificador treinável extrai características ($F^V$ para visível, $F^I$ para infravermelho) para ambas as modalidades.
• Objetivo: Aprender um espaço de características unificado onde características da mesma classe semântica se agrupem entre modalidades, enquanto características de classes diferentes sejam afastadas.

2.2. Âncoras de Patch Guiadas por Atenção

Para orientar a aprendizagem sem rótulos de verdade absoluta, o UNIV aproveita os priores semânticos codificados no codificador RGB congelado ($E_{frozen}$).

• Geração de Pseudo-rótulos: O mapa de atenção da última camada de $E_{frozen}$ aplicado à modalidade visível é usado para determinar a similaridade semântica entre patches de imagem.
• Mascaramento Binário: Este mapa de atenção é convertido em uma matriz de pseudo-rótulos binários ($M^A$) usando três regras:
  1. Auto-similaridade: Elementos diagonais são definidos como 1.
  2. Seleção por Correlação: Para cada patch, os $m$ patches mais correlacionados (com base nas pontuações de atenção) são marcados como positivos (1) até que um limiar cumulativo $\gamma$ seja atingido.
  3. Supressão de Dissimilaridade: Todas as outras entradas são definidas como 0.
• Âncoras: As características do codificador congelado servem como âncoras semânticas ($F^A$) contra as quais as saídas do codificador treinável são alinhadas.

2.3. Aprendizado Contrastivo Cruzado de Patches (PCCL)

A estratégia de otimização alinha as representações do codificador treinável com as âncoras semânticas definidas por $M^A$.

• Objetivo: O modelo minimiza a dissimilaridade entre pares negativos (classes diferentes) e maximiza a similaridade entre pares positivos (mesma classe) entre modalidades.
• Função de Perda: Os autores formulam a perda como uma Perda de Entropia Cruzada Binária (BCE) entre a matriz de pseudo-rótulos $M^A$ e o sigmoid da matriz de similaridade derivada das características treináveis.
  • $L_{IA}$: Alinha características Infravermelhas às âncoras.
  • $L_{VA}$: Alinha características Visíveis às âncoras (para evitar o esquecimento catastrófico do desempenho em RGB).
  • Perda Total: $L_{PCCL} = \alpha \cdot L_{IA} + \beta \cdot L_{VA}$.
• Mecanismo: Este processo aproxima patches semanticamente relevantes entre modalidades e afasta os não relacionados, reconstituindo efetivamente um espaço de características unificado que prioriza a estrutura semântica em vez de padrões específicos do sensor.

2.4. Conjunto de Dados MVIP

Para apoiar esta aprendizagem cruzada de modalidades, os autores introduzem o MVIP (Pares Visível-Infravermelho Multi-cenário), um benchmark abrangente contendo 98.992 pares de imagens precisamente alinhados.

• Fontes: Curado a partir de cinco conjuntos de dados públicos: FLIR-Align, KAIST, DroneVehicle, LLVIP e LasHeR.
• Cobertura: Cenários diversos incluindo condução urbana, vigilância e vistas aéreas de drones, cobrindo condições diurnas e noturnas.

3. Contribuições Principais

1. Aprendizado Contrastivo Cruzado de Patches (PCCL): Um método auto-supervisionado que reduz adaptativamente a lacuna de características cruzadas de modalidades, ao mesmo tempo que aprimora a discriminabilidade interclasse, utilizando pseudo-rótulos guiados por atenção.
2. Conjunto de Dados MVIP: O maior benchmark visível-infravermelho até a data, fornecendo uma base sólida para pesquisas robustas de modalidade cruzada com quase 100 mil pares alinhados.
3. Desempenho de Última Geração: O UNIV alcança resultados superiores em tarefas de infravermelho, mantendo precisão competitiva em tarefas RGB.

4. Resultados Experimentais

Experimentos extensivos foram conduzidos em tarefas de segmentação semântica e detecção de objetos.

4.1. Segmentação Semântica em Infravermelho (MSRS-IR)

• Desempenho: O UNIV (variante LoRA) alcançou 76,0 mIoU, superando o estado da arte anterior (InfMAE) em +1,7 mIoU.
• Eficiência: Esta melhoria foi alcançada atualizando apenas 1,8M parâmetros (aproximadamente 2% do total de 88,7M parâmetros) via LoRA.
• Pré-treinamento Completo: A variante de parâmetros completos alcançou 76,6 mIoU.

4.2. Detecção de Objetos em Infravermelho (M3FD-IR)

• Desempenho: O UNIV (LoRA) alcançou 56,9 mAP e 88,7 AP50, superando o InfMAE em +0,7 mAP.
• Observação: Os autores notam que o pré-treinamento com parâmetros completos produziu resultados de detecção ligeiramente subótimos em comparação com o LoRA, atribuindo isso à superotimização da similaridade de patches às custas da riqueza semântica dentro de patches individuais, o que é crítico para a detecção.

4.3. Tarefas Descendentes em RGB

• Preservação do Desempenho em RGB: O UNIV manteve desempenho competitivo em tarefas RGB, alcançando 79,0 mIoU no MSRS-RGB (igualando a linha de base) e 51,2 mIoU no ADE20K (retendo 99% da capacidade original do MCMAE).
• Significado: Isso demonstra que o UNIV constrói com sucesso um espaço unificado sem causar "colapso de modalidade" ou esquecimento catastrófico das capacidades originais em RGB.

4.4. Análise do Espaço de Características

• Alinhamento: A análise da Distância do Transportador de Terra (EMD) mostrou que o UNIV melhorou significativamente o alinhamento cruzado de modalidades, com características da mesma categoria agrupadas mais próximas do que características de categorias diferentes.
• Separabilidade: Visualizações t-SNE confirmaram que o UNIV alcança uma melhor separabilidade interclasse em comparação com modelos de modalidade única como MCMAE ou InfMAE.

5. Significado e Alegações

O artigo alega que o UNIV oferece uma solução geral e escalável para construir um espaço de características semânticas cruzadas unificado. Seu significado principal reside em abordar o problema do "atalho de padrão", onde modelos falham em generalizar entre modalidades devido à dependência de pistas superficiais do sensor.

Ao integrar o PCCL, o UNIV reconstroi um espaço de características semânticas unificado eficaz que alcança:

1. Alinhamento Cruzado Robusto: Garantindo representações de características consistentes para os mesmos objetos semânticos, independentemente da modalidade do sensor.
2. Forte Separabilidade Semântica Interclasse: Aprimorando a capacidade do modelo de distinguir entre diferentes classes de objetos.

Os autores enfatizam que esta abordagem permite adaptação eficiente (via LoRA) a tarefas de infravermelho sem sacrificar as capacidades originais do modelo em tarefas visíveis, fornecendo um caminho prático para implantar sistemas de percepção robustos em diversas condições climáticas e de iluminação. A introdução do conjunto de dados MVIP também é destacada como um recurso crítico para pesquisas futuras neste domínio.