Bridging Human Evaluation to Infrared and Visible Image Fusion

Este artigo propõe um novo quadro de reforço por feedback humano para fusão de imagens infravermelhas e visíveis, apresentando o primeiro conjunto de dados em larga escala com avaliações subjetivas e anotando artefatos para treinar um modelo de recompensa que, através da Otimização de Política Relativa em Grupo, alinha os resultados da fusão com as preferências estéticas humanas.

O essencial

Imagine que você tem dois amigos muito especiais que querem contar a mesma história, mas cada um vê o mundo de um jeito diferente.

• O Amigo "Infravermelho" é como um detetive noturno. Ele não se importa com cores ou detalhes bonitos; ele vê o calor. Se alguém está escondido na escuridão ou se um carro está quente, ele vê perfeitamente. Mas a imagem dele é meio "fantasmagórica", sem textura e meio borrada.
• O Amigo "Visível" é como um fotógrafo de paisagens. Ele vê cores vibrantes, texturas de árvores, placas de trânsito e detalhes nítidos. Mas, se estiver muito escuro ou neblina, ele fica cego e não vê nada.

O objetivo da Fusão de Imagens é fazer uma "terceira imagem" que seja o melhor dos dois mundos: que mostre o calor do detetive E os detalhes do fotógrafo.

O Problema: O "Gosto" do Computador vs. O "Gosto" Humano

Até agora, os cientistas tentavam ensinar os computadores a fazer essa mistura usando regras matemáticas rígidas (como "a imagem final deve ter o máximo de contraste possível").

O problema é que o computador não tem olhos nem cérebro humano. Ele pode criar uma imagem matematicamente perfeita, mas que parece estranha, artificial ou difícil de olhar para um ser humano. É como um chef que segue uma receita à risca, mas o prato fica sem graça porque ele nunca pediu a opinião de quem vai comer.

A Solução: O "Treinador de Sabor" Humano

Os autores deste artigo (Liu e sua equipe) tiveram uma ideia brilhante: "E se ensinarmos o computador a gostar do que os humanos gostam?"

Eles criaram um sistema em três etapas, que podemos comparar a um processo de treinamento de um atleta de elite:

1. A "Academia de Sabor" (O Dataset de Feedback Humano)

Primeiro, eles precisavam de um manual de "o que é uma boa imagem".

• Eles pegaram milhares de imagens e misturaram de 11 maneiras diferentes.
• Em vez de usar apenas números, eles pediram para especialistas humanos (e depois uma Inteligência Artificial muito inteligente, o GPT-4o, treinada por humanos) avaliarem essas imagens.
• Eles deram notas para coisas que importam para nós: "O calor do objeto foi mantido?", "As texturas estão nítidas?", "Tem artefatos estranhos (manchas)?", "A imagem parece real?".
• Analogia: É como se eles tivessem criado uma "Guia Michelin" para imagens, onde chefs humanos ensinaram o computador a distinguir um prato de 5 estrelas de um prato queimado.

2. O "Juiz" (O Modelo de Recompensa)

Com esse "Guia Michelin" em mãos, eles treinaram um Juiz Digital (um modelo de recompensa).

• Esse juiz não olha apenas para números. Ele olha para a imagem e diz: "Ei, essa mistura está ótima, a textura da árvore está perfeita e o carro quente está visível!" ou "Não, essa está com muita mancha estranha, tire 2 pontos".
• Analogia: É como ter um crítico de cinema que assiste ao filme e dá uma nota baseada em como você se sente ao assistir, não apenas na qualidade da câmera.

3. O "Treinador" (Ajuste Fino com RLHF)

Agora, a parte mágica. Eles pegaram um sistema de fusão de imagens existente e o colocaram em um "ginásio de treino".

• O sistema tenta criar uma imagem.
• O Juiz Digital avalia e dá uma nota.
• Se a nota for baixa, o sistema "toma um tapa" (perde pontos) e tenta de novo.
• Se a nota for alta, o sistema recebe um "abraço" (recompensa) e aprende a fazer aquilo de novo.
• Eles usaram uma técnica chamada GRPO (Otimização de Política Relativa em Grupo), que é como ter vários alunos tentando resolver o mesmo problema ao mesmo tempo, e o professor recompensa apenas os que estão melhorando em relação aos outros.
• Analogia: Imagine um pintor aprendendo a pintar. Antes, ele pintava baseado em regras de geometria. Agora, ele pinta, mostra para o Juiz, o Juiz diz "essa cor de céu está muito azul, pareça mais natural", e o pintor ajusta. Depois de mil tentativas, ele pinta como um mestre que entende o que o olho humano quer ver.

O Resultado?

A imagem final não é apenas "matematicamente correta". Ela é agradável aos olhos.

• Em testes, a imagem deles foi preferida por humanos em comparação com 13 outros métodos modernos.
• Além de ficar bonita, ela funciona melhor em tarefas reais: carros autônomos conseguem ver pedestres na neblina melhor, e câmeras de segurança identificam objetos com mais clareza.

Resumo em uma Frase

Os autores ensinaram o computador a fazer a "mistura perfeita" de imagens não seguindo apenas regras de matemática, mas aprendendo o gosto e a preferência dos olhos humanos, criando imagens que são mais seguras, claras e agradáveis de ver.

Resumo técnico

1. O Problema

A fusão de imagens infravermelha e visível (IVIF) visa combinar informações térmicas (infravermelho) com detalhes texturais ricos (visível) para melhorar a percepção da cena em aplicações críticas como vigilância, direção autônoma e reconhecimento militar.

Apesar dos avanços recentes, o campo enfrenta limitações fundamentais:

• Desconexão com Preferências Humanas: Os métodos atuais otimizam principalmente funções de perda "handcrafted" (projetadas manualmente) e métricas objetivas numéricas (como entropia, SSIM, PSNR). Essas métricas frequentemente não se alinham com as preferências perceptivas e estéticas humanas.
• Natureza Mal-Posta (Ill-posed): Não existe um "ground truth" (verdade absoluta) único para uma imagem fundida perfeita, o que torna difícil otimizar o modelo sem um supervisor confiável.
• Falta de Dados e Métricas Centradas no Humano: Existe uma escassez de grandes conjuntos de dados com feedback humano qualitativo e de mecanismos automatizados para quantificar a qualidade perceptual.

2. Metodologia Proposta

Os autores propõem um Framework de Reforço com Feedback (Feedback Reinforcement Framework) que integra diretamente a avaliação subjetiva humana no processo de fusão. A abordagem é composta por três pilares principais:

A. Construção do Dataset de Feedback Humano (IVIF)

Para resolver a falta de dados, os autores criaram o primeiro grande conjunto de dados de feedback humano para IVIF:

• Escala: 9.350 imagens fundidas geradas a partir de 850 pares de imagens (infravermelho e visível) de 8 conjuntos de dados diversos, processados por 11 modelos state-of-the-art (SOTA).
• Anotação Multidimensional: Cada imagem recebeu pontuações subjetivas em uma escala de 1 a 5 em quatro dimensões:
  1. Retenção Térmica.
  2. Retenção de Textura.
  3. Nível de Artefatos (ruídos/erros).
  4. Nitidez.
• Análise de Artefatos: Geração de mapas de calor (heatmaps) destacando regiões com artefatos visuais.
• Processo Híbrido: Utilizou-se uma abordagem colaborativa onde especialistas humanos criaram um "seed dataset" (100 imagens) para fine-tuning do modelo GPT-4o. O GPT-4o anotou então todo o dataset, com revisão final por especialistas para garantir a qualidade.

B. Modelo de Recompensa Orientado à Fusão (Reward Model)

Um modelo treinado para quantificar a qualidade perceptual e guiar o aprendizado:

• Arquitetura: Baseada em ViT (Vision Transformer) de modelo de linguagem-vision.
• Entrada: Processa a imagem infravermelha, a visível e a fundida simultaneamente.
• Saída: O modelo possui dois ramos de previsão:
  1. Previsão de Pontuação: Regressa os quatro scores detalhados e a pontuação geral.
  2. Previsão de Mapa de Calor: Identifica a distribuição espacial de artefatos na imagem fundida.
• Treinamento: Otimizado com perda combinada de Erro Quadrático Médio (MSE) para pontuações e mapas de calor.

C. Otimização de Política via RLHF e GRPO

O núcleo da melhoria do modelo de fusão utiliza Aprendizado por Reforço a partir de Feedback Humano (RLHF):

• Base: Utiliza o framework DCEvo como rede de fusão base.
• Estratégia GRPO (Group Relative Policy Optimization): Inspirado em métodos de RL, o processo segmenta a imagem fundida em regiões semânticas usando o SAM (Segment Anything Model).
• Mecanismo:
  1. A imagem fundida é dividida em $K$ regiões.
  2. O Modelo de Recompensa avalia cada região, gerando scores.
  3. Calcula-se a vantagem relativa normalizada dentro do grupo de regiões.
  4. A política da rede de fusão é atualizada para maximizar a recompensa esperada, mantendo a divergência KL (KL Divergence) controlada para evitar desvios extremos da política original.

3. Principais Contribuições

1. Framework de Reforço com Feedback: Uma nova arquitetura que integra explicitamente preferências humanas subjetivas no pipeline de fusão, fechando a lacuna entre métricas objetivas e percepção humana.
2. Primeiro Dataset de Feedback Humano em Larga Escala para IVIF: Um recurso público contendo 9.350 amostras com scores multidimensionais e anotações detalhadas de artefatos, essencial para treinar modelos orientados ao humano.
3. Estratégia de Otimização Específica: Desenvolvimento de uma função de recompensa e uma estratégia de aprendizado por reforço (GRPO) adaptada para IVIF, permitindo que os modelos capturem preferências visuais e atinjam desempenho superior.

4. Resultados e Desempenho

Os experimentos foram realizados em três conjuntos de dados de referência (TNO, RoadScene, M3FD) e comparados com 13 métodos SOTA.

• Métricas Quantitativas (Referência): O método proposto obteve os melhores resultados em CC (Correlação Cruzada) e PSNR em todos os conjuntos de dados, superando métodos como CDDFuse, DDFM e Text-IF.
• Métricas Quantitativas (Sem Referência): Também liderou em NIQE e BRISQUE, indicando maior qualidade natural da imagem sem necessidade de referência.
• Avaliação Subjetiva Humana: Em um teste cego com 15 participantes (5 especialistas e 10 não especialistas), as imagens geradas pelo método proposto foram consistentemente classificadas como as mais preferidas em termos de alinhamento estético e perceptual.
• Aplicações em Tarefas Descendentes (Downstream):
  • Segmentação Semântica: Melhor precisão na classificação de objetos (pessoas, carros) em condições de baixa luz e neblina.
  • Detecção de Objetos: Alcançou o maior mAP (Mean Average Precision), detectando com sucesso alvos que outros métodos perderam (ex: motocicletas na escuridão, pessoas na neblina densa).

5. Significado e Impacto

Este trabalho representa um avanço paradigmático na área de fusão de imagens. Ao abandonar a dependência exclusiva de métricas matemáticas tradicionais e adotar o feedback humano como supervisor final via RLHF, os autores demonstram que é possível gerar imagens fundidas que não apenas são "numericamente corretas", mas também visualmente superiores e mais úteis para a percepção humana.

A criação do dataset e do modelo de recompensa estabelece novos padrões para a avaliação de qualidade em IVIF, oferecendo uma base sólida para futuras pesquisas que busquem alinhar a inteligência artificial com a intuição e estética humanas em tarefas de visão computacional. O código e o dataset estão disponíveis publicamente, promovendo a reprodutibilidade e o avanço contínuo do campo.