Resumo Técnico: DPOFusion

Declaração do Problema

A fusão de imagens infravermelhas e visíveis (IVIF) visa integrar informações espectrais complementares para aprimorar a percepção humana e melhorar tarefas de visão subsequentes. No entanto, os métodos existentes enfrentam uma limitação crítica: lutam para acomodar flexivelmente demandas heterogêneas. Diferentes usuários e aplicações priorizam objetivos conflitantes, como qualidade geral da imagem, aparência natural ou adequação específica para tarefas de visão de máquina, como detecção e segmentação de objetos. As abordagens atuais baseadas em aprendizado geralmente exigem modelos separados e estratégias de treinamento complexas para cada demanda específica, carecendo de um quadro unificado capaz de fusão adaptativa que se alinhe a preferências humanas e de máquina diversas.

Metodologia

Os autores propõem o DPOFusion, um quadro que aproveita a Otimização Direta de Preferência (DPO) para alinhar a fusão de imagens a demandas heterogêneas. O quadro consiste em dois componentes principais e um pipeline de coleta de dados:

1. Modelo de Difusão Latente Alinhado a Propriedades (PALDM)

O PALDM serve como gerador de candidatos. Ele é projetado para produzir resultados de fusão diversos e de alta qualidade com propriedades variadas.

• Fusão Latente Prévia: Um modelo de fusão latente prévia ($\epsilon_{lfm}$) é primeiro treinado usando uma perda de fusão conjunta para guiar o processo de geração.
• Perda Condicional Conjunta: Para gerar candidatos diversos, o PALDM emprega uma perda condicional conjunta. Ele treina um modelo de difusão latente para remover ruído tanto de latentes fundidos padrão quanto de latentes interpolados por propriedade (criados pela interpolação linear de latentes de origem e do latente fundido prévio). Isso permite que o modelo alinhe as saídas geradas a prompts de texto descritivos de propriedades específicos (por exemplo, "principalmente informações infravermelhas").

2. Modelo de Difusão Latente Controlado por Preferência (PCLDM)

O PCLDM é um módulo de ajuste fino que ajusta os resultados da fusão com base em sinais de preferência específicos.

• Arquitetura: Ele inicializa a partir do PALDM congelado ($\epsilon_{ref}$) e introduz um ramo treinável conectado via uma convolução 1$\times$1 inicializada com zeros. Essa estrutura preserva as capacidades fundamentais de fusão enquanto permite adaptação rápida a novas preferências.
• Otimização Direta de Preferência por Instância (IDPO): Esta é a inovação central. Diferente da DPO padrão que otimiza globalmente, a IDPO aplica supervisão de preferência apenas dentro de uma região de interesse mascarada, enquanto impõe consistência rigorosa ao nível de pixel em outros lugares.
  • Função de Perda: A perda IDPO ($L_{IDPO}$) combina uma perda de alinhamento de preferência para a região mascarada (incentivando o modelo a preferir a amostra "vencedora" sobre a "rejeitada") e uma perda de consistência para as regiões não mascaradas (garantindo que a saída permaneça próxima ao modelo de referência congelado). Isso equilibra a adaptação localizada com a fidelidade global.

3. Coleta de Dados de Preferência

O quadro coleta dados de preferência heterogêneos de três fontes para criar pares de treinamento ($I_w^0 \succ I_l^0$) com máscaras correspondentes ($I_m$):

• Feedback Humano (RLHF): Anotadores humanos selecionam regiões preferidas em imagens candidatas.
• Modelos Visão-Linguagem (RLVF): VLMs (especificamente QWEN3-Omni-Think) classificam candidatos com base na qualidade técnica da imagem (nitidez, artefatos, etc.).
• Modelos Orientados a Tarefa (RLDF): Modelos a jusante (YOLOv11 para detecção, SegFormer para segmentação) avaliam candidatos. Amostras preferidas/rejeitadas são determinadas por métricas de desempenho de tarefa (mAP, mIoU), e as máscaras são derivadas de regiões-alvo ou patches de detecção.

Contribuições Principais

1. Quadro Unificado: O DPOFusion apresenta um único quadro capaz de se adaptar a diversas preferências de usuários (humanos, VLM) e tarefas de visão de máquina (detecção, segmentação) sem exigir modelos separados para cada um.
2. Otimização Direta de Preferência por Instância (IDPO): Os autores introduzem a IDPO, uma adaptação novel da DPO para fusão de imagens. Ao restringir a otimização de preferência a regiões mascaradas específicas, a IDPO alcança alinhamento local preciso sem degradar a estrutura ou coerência global da imagem.
3. Geração Alinhada a Propriedades: A integração do PALDM com perda condicional conjunta permite a geração de um pool rico de candidatos diversos, facilitando anotação de preferência e ajuste fino eficazes.
4. Adaptabilidade Orientada a Tarefa: O quadro demonstra a capacidade de ajustar finamente as saídas de fusão especificamente para aprimorar o desempenho de tarefas subsequentes (por exemplo, melhorar a segmentação de alvos pequenos ou a detecção de objetos densos) enquanto mantém a qualidade visual.

Resultados Experimentais

Os autores avaliaram o DPOFusion em conjuntos de dados do mundo real (LLVIP, MSRS, RoadScene, M3FD) contra nove métodos de última geração (por exemplo, U2Fusion, DDFM, SHIP, Text-IF).

• Alinhamento Humano e VLM: Métricas quantitativas (Entropia, Desvio Padrão, Gradiente Médio, MUSIQ, CNNIQA) mostram que as variantes do DPOFusion (RLHF e RLVF) alcançam desempenho de última geração. Resultados qualitativos indicam preservação superior de textura e aparência natural, particularmente em cenários de baixa luminosidade e iluminação complexa.
• Desempenho de Tarefa Subsequente:
  • Segmentação Semântica: A variante RLDF-Seg alcançou uma melhoria de 0,5% no mIoU em comparação com as linhas de base, com resultados qualitativos mostrando melhor segmentação de alvos pequenos.
  • Detecção de Objetos: A variante RLDF-OD alcançou uma melhoria de 4,2% no mAP, demonstrando captura eficaz de características para alvos densos e pequenos.
• Estudos de Ablação: Experimentos confirmaram que a perda condicional conjunta no PALDM produz candidatos de maior qualidade e que a IDPO supera significativamente a DPO padrão e a perda contrastiva no alinhamento com preferências, preservando a consistência global.
• Eficiência: Embora baseado em difusão, o DPOFusion opera em um espaço latente comprimido, reduzindo o tempo de inferência para 1,7s por imagem (comparado a 7,8s para o DDFM), tornando-o mais eficiente do que outros métodos de fusão generativa.

Significado e Alegações

O artigo alega que o DPOFusion aborda com sucesso o "problema aberto e desafiador" de alcançar fusão adaptativa que se alinhe a várias preferências tanto da visão humana quanto da máquina. Ao aproveitar a DPO, o quadro elimina a necessidade de modelos de recompensa explícitos e pipelines complexos de otimização conjunta com tarefas subsequentes.

Os autores posicionam o DPOFusion como uma solução unificada e flexível para "fusão do seu jeito", capaz de ajustar finamente um modelo fundamental para satisfazer requisitos específicos — seja impulsionado por percepção visual humana, instruções de linguagem ou métricas de tarefa a jusante — por meio de ajuste fino mínimo. O trabalho estabelece um novo marco para a qualidade de fusão adaptativa e transferibilidade orientada a tarefa no campo da fusão de imagens infravermelhas e visíveis.