AMIEOD: Adaptive Multi-Experts Image Enhancement for Object Detection in Low-Illumination Scenes

Resumo Técnico: AMIEOD – Aprimoramento de Imagem Adaptativo com Múltiplos Especialistas para Detecção de Objetos em Cenários de Baixa Iluminação

Enunciação do Problema
Sistemas de detecção de objetos treinados em conjuntos de dados padrão e bem iluminados frequentemente sofrem degradação significativa de desempenho quando aplicados a cenários de baixa iluminação (por exemplo, noite, contraluz, exposição curta). As soluções existentes geralmente se enquadram em três categorias: Aprimoramento de Imagem de Baixa Luz (LLIE) seguido de detecção, Aprimoramento e Detecção Otimizados Conjuntamente (JED) e Extração de Características Invariante à Iluminação (IIFE). No entanto, essas abordagens frequentemente dependem de esquemas únicos de melhoria que falham em adaptar-se flexivelmente às características diversas das imagens em diferentes cenas e condições de imageamento. Além disso, uma lacuna de domínio frequentemente persiste entre as imagens aprimoradas e a distribuição de dados esperada pelos modelos de detecção, limitando a eficácia da percepção visual em ambientes escuros.

Metodologia
Os autores propõem o AMIEOD (Aprimoramento de Imagem Adaptativo com Múltiplos Especialistas para Detecção de Objetos), um framework que otimiza conjuntamente o aprimoramento de imagem e a detecção de objetos de maneira orientada ao desempenho de detecção. O framework consiste em três componentes principais:

1. Módulo de Aprimoramento de Imagem com Múltiplos Especialistas (MEIEM):
   Em vez de depender de uma única estratégia de aprimoramento, o MEIEM integra três sub-módulos distintos para extrair informações complementares de imagens de baixa luz:

   • PIEM (Módulo de Aprimoramento de Imagem Pré-treinado): Utiliza um modelo SCI (Iluminação Auto-calibrada) congelado para aprimorar o brilho e fornecer pistas de objetos mais claras.
   • JIEM (Módulo de Aprimoramento Otimizado Conjuntamente): Compartilha a arquitetura do PIEM, mas é otimizado conjuntamente com o detector para garantir que o aprimoramento esteja alinhado com representações conscientes da detecção.
   • IAEM (Módulo de Aprimoramento Adaptativo à Imagem): Baseado no IAYOLO, este módulo utiliza uma rede de Previsão de Parâmetros (PP) para prever parâmetros adaptativos para um módulo de Processamento de Imagem Diferenciável (DIP), ajustando contraste, balanço de branco e tom com base nas características globais da imagem.
     Durante o treinamento, a imagem de entrada é processada por todos os especialistas para gerar múltiplas variantes aprimoradas ($I_1, I_2, ..., I_n$) juntamente com a original, que são alimentadas no detector.

2. Função de Perda de Regressão Guiada por Detecção (DGRL):
   Para garantir que os sub-módulos aprendam informações benéficas para a detecção, a DGRL é introduzida. Ela identifica a saída aprimorada com a menor perda de detecção entre a original e todas as variantes aprimoradas como o alvo de regressão. Os outros especialistas são então regredidos em direção a esse alvo ótimo. Esse processo minimiza a variância das saídas de múltiplos especialistas em torno da solução ótima e suprime o ruído durante o treinamento inicial, guiando efetivamente os módulos de aprimoramento sem interferir na otimização do detector.

3. Módulo de Seleção de Especialistas (ESM) com Entropia Cruzada Guiada por Detecção (DGCE):
   Como apenas uma estratégia de aprimoramento pode ser aplicada durante a inferência, um ESM é construído para selecionar adaptativamente o especialista mais adequado para uma imagem de entrada dada. O ESM é treinado usando DGCE, que trata a seleção de especialistas como uma tarefa de classificação. O rótulo de verdade fundamental para o treinamento é o especialista que produz a menor perda de detecção para uma imagem específica. Isso permite que o ESM aprenda uma política que aproxima a probabilidade posterior do especialista ótimo, roteando dinamicamente a entrada para a melhor estratégia de pré-processamento.

Principais Contribuições

• Framework de Múltiplos Especialistas: A introdução do MEIEM, que alavanca estratégias de aprimoramento diversas (pré-treinado, otimizado conjuntamente e adaptativo à imagem) para explorar de forma abrangente as características de imagens de baixa iluminação.
• Otimização Guiada por Detecção: A proposta da DGRL, que otimiza os módulos de aprimoramento com base nos resultados de detecção, garantindo que as imagens aprimoradas sejam adaptadas à tarefa de detecção.
• Roteamento Adaptativo: O desenvolvimento do ESM e da função de perda DGCE, permitindo que o sistema selecione dinamicamente a estratégia de aprimoramento mais apropriada para cada imagem de entrada com base em suas características globais, em vez de usar uma abordagem estática ou de esquema único.
• Generalizabilidade: O método é projetado para ser flexível ao detector, demonstrando funcionar efetivamente em várias arquiteturas YOLO (v3, v5, v7, v9).

Resultados Experimentais
Extensos experimentos foram conduzidos no conjunto de dados ExDark, com validação adicional em DarkFace, LLVIP e M3FD.

• Desempenho: No conjunto de dados ExDark, o AMIEOD alcançou um mAP de 82,1%, superando o baseline YOLOv3 em 5,6% e ultrapassando o método atual de última geração (EMV-YOLO) em 2,4%. Alcançou a Maior Precisão Média (AP) em 9 das 12 categorias de objetos.
• Generalização: O método melhorou consistentemente o desempenho em diferentes conjuntos de dados e backbones de detectores (YOLOv3, v5s, v7, v9), demonstrando robustez em diversas condições de baixa iluminação.
• Eficiência: Apesar da complexidade adicional do ESM, o framework mantém velocidades de inferência em tempo real de aproximadamente 70 FPS na resolução de 640×640, oferecendo um compromisso favorável entre precisão e eficiência.
• Estudos de Ablação: Os resultados confirmaram que a combinação de treinamento de múltiplos especialistas, DGRL e seleção adaptativa de especialistas (DGCE) é essencial para os ganhos de desempenho observados. Especificamente, a DGRL acelerou significativamente a convergência e estabilizou o treinamento, enquanto a DGCE permitiu que o modelo superasse tanto estratégias de seleção de especialistas fixas quanto aleatórias.

Significado e Alegações
O artigo alega que o AMIEOD aborda as limitações dos métodos de aprimoramento de esquema único ao introduzir um framework flexível e adaptativo que alinha o aprimoramento de imagem diretamente aos objetivos de detecção. Ao otimizar conjuntamente diversos especialistas de aprimoramento e empregar um mecanismo de seleção guiado por detecção, o método melhora significativamente a precisão da detecção de objetos em cenas escuras. Os autores enfatizam que sua abordagem preserva efetivamente informações estruturais e semânticas, aumentando a robustez para objetos pequenos, mal iluminados ou parcialmente ocluídos. Embora reconheçam desafios com objetos visualmente ambíguos ou camuflados, o trabalho estabelece uma alternativa principial ao roteamento heurístico, oferecendo uma abordagem teoricamente fundamentada para minimizar o risco de detecção esperado em ambientes de baixa iluminação.