HiProto: Hierarchical Prototype Learning for Interpretable Object Detection Under Low-quality Conditions

Resumo Técnico: HiProto

1. Problema Abordado

A detecção de objetos em condições de baixa qualidade de imagem (como pouca luz, neblina ou baixa visibilidade) é um desafio crítico para aplicações de segurança, como a condução autónoma. As abordagens existentes enfrentam duas limitações principais:

• Abordagens de Melhoria de Imagem (Dois Estágios): Tentam restaurar a imagem antes da detecção. No entanto, isso pode distorcer pistas semânticas essenciais e introduzir redundância de informação.
• Arquiteturas Complexas (End-to-End): Projetam redes neurais complexas para lidar com a degradação, mas frequentemente operam como "caixas pretas", carecendo de interpretabilidade e falhando em melhorar a discriminação semântica robusta.

O objetivo do HiProto é superar essas limitações criando um modelo de detecção que seja robusto a condições degradadas, interpretável (permitindo entender por que uma decisão foi tomada) e eficiente, sem depender de pipelines de restauração de imagem ou arquiteturas excessivamente complexas.

2. Metodologia Proposta (HiProto)

O HiProto introduz um novo paradigma baseado em Aprendizado de Protótipos Hierárquico. Em vez de apenas classificar pixels, o modelo associa características visuais a representações semânticas centradas na classe (protótipos).

A arquitetura integra-se em redes de detecção densas (como YOLOv8 com FPN - Feature Pyramid Network) e opera através dos seguintes componentes principais:

• Modelagem de Protótipos Hierárquica:

  • O modelo utiliza as camadas de características multi-escala de uma FPN.
  • Cada nível de característica ($l$) possui um conjunto de vetores de protótipos ($P^l$) que representam os padrões semânticos das classes em uma escala específica.
  • Isso permite que o modelo aprenda representações estruturadas onde diferentes escalas focam em objetos de tamanhos apropriados, melhorando a discriminação semântica.

• Estratégia de Geração de Rótulos Pseudo Escala-Consciente (SPLGS):

  • Para evitar ruído na supervisão, o SPLGS filtra os objetos que estão fora do alcance de percepção válido de cada camada de característica.
  • Por exemplo, camadas de baixa resolução (alto nível semântico) não são supervisionadas por objetos muito pequenos, e vice-versa. Isso preserva a robustez das representações de protótipos de baixo nível.

• Funções de Perda Otimizadoras:

  1. RPC-Loss (Region-to-Prototype Contrastive Loss): Uma perda de contraste que guia os protótipos a focarem semanticamente nas regiões do alvo, utilizando os rótulos pseudo gerados pelo SPLGS. Isso alinha as características locais com os protótipos de classe.
  2. PR-Loss (Prototype Regularization Loss): Uma perda de regularização que força a ortogonalidade entre os vetores de protótipos de diferentes classes. Utilizando uma decomposição em valores singulares (SVD), esta perda garante que os protótipos sejam semanticamente distintos, reduzindo a ambiguidade e a sobreposição de classes.

• Métricas de Interpretabilidade:

  • O modelo introduz métricas quantitativas para avaliar a interpretabilidade:
    • Discriminability Score: Mede o quão bem a ativação do protótipo se concentra na região do objeto (fundo vs. primeiro plano).
    • Sparsity Score: Avalia a independência entre os protótipos de diferentes classes.
    • AUCft: Avalia a separabilidade entre as ativações do objeto e do fundo.

3. Principais Contribuições

1. Novo Paradigma de Detecção: Proposta do HiProto, uma arquitetura de detecção orientada a protótipos que não depende de etapas de melhoria de imagem ou designs arquiteturais complexos, focando na modelagem semântica estruturada.
2. Otimização de Características Orientada a Protótipos: Desenvolvimento do RPC-Loss e PR-Loss para melhorar o foco semântico nas regiões alvo e a distinção entre classes, respectivamente.
3. Estratégia SPLGS: Uma inovação para gerar rótulos de supervisão que respeitam as limitações de percepção de escala de cada camada da rede, reduzindo o ruído de treinamento.
4. Interpretabilidade Quantificável: Introdução de métricas rigorosas (Discriminability, Sparsity, AUCft) que validam visual e numericamente a capacidade do modelo de tomar decisões baseadas em semântica clara.

4. Resultados Experimentais

O HiProto foi avaliado em três conjuntos de dados desafiadores: ExDark (baixa luminosidade), RTTS (neblina real) e VOC2012-FOG (neblina sintética).

• Desempenho de Detecção (mAP):

  • No ExDark, o HiProto alcançou o melhor desempenho, superando a linha de base (YOLOv8) em 4,7% e o segundo melhor método (Retinexformer) em 2,3%.
  • No RTTS, superou a linha de base em 1,6% e o método concorrente mais forte (DNMGDT) em 1,4%.
  • No VOC2012-FOG, superou a linha de base em 4,8% e o MASFNet em 4,5%.
  • O modelo também demonstrou robustez em condições de iluminação normal (VOC2012), superando detectores baseados em Transformers.

• Interpretabilidade:

  • O HiProto obteve consistentemente as pontuações mais altas em Discriminability Score e AUCft, indicando que as ativações do modelo estão fortemente alinhadas com os objetos reais e rejeitam o fundo de forma eficaz.
  • As visualizações mostram que o HiProto ativa objetos nas camadas de características semanticamente apropriadas, enquanto métodos concorrentes frequentemente produzem ativações dispersas ou ruidosas.

• Eficiência Computacional:

  • O método é altamente eficiente, alcançando 137,23 FPS (mais rápido que a linha de base e outros métodos end-to-end).
  • Possui o menor custo computacional (FLOPs) e um número de parâmetros comparável à linha de base, provando que a modelagem hierárquica de protótipos adiciona sobrecarga computacional negligenciável.

5. Significado e Impacto

O trabalho do HiProto é significativo porque desafia a noção de que a robustez em condições de baixa qualidade exige necessariamente a restauração da imagem ou arquiteturas pesadas. Ao focar na estrutura semântica hierárquica e na interpretabilidade, o método oferece:

• Confiabilidade: Decisões de detecção que podem ser rastreadas visualmente até respostas de protótipos específicos, crucial para aplicações críticas (ex: direção autónoma).
• Generalização: Uma abordagem que funciona bem tanto em condições degradadas quanto normais.
• Eficiência: Um modelo leve e rápido que pode ser implantado em sistemas com recursos limitados.

Em suma, o HiProto estabelece um novo estado da arte ao demonstrar que a modelagem de características baseada em protótipos hierárquicos é uma via superior para a detecção de objetos robusta e interpretável em cenários visuais adversos.