Image Quality Dependent Degradation for AI Systems

Resumo Técnico: Degradação Dependente da Qualidade da Imagem para Sistemas de IA

Definição do Problema
Sistemas de percepção de IA, particularmente em domínios críticos para a segurança, como a condução automatizada, exibem uma forte dependência da qualidade da imagem de entrada. Embora as redes neurais profundas se destaquem na interpolação dentro da distribuição de seus dados de treinamento, elas têm dificuldade com a extrapolação quando confrontadas com entradas corrompidas ou inferiores (ex: devido a ruído, escuridão ou desgaste do sensor). Um desafio crítico é que nem todos os erros possuem o mesmo peso; na detecção de pedestres, um falso negativo (não detectar um pedestre) é significativamente mais crítico do que um falso positivo (detectar um pedestre inexistente). As abordagens tradicionais de tolerância a falhas geralmente dependem de sistemas "fail-operational" que alternam para sensores redundantes (ex: LiDAR) ou desligam completamente. Os autores propõem uma abordagem "fail-degraded" (falha degradada), onde o sistema mantém uma funcionalidade reduzida, porém controlada, durante falhas, priorizando especificamente a prevenção de erros críticos (detecções perdidas) em detrimento da precisão geral quando a qualidade da imagem é baixa.

Metodologia
O sistema proposto opera como um módulo plug-and-play que ajusta o limiar de confiança de um detector de objetos existente com base na estimativa da qualidade da imagem em tempo real. A metodologia consiste em três componentes principais:

1. Extração de Características Artesanais (Handcrafted): Em vez de depender de características semânticas de backbones profundos (que podem ignorar aumentos que afetam a qualidade), o sistema extrai um vetor de propriedades de avaliação de qualidade de imagem (IQA) não referenciais. Estas incluem brilho, coloração, contraste, energia, sobre/subexposição, saturação, nitidez, razão sinal-ruído (SNR), assimetria (skewness), centro espectral e PSNR.
2. Estimativa de Qualidade via Fluxos de Normalização (NF): Uma rede de Fluxo de Normalização ($\eta_\theta$) é treinada nos vetores de características artesanais do conjunto de dados de treinamento. O NF aprende a densidade de probabilidade de uma qualidade de imagem "boa". Durante a inferência, a verossimilhança (log-likelihood) ($L(x)$) das características de uma imagem recebida é computada. Uma alta verossimilhança indica que a qualidade da imagem é semelhante à distribuição de treinamento, enquanto uma baixa verossimilhança sugere um estado fora da distribuição (OOD) ou degradado.
3. Conversão de Limiar de Falha Degradada: O sistema ajusta dinamicamente o limiar de confiança ($conf(x)$) do detector de objetos com base na verossimilhança calculada. Usando uma abordagem de representação de campo de fase, o limiar é definido como:
   $$conf(x) = \frac{1}{2} \tanh(\alpha(L(x) - \tau)) + \frac{1}{2}$$
   Onde $\tau$ é um valor de limiar derivado da distribuição de verossimilhança dos dados de treinamento (definido como a mediana) e $\alpha$ controla a largura da transição.
   • Alta Qualidade (Alto $L(x)$): O limiar permanece alto, priorizando a precisão e previsões acuradas.
   • Baixa Qualidade (Baixo $L(x)$): O limiar é reduzido, priorizando o recall (revocação) para garantir que objetos críticos (pedestres) não sejam perdidos, mesmo ao custo de um aumento de falsos positivos.

Principais Contribuições

• Design de Sistema Fail-Degraded: Os autores desenvolvem uma estratégia para que subsistemas de percepção operem com funcionalidade reduzida (limiares de confiança reduzidos) durante falhas, em vez de desligarem ou retornarem a estados seguros, estendendo assim o envelope operacional do componente de IA.
• Monitoramento de Qualidade Inovador: Um novo sistema de monitoramento é introduzido, utilizando Fluxos de Normalização treinados em estatísticas de imagem artesanais para detectar a degradação da imagem. Esta abordagem é independente da arquitetura específica do detector de objetos e não requer o retreinamento do próprio detector.
• Validação Empírica: O método é validado em detectores de objetos de última geração (YOLOv11 e DETR) usando o conjunto de dados BDD100k, demonstrando sua capacidade de se adaptar a várias perturbações de imagem.

Resultados Experimentais
Os experimentos foram conduzidos utilizando o conjunto de dados BDD100k para treinamento e teste, com validação adicional no Zenseact OpenDataset (ZOD) e dados simulados do CARLA.

• Detecção de OOD: O Fluxo de Normalização distinguiu com sucesso a distribuição de treinamento (BDD100k) de outros conjuntos de dados. Dados simulados do CARLA mostraram sobreposição mínima com dados do mundo real, enquanto o ZOD mostrou uma gama mais ampla, mas com sobreposição significativa.
• Detecção de Augmentations (Aumentos): O sistema foi testado contra seis tipos de aumentos de imagem: escuridão, ruído, sujeira, desfoque (blur), reflexo de lente (lens flare) e rolling shutter. O NF detectou de forma confiável todos os tipos de aumentos, com a verossimilhança diminuindo conforme a intensidade do aumento aumentava. Notavelmente, os autores descobriram que o uso de características latentes de um backbone ResNet-18 falhou em detectar esses aumentos de forma confiável, validando sua escolha de características artesanais.
• Desempenho do Detector: Quando aplicado a um detector de pedestres YOLOv11:
  • Recall (Revocação): O sistema fail-degraded melhorou significativamente o recall para imagens de baixa qualidade (aquelas com baixa verossimilhança), reduzindo o número de pedestres perdidos.
  • Precisão: Como esperado, a precisão diminuiu ligeiramente para imagens de baixa qualidade devido ao limiar mais baixo, levando a mais falsos positivos.
  • Geral: O sistema melhorou o recall para 377 imagens no conjunto de teste enquanto manteve um alto recall para imagens de alta qualidade. O recall médio por quadro aumentou de 0.428 (limiar fixo) para 0.474 (fail-degraded), enquanto a precisão média caiu marginalmente de 0.996 para 0.984.
• Capacidade de Tempo Real: Uma implementação em ROS 2 demonstrou que a avaliação da qualidade da imagem e a detecção de objetos podem rodar em paralelo, confirmando a adequação do sistema para aplicações em tempo real.

Significância e Alegações
O artigo afirma que esta abordagem aumenta a confiabilidade de sistemas baseados em IA em condução automatizada ao prevenir falhas críticas (perda de pedestres) em condições adversas sem recorrer ao desligamento completo do sistema. Os autores enquadram isso como um compromisso entre confiabilidade e desempenho: em cenários familiares e de alta qualidade, o sistema maximiza a precisão; em cenários de baixa qualidade e desconhecidos, o sistema prioriza a segurança ao garantir que objetos críticos sejam detectados.

Os autores observam modestamente que sua abordagem atual foca na qualidade da imagem global. Eles reconhecem que, para tarefas específicas como detecção de pedestres, a qualidade local (ex: a qualidade da região específica do bounding box) pode ser mais relevante. Um trabalho futuro é proposto para adaptar a abordagem para análise de bounding box local e, potencialmente, incorporar funções de perda assimétricas durante o treinamento do detector. O artigo conclui que, embora uma imagem completamente corrompida possa forçar o sistema a detectar pedestres em todos os lugares (impedindo o carro de dirigir), o método proposto garante que o sistema só degrade quando necessário, mantendo um equilíbrio entre segurança e utilidade.