Resumo Técnico: Estrutura REVIVE para Recuperação de Vandalismo em Veículos Autônomos

1. Definição do Problema

Os Veículos Autônomos (AVs) dependem fortemente de sensores baseados em câmeras para percepção semântica, incluindo detecção de objetos, reconhecimento de faixas e interpretação de sinais de trânsito. No entanto, esses sistemas são vulneráveis a Ataques de Oclusão por Vandalismo (VOAs), onde obstruções físicas (ex: tinta spray, adesivos, lama ou detritos) bloqueiam ou distorcem a lente da câmera. Diferente das perturbações adversárias digitais, o vandalismo físico persiste até que o sensor seja limpo ou substituído, comprometendo diretamente a utilidade do fluxo de vídeo da câmera.

Embora pesquisas existentes abordem a detecção de VOA ou dependam de redundância de sensores (LiDAR, radar), há uma lacuna crítica na recuperação automatizada ao nível da imagem. Os métodos de restauração atuais frequentemente tratam todas as regiões corrompidas de forma uniforme, falhando em considerar as variadas estruturas espaciais dos diferentes tipos de vandalismo. Além disso, muitas técnicas de recuperação priorizam métricas de similaridade de imagem em vez da preservação de tarefas de percepção downstream, podendo alucinar conteúdo crítico para a segurança ou falhar em restaurar as evidências necessárias para a detecção de objetos.

2. Metodologia: A Estrutura REVIVE

O artigo propõe o REVIVE (Recovery and Enhancement of Vandalized Images for Vision Excellence), um pipeline multimodal de ponta a ponta projetado para detectar, classificar, localizar e recuperar frames de câmera vandalizados. A estrutura emprega uma estratégia de recuperação consciente do tipo (type-aware) hierárquica que roteia diferentes padrões de oclusão para o ramo de restauração mais apropriado.

Arquitetura do Pipeline

O pipeline processa uma imagem de entrada $I$ através de quatro estágios distintos:

1. Detecção Binária de Vandalismo:

   • Uma Rede Neural Convolucional (CNN) leve com três blocos convolucionais, global average pooling e uma cabeça totalmente conectada distingue entre frames limpos e vandalizados.
   • Objetivo: Permitir o encerramento precoce para imagens limpas, garantindo eficiência computacional.
   • Perda (Loss): Entropia Cruzada Binária (BCE).

2. Classificação Multi-Classe de VOA:

   • Se o vandalismo for detectado, um classificador identifica o padrão específico de oclusão em cinco categorias baseadas em características espaciais:
     • Aleatório (Random): Oclusões dispersas, do tipo ruído (ex: respingos de spray).
     • Centro-para-fora (Center-out): Patches quadrados no centro da imagem (ex: adesivos direcionados).
     • Topo-base (Top-bottom): Bandas horizontais vindas da região superior.
     • Base-topo (Bottom-top): Bandas horizontais vindas da região inferior (ex: lama).
     • Direcionado (Targeted): Patches quadrados posicionados aleatoriamente em regiões específicas.
   • Perda (Loss): Entropia Cruzada Categórica (CCE).

3. Localização por Segmentação de VOA:

   • Uma arquitetura U-Net baseada em EfficientNet gera uma máscara binária delineando as regiões vandalizadas.
   • Condicionamento Consciente do Tipo: O rótulo da classe VOA do Estágio 2 é convertido em um vetor de características e integrado à rede de segmentação (ex: concatenado com os mapas de características do codificador) para adaptar o foco do modelo à estrutura espacial esperada do ataque específico.
   • Perda (Loss): Soma ponderada de Entropia Cruzada Binária e Perda de Dice (Dice Loss).

4. Recuperação de Imagem Consciente do Tipo:
   A estrutura seleciona uma estratégia de recuperação baseada no tipo de VOA identificado:

   • Filtragem de Mediana Estatística-Paramétrica: Aplicada a VOAs Aleatórios. Utiliza limiarização adaptativa e agrupamento morfológico multiescala para suprimir artefatos do tipo ruído sem síntese semântica.
   • Stable Diffusion Guiado por BLIP: Aplicado a VOAs Estruturados (Center-out, Top-bottom, etc.). Utiliza o BLIP para gerar prompts descritivos a partir do contexto da cena, guiando o Stable Diffusion para sintetizar conteúdo semanticamente plausível para grandes regiões ocluídas. Este ramo é tratado como assíncrono devido à alta latência e riscos de alucinação.
   • Substituição Direta de Pixels: Um método de referência de limite superior (upper-bound) usado quando um frame de referência limpo, temporalmente recente e espacialmente alinhado, está disponível. Ele substitui os pixels vandalizados diretamente pelos pixels correspondentes do frame de referência.

Portão de Qualidade (Quality Gate)

Um componente crítico do REVIVE é um portão de qualidade pós-recuperação que filtra candidatos antes que eles cheguem ao stack de percepção downstream. Um frame recuperado é aceito apenas se:

1. Não suprimir detecções relevantes para a segurança (Recall $\ge$ baseline não recuperado).
2. Não introduzir falsos positivos excessivos.
3. Atender a um piso de consistência estrutural (SSIM $\ge$ 0,5).
   Se um candidato falhar, o sistema levanta um sinal de baixa confiança (modo degradado) em vez de encaminhar uma imagem reconstruída potencialmente prejudicial.

3. Principais Contribuições

• Estrutura REVIVE: Um pipeline de ponta a ponta que acopla classificação de VOA multi-classe com seleção de ramo de recuperação consciente do tipo, indo além das abordagens de restauração uniforme.
• Definição do Modelo de Ameaça: Um escopo específico para recuperação ao nível da imagem dentro de um stack de percepção de AV, distinguindo entre restauração de imagem e recuperação total de planejamento do veículo.
  im
• Métricas de Avaliação: Uma avaliação abrangente usando tanto métricas de qualidade de imagem (SSIM, PSNR) quanto, crucialmente, consistência de detecção de objetos downstream (recall, precisão, F1-score do YOLOv8l).
• Análise de Limite Superior Baseada em Referência: Uma comparação rigorosa da substituição direta de pixels contra inpainting clássico (Telea, Navier-Stokes) e aprendido (LaMa, Stable Diffusion), destacando as condições sob as quais a recuperação generativa é inadequada para bloqueio em tempo real.
• Implementação do Portão de Qualidade: Uma avaliação de um portão de qualidade baseado em referência demonstrando que a filtragem de candidatos evita que o pipeline degrade o desempenho abaixo do baseline não recuperado.

4. Resultados Experimentais

A estrutura foi avaliada em 5.000 imagens do dataset BDD100K (com VOAs sintéticos) e 500 pares de imagens limpas/vandalizadas rastreadas.

Desempenho de Detecção e Segmentação

• Detecção Binária: Alcançou 97% de precisão geral com precisão e recall >95%.
• Classificação Multi-Classe: Alcançou 99% de precisão geral em todos os cinco tipos de VOA.
• Segmentação: O EfficientNet-U-Net alcançou um coeficiente de Dice médio de 0,91 para VOAs estruturados e 0,87 para VOAs aleatórios. Os escores médios de IoU excederam 85% em todos os tipos.

Desempenho de Recuperação (Detecção de Objetos Downstream)

Usando YOLOv8l para avaliação em 500 pares rastreados:

• VOAs Não Recuperados: Reduziram o recall de detecção para 0,588 e mAP50 para 0,635.
• Substituição Direta de Pixels (Referência Alinhada): Restaurou o recall para 0,967, o F1-score para 0,970 e o mAP50 para 0,979 com fidelidade de imagem quase perfeita (SSIM 0,988, PSNR 52,8dB). Nota: Isto é um limite superior baseado em referência, não uma garantia de implantação geral.
• Inpainting LaMa: Melhorou o recall para 0,667 e o mAP50 para 0,680, superando os frames não recuperados, mas permanecendo mais lento que os candidatos leves.
• Stable Diffusion: Mostrou desempenho variável (SSIM 0,667–0,867) e menor recuperação de detecção agregada (Recall 0,339, mAP50 0,162) para VOAs estruturados, confirmando sua inadequação como um passo de bloqueio em tempo real.
• Filtragem de Mediana: Rápida (0,26ms), mas resultou em baixo recall de detecção (0,214) para VOAs aleatórios, indicando que a supressão de ruído visual não garante a recuperação da percepção.

Impacto do Portão de Qualidade

• Sem o portão de qualidade, o roteamento consciente do tipo degradou o recall por imagem para 0,304.
• Com o portão de qualidade, o recall retornou para 0,608, garantindo que o stream encaminhado nunca seja pior do que o frame não recuperado.
• O portão aceitou 93,8% dos candidatos de substituição de pixels alinhados e 86,4% dos candidatos LaMa, enquanto rejeitou a maioria dos candidatos de ramos que falharam em restaurar evidências de detecção (ex: apenas 17,8% dos candidatos do Stable Diffusion).

Latência

• O pipeline de pré-processamento online (não generativo) do REVIVE (classificação, segmentação, recuperação, gating) adiciona 22,7 ms por frame, encaixando-se em um orçamento de 30 FPS (33 ms).
• O Stable Diffusion requer ~8,6 segundos por imagem, confirmando seu papel como um ramo assíncrono.

5. Significância e Alegações

O artigo posiciona o REVIVE não como uma solução universal que restaura cegamente todas as imagens, mas como uma estrutura estruturada para selecionar e validar estratégias de recuperação.

• Utilidade Prática: A principal contribuição é a demonstração de que a recuperação deve ser julgada pela consistência de detecção de objetos downstream, não apenas pela similaridade da imagem. Uma reconstrução visualmente plausível que falha em restaurar evidências de detecção é insegura.
• Mecanismo de Segurança: O portão de qualidade é central para a alegação de segurança da estrutura. Ele garante que o sistema nunca encaminhe um frame reconstruído que degrade a percepção abaixo do nível do frame não recuperado (vandalizado).
• Escopo Modesto: Os autores afirmam explicitamente que o REVIVE aborda a recuperação ao nível da imagem para apoiar a detecção de objetos, não o planejamento ou controle total do veículo. Eles reconhecem que a substituição direta de pixels é um limite teórico dependente de referências alinhadas, o que é raro em condições de condução dinâmica.
• Trabalhos Futuros: O artigo identifica limitações, incluindo o uso de máscaras sintéticas, a falta de datasets de vandalismo do mundo real e a necessidade de gating de qualidade sem referência e integração de sensores multi-visão para implantações futuras.

Em resumo, o REVIVE fornece um pipeline prático e consciente do tipo que integra detecção, classificação e recuperação com um portão de qualidade crítico para a segurança, garantindo que qualquer tentativa de recuperação melhore ou mantenha a utilidade do fluxo de vídeo para a percepção de direção autônoma.