Resumo Técnico: Avaliação Comparativa de Modelos Fundamentais de Visão para Monitoramento de Entrada em Dirigibilidade Autônoma

Declaração do Problema

Redes neurais profundas (DNNs) implantadas em domínios complexos de mundo aberto, como a dirigibilidade autônoma (DA), enfrentam desafios significativos relacionados a deslocamentos de distribuição. Esses deslocamentos manifestam-se como deslocamentos semânticos (encontro de objetos ou classes novos não vistos durante o treinamento) ou deslocamentos de covariância (mudanças em estilos visuais como iluminação, clima ou artefatos de câmera). Os métodos atuais de detecção de Fora de Distribuição (OOD) frequentemente sofrem de limitações críticas: podem exigir acesso a camadas internas do modelo (o que é impraticável para sistemas de DA proprietários), depender de arquiteturas específicas ou necessitar de supervisão com amostras OOD durante o treinamento. Consequentemente, há uma falta de monitores confiáveis, não supervisionados e agnósticos ao modelo capazes de identificar deslocamentos de distribuição imprevistos para garantir a segurança operacional.

Metodologia

Os autores propõem um framework para monitoramento de entrada não supervisionado e agnóstico ao modelo que unifica a detecção de deslocamentos semânticos e de covariância. A abordagem central envolve duas etapas:

1. Extração de Características via Modelos Fundamentais de Visão (VFMs): Em vez de utilizar DNNs padrão ou autoencoders treinados em conjuntos de dados limitados, o método aproveita VFMs pré-treinados (especificamente CLIP, DINO, DINOv2 e Grounding DINO) como extratores de características. Esses modelos, treinados em conjuntos de dados diversos e em grande escala, codificam contextos semânticos ricos e distinções visuais sutis em suas representações latentes.
2. Modelagem de Densidade: O sistema modela a distribuição do espaço de características dos dados de treinamento. Para uma nova imagem de entrada, o codificador VFM extrai um vetor de características, e uma técnica de estimativa de densidade calcula uma pontuação "dentro da distribuição" (ID) com base na probabilidade ou densidade desse ponto dentro da distribuição aprendida.

O estudo avalia comparativamente quatro técnicas de modelagem de densidade de complexidade crescente:

• Baseadas em Instância: Similaridade Média de Pares (APS) e Similaridade Média de Características (MFS) usando similaridade de cosseno.
• Máquina de Vetores de Suporte de Uma Classe (OC-SVM): Um algoritmo de detecção de novidade que encontra um hiperplano separando os dados da origem.
• Modelo de Mistura Gaussiana (GMM): Modelagem de características como uma mistura de Gaussianas, com o número de componentes otimizado via Critério de Informação de Akaike (AIC).
• Fluxos Normalizantes (NF): Especificamente arquiteturas Real-NVP, que utilizam mapeamentos invertíveis para estimar densidades de probabilidade de alta dimensão.

O framework é avaliado em 12 conjuntos de dados (tanto sintéticos quanto do mundo real) cobrindo deslocamentos semânticos (por exemplo, Lost and Found, Bravo-Synobj), deslocamentos de covariância (por exemplo, Foggy Cityscapes, ACDC) e deslocamentos combinados (SegmentMeIfYouCan, Indian Driving Dataset).

Principais Contribuições

1. Pipeline Modular: A proposta de um pipeline modular para detecção não supervisionada de deslocamentos de distribuição semânticos, de covariância e conjuntos, utilizando codificações de características VFM e modelagem de densidade.
2. Avaliação Comparativa Abrangente: A primeira avaliação sistemática de VFMs para detecção OOD no domínio desafiador da dirigibilidade autônoma. Isso inclui testar 4 VFMs com backbones diversos (ResNet, ViT, Swin) contra 7 baselines OOD estabelecidos e contrapartes treinadas no ImageNet.
3. Demonstração de Usabilidade Prática: Evidências de que o método proposto identifica entradas de alto risco prováveis de causar erros em tarefas de percepção a jusante (segmentação semântica), melhorando assim a confiabilidade geral do sistema quando usado como filtro.
4. Framework de Benchmarking: O estabelecimento de um framework abrangente para avaliar a classificação binária OOD em DA, combinando tipos diversos de deslocamento, conjuntos de dados e protocolos de avaliação.

Resultados

Os experimentos extensivos produzem várias descobertas-chave:

• Superioridade dos VFMs: Os embeddings VFM combinados com estimativa de densidade (particularmente Fluxos Normalizantes e GMM) superam consistentemente os codificações DNN padrão (modelos treinados no ImageNet) e métodos clássicos de detecção OOD (por exemplo, GradNorm, Energy, Entropy, KNN).
• Sinergia entre Arquitetura e Método: O desempenho depende altamente do pareamento da arquitetura VFM e da técnica de modelagem de densidade. Por exemplo, o Grounding DINO (Swin Transformer) pareado com Fluxos Normalizantes alcançou resultados state-of-the-art, incluindo detecção quase perfeita (FPR95 ≈ 0) em vários cenários de deslocamento de covariância e deslocamentos semânticos sintéticos.
• Generalização Real vs. Sintética: Embora alguns modelos (como o CLIP) tenham mostrado desempenho consistente em dados do mundo real, mas lutado com anomalias sintéticas, o Grounding DINO com modelagem baseada em fluxo manteve a eficácia em ambos, sugerindo generalização superior a tipos diversos de deslocamento.
• Impacto a Jusante: Quando aplicado como um monitor de entrada para filtrar amostras OOD antes de alimentá-las em uma rede de segmentação semântica (DeepLabV3+), o método melhorou significativamente o desempenho de segmentação (mIoU e mAcc) em conjuntos de dados OOD como o Indian Driving Dataset, demonstrando que o monitor identifica com sucesso entradas propensas a erros.
• Comparação com Baselines: Métodos OOD tradicionais que dependem de internos do modelo (logits, gradientes ou pontuações de confiança) mostraram desempenho moderado a ruim, particularmente em deslocamentos semânticos, enquanto a abordagem baseada em VFM opera independentemente dos internos da rede monitorada.

Significado e Alegações

O artigo afirma que os Modelos Fundamentais de Visão, quando acoplados a técnicas robustas de modelagem de densidade, oferecem um caminho promissor para a realização de monitores de segurança agnósticos ao modelo, não supervisionados e confiáveis para tarefas complexas de visão.

Os autores enfatizam que sua abordagem aborda o problema da "cauda longa" na dirigibilidade autônoma ao detectar deslocamentos de distribuição imprevistos sem exigir acesso a internos de modelos proprietários ou exposição prévia a exemplos OOD. Embora o estudo foque na detecção em vez de mitigação, os resultados sugerem que identificar entradas com alto risco de induzir erros em DNNs a jusante é viável. O trabalho estabelece que o poder representacional rico dos VFMs pré-treinados é suficiente para modelar distribuições de dados efetivamente, superando tanto extratores de características padrão quanto métodos existentes de classificação binária OOD no contexto de monitoramento de entrada para dirigibilidade autônoma.