Out-of-Distribution Object Detection in Street Scenes via Synthetic Outlier Exposure and Transfer Learning

1. Problema

A detecção de objetos Fora da Distribuição (Out-of-Distribution - OOD) em cenas de rua é um desafio crítico, especialmente para aplicações de segurança como a condução autónoma.

• O Desafio: Os detectores de objetos tradicionais são treinados para reconhecer um conjunto fechado de classes (In-Distribution - ID). Quando encontram objetos não vistos durante o treino (OOD), como animais estranhos ou objetos domésticos na estrada, eles tendem a ignorá-los, classificando-os erroneamente como "fundo" (background).
• Limitações Atuais:
  • Abordagens existentes muitas vezes dependem de arquiteturas complexas ou ramos auxiliares, não tratando ID e OOD de forma unificada.
  • Detectores de Objetos de Vocabulário Aberto (OVODs), como o GroundingDINO, embora tenham boa generalização zero-shot, falham em cenários OOD específicos de ruas quando não são ajustados (fine-tuned) corretamente.
  • A falta de dados OOD realistas e benchmarks unificados dificultou o progresso nesta área.

2. Metodologia: SynOE-OD

Os autores propõem o SynOE-OD, um framework unificado que combina Exposição a Outliers Sintéticos (Synthetic Outlier Exposure - OE) e Aprendizado por Transferência. O objetivo é permitir que um único detector localize e classifique corretamente tanto objetos conhecidos (ID) quanto desconhecidos (OOD).

O pipeline funciona em três etapas principais:

A. Geração de Dados Sintéticos (Inpainting)

• Geração de Outliers: Utiliza o modelo generativo Stable Diffusion para inserir (inpaint) objetos atípicos em imagens de cenas de rua.
• Seleção de Categorias: Um LLM (ChatGPT) gera uma lista de categorias de objetos "inusitados" para ruas (ex: animais domésticos, móveis).
• Estratégia de Inserção:
  1. Substituição de objetos ID existentes por outliers sintéticos.
  2. Inserção de outliers em espaços livres da estrada.
  3. Para garantir a qualidade, o modelo gera o conteúdo, mas as anotações (bounding boxes e rótulos) são refinadas automaticamente.

B. Refinamento de Anotações com OVOD

• O modelo GroundingDINO (GDINO) é utilizado devido ao seu forte desempenho zero-shot.
• O GDINO é usado para:
  1. Refinar as caixas delimitadoras dos objetos sintéticos gerados.
  2. Verificar se a geração foi bem-sucedida (se o objeto real foi substituído ou se apenas uma variante do objeto original foi criada).
  3. Atribuir o rótulo de classe OOD (uma nova classe $n+1$) aos objetos sintéticos válidos.
  4. Descartar amostras onde a geração falhou (inpainting vazio).

C. Aprendizado por Transferência (Fine-tuning)

• O detector de objetos (pode ser um modelo unimodal como DINO-DETR ou multimodal como GroundingDINO) é fine-tuned no conjunto de dados aumentado (imagens reais + outliers sintéticos).
• O modelo aprende a tratar os objetos sintéticos como uma nova classe de "OOD", enquanto mantém a capacidade de detectar as classes ID originais.
• Isso cria um detector unificado capaz de distinguir entre "objeto conhecido", "objeto desconhecido" e "fundo".

3. Contribuições Principais

1. Framework SynOE-OD: Uma abordagem que integra detectores padrão para detetar simultaneamente objetos ID e OOD, eliminando a necessidade de ramos auxiliares complexos.
2. Pipeline de Geração de Dados: Um método sistemático para criar outliers sintéticos em nível de objeto usando Stable Diffusion e validar/refinar anotações com GDINO, superando a escassez de dados OOD realistas.
3. Desempenho SOTA: Demonstração de que o fine-tuning com outliers sintéticos supera as abordagens zero-shot puras e métodos existentes em benchmarks de detecção OOD.
4. Avaliação Abrangente: Análise detalhada de diferentes configurações de treino, arquiteturas de backbone (ResNet, Swin) e composições de conjuntos de dados.

4. Resultados Experimentais

Os experimentos foram realizados em conjuntos de dados de ruas (NuImages, Cityscapes, BDD100K) e avaliados nos benchmarks OODIS (RoadObstacle, RoadAnomaly, Fishyscapes, LostAndFound).

• Desempenho em OOD: O SynOE-OD alcançou o estado da arte (SOTA) no benchmark OODIS.
  • Houve um ganho significativo na Precisão Média (AP50..95) em comparação com OVODs zero-shot (GroundingDINO) e outros métodos de base (UGainS).
  • Exemplo: No dataset RoadAnomaly, o SynOE-OD (com DINO-DETR Swin-L) alcançou 29.42% de AP50..95, superando o GroundingDINO zero-shot (22.72%) e o UGainS (17.49%).
• Desempenho em ID: O modelo manteve um desempenho competitivo na detecção de objetos conhecidos (ID), demonstrando que a adição de dados OOD não degrada a capacidade de detecção original.
• Análise de Arquitetura: O método funcionou bem tanto em detectores unimodais (DINO-DETR) quanto em modelos multimodais (GroundingDINO), indicando generalidade.
• Ablação:
  • A restrição de inpainting apenas na região da estrada (NuImagesV3) mostrou-se mais eficaz do que a inserção aleatória.
  • A proporção de outliers sintéticos em relação aos dados ID é crucial; proporções moderadas oferecem o melhor equilíbrio entre ganho em OOD e retenção de desempenho em ID.

5. Significado e Conclusão

O trabalho demonstra que a exposição a outliers sintéticos é uma estratégia viável e poderosa para resolver o problema de detecção OOD em ambientes críticos de segurança.

• Superação do Zero-Shot: O estudo prova que, embora os OVODs tenham capacidades zero-shot, eles não são suficientes para cenários de rua complexos sem um ajuste específico (fine-tuning) com dados OOD relevantes.
• Solução Unificada: Oferece uma solução elegante onde um único modelo de detecção pode lidar com o espectro completo de objetos (conhecidos e desconhecidos), essencial para a segurança de veículos autónomos.
• Escalabilidade: O uso de modelos generativos (Stable Diffusion) permite a criação escalável de dados OOD, contornando a dificuldade de coletar e anotar manualmente objetos raros ou perigosos.

Em suma, o SynOE-OD estabelece um novo padrão para a detecção robusta de objetos desconhecidos em cenas de rua, combinando avanços em geração de imagem e aprendizado por transferência.