OASIC: Occlusion-Agnostic and Severity-Informed Classification

Resumo Técnico: OASIC

1. Problema Abordado

O artigo aborda o desafio crítico da classificação fina (fine-grained classification) de objetos em condições de occlusão severa (até 90% do objeto escondido). O problema é agravado por dois fatores principais que degradam o desempenho dos modelos de visão computacional:

1. Perda de Informação Visível: A redução drástica dos detalhes visíveis necessários para distinguir classes similares.
2. Padrões Distrativos: A presença de texturas e padrões do próprio oclusor (ex: vegetação, fumaça, entulho) que confundem o modelo, desviando sua atenção das características reais do objeto.

A literatura atual carece de soluções robustas que lidem simultaneamente com a remoção desses distratores e a adaptação à quantidade variável de informação visível, especialmente em cenários onde o tipo de oclusor é imprevisível.

2. Metodologia (OASIC)

A proposta, chamada OASIC (Classificação Informada pela Gravidade e Agnóstica à Occlusão), é um framework unificado que trata a occlusão como uma anomalia visual em relação ao objeto de interesse. O método opera em três etapas principais durante a inferência (test-time):

• Segmentação e Mascaramento Agnóstico à Occlusão:

  • Utiliza o método de detecção de anomalias AnomalyDINO para gerar mapas de probabilidade de anomalia em nível de pixel.
  • O sistema não requer conhecimento prévio sobre o tipo de oclusor (é "agnóstico"). Ele identifica regiões irregulares (ocluídas) e as substitui por um tom cinza uniforme.
  • Isso elimina as texturas distrativas do oclusor, permitindo que o modelo foque apenas nas características visíveis do objeto.
  • O limiar de segmentação é adaptativo, utilizando o Método de Otsu para determinar o melhor ponto de corte no histograma de anomalias de cada imagem.

• Estimativa de Gravidade (Severity Estimation):

  • A partir do mapa de anomalias, o sistema calcula a gravidade da occlusão ($\hat{s}$), definida como a fração média de pixels afetados pela anomalia na imagem.

• Seleção de Modelo Informada pela Gravidade:

  • O sistema mantém um pool de modelos finetunados, onde cada modelo foi treinado especificamente para lidar com um intervalo máximo de occlusão (ex: modelos treinados com occlusões de 0-10%, 0-20%, ..., 0-100%).
  • Durante a inferência, o modelo seleciona dinamicamente o classificador mais adequado ($f^*$) com base na gravidade estimada da imagem de teste. A seleção ocorre escolhendo o modelo cujo intervalo de treinamento ($p$) está mais próximo da gravidade estimada ($\hat{s}$).

3. Contribuições Principais

1. Framework Unificado OASIC: Uma abordagem que resolve simultaneamente a perda de informação (via seleção de modelo) e a distração visual (via mascaramento cinza).
2. Segmentação Agnóstica: Capacidade de localizar e mascarar oclusores arbitrários (vegetação, fumaça, etc.) sem supervisão explícita ou prompts, tratando-os como anomalias visuais.
3. Estratégia de Seleção de Modelo Adaptativa: A descoberta de que modelos otimizados para níveis específicos de occlusão performam melhor em testes com níveis similares, levando a uma seleção dinâmica que supera modelos únicos treinados em faixas amplas.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados Stanford Cars (196 categorias de carros), com oclusões sintéticas geradas por ruído Perlin e preenchidas com texturas reais (folhagem, fumaça, entulho).

• Desempenho Geral: O OASIC superou consistentemente todas as outras configurações.
  • Melhoria de +18,5 pontos no AUC sob occlusão ($AUC_{occ}$) em comparação com o treinamento padrão em imagens ocluídas.
  • Melhoria de +23,7 pontos no $AUC_{occ}$ em comparação com o finetuning em imagens não ocluídas.
• Análise de Componentes:
  • O mascaramento cinza sozinho (removendo distratores) já melhorou a robustez.
  • A seleção de modelo informada pela gravidade (sem mascaramento) também trouxe ganhos.
  • A combinação de ambos (OASIC completo) resultou no melhor desempenho, demonstrando que lidar com a distração e a escassez de informação são complementares.
• Segmentação: O método baseado em AnomalyDINO superou significativamente modelos de segmentação baseados em prompts (como OVSeg) em todos os tipos de oclusores, provando sua eficácia agnóstica.

5. Significância e Impacto

O trabalho é significativo porque:

• Desafia o Paradigma Atual: Mostra que treinar modelos para serem "robustos" a todas as occlusões com um único modelo é subótimo; a adaptação dinâmica ao nível de visibilidade é crucial.
• Solução Prática para o Mundo Real: Oferece uma solução para cenários onde os oclusores são imprevisíveis (ex: carros em florestas, drones em fumaça), sem exigir treinamento supervisionado massivo para cada tipo de oclusor.
• Generalização: A abordagem baseada em anomalias pode ser estendida para outras tarefas além da classificação, como navegação autônoma e vigilância visual, onde a detecção de oclusão é vital para a segurança e precisão.

Em suma, o OASIC estabelece um novo estado da arte para classificação fina sob occlusão severa, combinando a supressão inteligente de ruído visual com uma arquitetura de inferência adaptativa.