Open-World Semantic Segmentation with Sensitivity Modeling

Resumo Técnico: Segmentação Semântica de Mundo Aberto com Modelagem de Sensibilidade

Declaração do Problema
Sistemas de visão modernos operam frequentemente sob uma suposição de "mundo fechado", treinados em conjuntos de classes fixos e predefinidos. Em cenários de "mundo aberto" do mundo real, os modelos encontram conteúdo fora da distribuição (OOD) — como detritos inesperados na estrada, novos tipos de veículos ou anomalias dependentes de contexto. Modelos de segmentação semântica convencionais tendem a produzir classificações errôneas excessivamente confiantes em tal conteúdo novel, o que gera riscos de segurança em aplicações como navegação autônoma. O desafio central é a segmentação semântica de mundo aberto: a tarefa conjunta de segmentar classes conhecidas enquanto se detecta e agrupa conteúdo novo ou anômalo sem supervisão adicional. Isso requer que um modelo seja simultaneamente discriminativo para classes conhecidas e apropriadamente incerto para conteúdos desconhecidos, objetivos que frequentemente conflitam sob paradigmas de treinamento padrão.

Abordagens de decodificador duplo existentes tentam resolver isso combinando um ramo semântico (modelando distribuições de classes conhecidas no espaço de logit) e um ramo contrastivo (estruturando normas de embedding para separar características conhecidas e desconhecidas globalmente). No entanto, esses métodos dependem de sinais agregados grosseiramente em nível global (distância de protótipos e normas de embedding). Eles frequentemente falham em capturar pistas locais sutis indicativas de anomalias, como padrões de textura irregulares, frequências de ativação atípicas ou inconsistências em fronteiras de objetos, que podem ser diluídas por pooling global e upsampling hierárquico.

Metodologia
Os autores propõem uma arquitetura de três decodificadores construída sobre um design de codificador-decodificador compartilhado. O framework estende a linha de base de decodificador duplo (ContMAV) introduzindo um terceiro objetivo ortogonal: modelagem de sensibilidade.

1. Codificador Compartilhado: Um codificador baseado em ResNet-34 (modificado com blocos NonBottleneck-1D, módulos Squeeze-and-Excitation e Pyramid Pooling) extrai mapas de características de múltiplas escalas. As características intermediárias são passadas para os decodificadores via conexões de salto (skip connections).
2. Decodificador Semântico ($f_{sem}$): Realiza segmentação de conjunto fechado usando protótipos Gaussianos para categorias conhecidas. Utiliza um objetivo de perda múltipla combinando perda focal, perda soft dice e uma perda de alinhamento de características ($L_{feat}$) que penaliza desvios dos protótipos Gaussianos por classe, normalizados pelo desvio padrão por classe.
3. Decodificador Contrastivo ($f_{con}$): Separa pixels conhecidos e desconhecidos no espaço de características. Emprega uma perda contrastiva para alinhar as médias normalizadas de características por classe com protótipos históricos em uma hiperesfera unitária e uma perda de objectosphere para impor separação radial (empurrando pixels conhecidos para longe da origem e puxando pixels desconhecidos em direção a ela). A norma do embedding não normalizado serve como um proxy global de desconhecimento.
4. Decodificador de Sensibilidade ($f_{sen}$): Este é a principal contribuição do artigo. Projetado para capturar incerteza fina e local decorrente de irregularidades de ativação e anomalias de textura, ele processa mapas de características do codificador de três níveis da pirâmide de forma independente. Cada nível utiliza um cabeçalho leve (três camadas convolucionais de $1\times1$ com normalização de camada e ReLU). Os mapas de sensibilidade resultantes por escala são upsampled, fundidos via soma elemento a elemento e passados por uma função sigmoide para produzir um mapa de incerteza por pixel.
   • Sinal de Treinamento: $f_{sen}$ é treinado via entropia cruzada binária contra "rótulos proxy de desconhecido". Esses rótulos são gerados a partir de anotações de vácuo (void) no conjunto de dados e patches OOD sintetizados via aumento CutPaste.
   • Complementaridade: Diferente dos outros ramos, $f_{sen}$ não prevê a pertinça à classe ou distância de características; ele aprende especificamente onde o modelo deve ser incerto com base na instabilidade de ativação local.

Inferência e Fusão
O escore de desconhecimento final é derivado da fusão de sinais de todos os três decodificadores:

• O desconhecimento semântico é derivado da verossimilhança Gaussiana dos logits semânticos.
• O escore de anomalia contrastiva e o mapa de sensibilidade são calculados pela média.
• O escore final é a média entre o escore semântico e o escore de sensibilidade contrastiva.
• Antes da fusão, todos os escores são normalizados min-max por imagem para evitar dominância de escala. Pixels que excedem um limiar ($\delta=0.99$) são rotulados como desconhecidos; outros adotam o rótulo do decodificador semântico.

Principais Contribuições

1. Decodificador de Sensibilidade: Um novo módulo para modelagem de incerteza de grão fino, conceitualmente distinto da incerteza baseada em protótipos e normas, projetado especificamente para detectar fronteiras ambíguas e anomalias de textura.
2. Arquitetura Unificada: Uma arquitetura de três decodificadores totalmente convolucional treinada de ponta a ponta em uma única GPU de consumo, não requerendo pipelines multiestágios ou supervisão adicional para classes novas.
3. Avaliação Abrangente: Demonstração de melhorias consistentes sobre a linha de base utilizando tanto métricas de conjunto fechado (mIoU) quanto métricas dedicadas de mundo aberto (AUROC, AUPR, FPR@95TPR).

Resultos Experimentais
O método foi avaliado no Cityscapes (conjunto fechado) e no BDD-Anomaly (mundo aberto).

• Desempenho de Conjunto Fechado: No Cityscapes, o método proposto alcançou um mIoU de 69,88%, superando a linha de base ContMAV reproduzida (69,28%) e outros métodos de mundo aberto como DMLNet e RAML.
• Desempenho de Mundo Aberto: No BDD-Anomaly, o método melhorou significativamente as métricas de detecção de anomalias:
  • AUROC: Aumentou de 63,4% (linha de base) para 65,8%.
  • AUPR: Aumentou de 41,8% para 44,3%.
  • FPR@95TPR: Reduziu de 67,4% para 64,9% (menor é melhor).
• Eficiência: O decodificador de sensibilidade adiciona menos de 1 milhão de parâmetros (<3,6% do total do modelo) e introduz um overhead computacional desprezível, mantendo uma velocidade de inferência de 24 fps (comparado a 23 fps para a linha de base) em uma GPU NVIDIA L40s.

Significância e Alegações
O artigo afirma que os três decodificadores fornecem sinais genuinamente complementares: distância de OOD de nível de classe no espaço de logit, energia de característica global no espaço de embedding e instabilidade de ativação local através das escalas do codificador. Estudos de ablação confirmam que cada componente aborda um aspecto distinto do problema de mundo aberto, com o decodificador de sensibilidade beneficiando especificamente a detecção de regiões desconhecidas sem degradar a precisão de conjunto fechado. Os autores posicionam sua abordagem como uma solução leve de estágio único que evita os backbones pesados e os complexos cronogramas de treinamento multiestágio de trabalhos anteriores (ex: RAML), enquanto alcança desempenho superior na detecção de anomalias sutis que sinais globais perdem. Trabalhos futuros visam explorar estratégias de fusão aprendidas e síntese de OOD mais rica para o ramo de sensibilidade.