Uncertainty in Real-Time Semantic Segmentation on Embedded Systems

Título: Incerteza em Segmentação Semântica em Tempo Real em Sistemas Embarcados

Autores: Ethan Goan e Clinton Fookes (Queensland University of Technology, Austrália)

1. O Problema

A aplicação de modelos de segmentação semântica em áreas críticas para a segurança, como veículos autônomos, robótica e interação humano-computador, exige não apenas alta precisão preditiva, mas também capacidades em tempo real. No entanto, esses sistemas operam frequentemente em hardware com recursos limitados (sistemas embarcados/edge).

O desafio central identificado pelos autores é que, embora existam métodos de segmentação em tempo real, eles geralmente são determinísticos e incapazes de raciocinar sobre a incerteza (epistêmica e aleatória) presente nas previsões.

• Incerteza Epistêmica: Refere-se à incerteza do modelo (reduzível com mais dados ou melhor treinamento).
• Incerteza Aleatória: Refere-se à incerteza inerente aos dados (irredutível, como ruído ou ambiguidade).

Métodos tradicionais para quantificar incerteza, como a inferência Bayesiana completa ou técnicas baseadas em amostragem (ex: Monte Carlo Dropout), exigem múltiplas passagens de forward (forward passes) e integração computacionalmente cara, tornando-os inviáveis para operação em tempo real em dispositivos embarcados.

2. Metodologia Proposta

Os autores propõem uma abordagem leve que combina extração de características determinística com um módulo de regressão probabilística, evitando a necessidade de amostragem cara durante a inferência.

Arquitetura do Modelo:

1. Extração de Características Determinística: Utiliza um modelo pré-treinado existente (ex: ENet, BiSeNet, PIDNet) com parâmetros fixos ($\theta$) para extrair características da imagem.
2. Camada Probabilística: A última camada linear/convolucional do modelo é substituída por uma camada probabilística parametrizada por variáveis latentes ($\omega$), tratadas como aleatórias.
3. Inferência Analítica (Moment Propagation):
   • Em vez de usar Monte Carlo, o modelo utiliza Expectation Propagation (EP) e propagação de momentos.
   • Assume-se que os logits de saída seguem uma distribuição Gaussiana.
   • Para obter probabilidades categóricas finais, aplica-se uma aproximação analítica da função Softmax (chamada de EPSoftmax), utilizando propriedades da distribuição Log-Normal para aproximar os momentos (média e variância) da saída transformada.

Estimativa de Incerteza:

• Incerteza Epistêmica: Calculada através da entropia da distribuição Gaussiana nos logits (espaço de características) ou na distribuição final, derivada da matriz de covariância das variáveis latentes.
• Incerteza Aleatória: Estimada como a entropia da distribuição categórica final.
• Otimização para Embarcados: Utiliza o método SWAG (Stochastic Weight Averaging-Gaussian) com uma aproximação diagonal para estimar a covariância dos pesos. Isso reduz drasticamente o número de parâmetros e a complexidade computacional, permitindo inferência rápida em hardware limitado.

3. Principais Contribuições

1. Método Leve para Incerteza: Propõe uma técnica que integra métodos Bayesianos dentro da propagação de momentos, permitindo estimativas de incerteza sem o custo de múltiplas passagens de inferência.
2. Métricas em Tempo Real: Desenvolve e valida métricas significativas para incerteza aleatória e epistêmica que podem informar usuários finais e protocolos de decisão em tempo real.
3. Adaptabilidade: Demonstra que o módulo probabilístico pode ser facilmente adaptado a modelos pré-treinados existentes, habilitando a quantificação de incerteza em tempo real em dispositivos embarcados sem necessidade de re-treinamento completo da arquitetura base.

4. Resultados Experimentais

Os experimentos foram conduzidos no dispositivo embarcado NVIDIA Jetson AGX Xavier utilizando conjuntos de dados urbanos (CityScapes, CamVid) e gerais (ADE20k, CoCoStuff).

• Desempenho Preditivo: Os modelos probabilísticos ("Bayes-") mantiveram desempenho comparável aos seus equivalentes determinísticos (pontos de estimativa) em termos de mIOU e F1-Score.
  • Exemplo (CityScapes): O Bayes-BiSeNetV1 obteve mIOU de 0.7408 vs. 0.7426 do original, com uma redução aceitável na velocidade (57.3 fps vs. 68.8 fps).
• Velocidade em Tempo Real: Apesar da sobrecarga computacional, todos os modelos mantiveram taxas de quadros (fps) adequadas para aplicações em tempo real (acima de 30 fps na maioria dos casos).
• Qualidade da Incerteza:
  • A incerteza epistêmica foi visualizada como maior em objetos de interesse ou regiões onde o modelo tem menos confiança.
  • A incerteza aleatória concentrou-se nas bordas dos objetos e em regiões ambíguas.
  • A incerteza condicional por classe permitiu identificar especificamente a confiança do modelo para classes críticas (ex: pedestres, veículos), destacando bordas e áreas de risco.

5. Significado e Conclusão

Este trabalho é significativo por preencher a lacuna entre a necessidade de segurança (quantificação de incerteza) e a eficiência (tempo real em hardware limitado) na segmentação semântica.

• Viabilidade em Edge: Demonstra que é possível obter estimativas de incerteza "significativas" em dispositivos com recursos restritos, algo que métodos tradicionais de Monte Carlo não conseguem fazer.
• Segurança Crítica: As métricas de incerteza geradas permitem que sistemas autônomos tomem decisões mais seguras, identificando quando o modelo está "confuso" (alta incerteza epistêmica) ou quando os dados são inerentemente ruidosos (alta incerteza aleatória).
• Futuro: Os autores sugerem que a próxima etapa é integrar mecanismos de treinamento que capturem incerteza aleatória durante o treinamento da rede base e investigar como processar essas informações de incerteza para tomada de decisão automatizada com o menor overhead computacional possível.

Em resumo, o artigo apresenta uma solução prática e eficiente para tornar a inteligência artificial em sistemas embarcados não apenas rápida, mas também consciente de suas próprias limitações e incertezas.