ESMStereo: Enhanced ShuffleMixer Disparity Upsampling for Real-Time and Accurate Stereo Matching

Resumo Técnico: ESMStereo

Definição do Problema
O emparelhamento estéreo (stereo matching) é um componente crítico para sistemas autônomos, mas o desenvolvimento de modelos de aprendizagem profunda que entreguem simultaneamente alta precisão e desempenho em tempo real permanece um desafio significativo. No emparelhamento estéreo baseado em volume de custo, a estimativa precisa de disparidade depende tipicamente de volumes de custo de grande escala. No entanto, esses volumes grandes armazenam informações redundantes substanciais e necessitam de unidades de agregação 3D computacionalmente intensivas, tornando o desempenho em tempo real inalcançável em dispositivos com recursos limitados. Por outro lado, a construção de volumes de custo de pequena escala com unidades de agregação leves facilita a inferência em tempo real, mas frequentemente resulta em uma degradação significativa da precisão devido à insuficiência de informações de emparelhamento e à perda de detalhes geométricos. Estratégias existentes para mitigar esse compromisso, como o upsampling atento a bordas ou o refinamento guiado por características, frequentemente têm dificuldade em recuperar detalhes de alta frequência de forma eficaz ou introduzem um overhead computacional excessivo.

Metodologia
Os autores propõem o ESMStereo (Enhanced ShuffleMixer Stereo), uma arquitetura de emparelhamento estéreo em tempo real projetada para equilibrar velocidade e precisão ao deslocar a complexidade computacional do estágio de agregação 3D para um estágio de regressão pós-disparidade 2D. A arquitetura consiste em três componentes primários:

1. Volume de Custo Compacto e Agregação Leve: A rede constrói volumes de custo em resoluções reduzidas (1/4, 1/8 ou 1/16 da imagem original) usando extratores de características eficientes (EfficientNet-B2 para variantes maiores, MobileNetV2 para a variante pequena). Esses volumes são processados por uma rede hourglass 3D leve para gerar um mapa de disparidade inicial de baixa resolução.
2. Módulo Enhanced ShuffleMixer (ESM): Esta é a contribuição central do artigo. O módulo ESM aborda a perda de informação inerente aos volumes de custo de pequena escala através de um processo de upsampling de múltiplos estágios:
   • Fusão de Características: Ele extrai características do mapa de disparidade inicial de baixa resolução e as funde com características contextuais da imagem esquerda.
   • Enhanced ShuffleMixer: As características fundidas são processadas através de FMBlocks (Feature Mixer Blocks). Estes blocos utilizam uma camada de Shuffle Mixing que aplica LayerNorm, um MLP de ponto de divisão por canal com conexões residuais e convoluções depthwise. Este mecanismo mistura características via shuffling e divisão de camadas para focar em correlações locais de forma eficiente.
   • Pixel Shuffle e Refinamento: As características misturadas são upsampled usando a operação de pixel shuffle, que é computacionalmente eficiente. Para compensar a falta de suavização inerente ao pixel shuffle, um refinamento de rede hourglass compacto e guiado por características é empregado. Esta rede recupera a geometria fina da cena e suaviza a estimativa de disparidade integrando contextos globais e locais.
3. Upsampling Progressivo: O mapa de disparidade é upsampled em múltiplos estágios (por exemplo, de 1/16 para 1/4 para 1/1) usando o módulo ESM, permitindo que a rede refine progressivamente o mapa de disparidade enquanto mantém velocidades de tempo real.

Principais Contribuições

• Enhanced ShuffleMixer (ESM): A introdução de um upsampler rápido e guiado por características que integra fusão de características, foco em correlação local via camadas ShuffleMixer e uma rede de refinamento hourglass leve para recuperar detalhes da cena perdidos durante a agregação inicial de baixa resolução.
• Estratégia de Eficiência Computacional: Um design de arquitetura inovador que minimiza o fardo computacional dos volumes de custo 3D e módulos de agregação, transferindo a carga de trabalho para o estágio de regressão pós-disparidade, onde módulos 2D eficientes recuperam os detalhes da cena estéreo.
• Benchmarks de Desempenho: A demonstração de um desempenho competitivo em tempo real em múltiplas escalas (ESMStereo-S, M e L), alcançando alta precisão em benchmarks padrão enquanto mantém tempos de inferência baixos.

Resultos Experimentais
Os autores avaliaram o ESMStereo nos conjuntos de dados SceneFlow, KITTI 2012, KITTI 2015, ETH3D e Middlebury 2014.

• SceneFlow: A variante ESMStereo-L-gwc alcançou um Erro de Ponto Final (EPE) de 0,53 pixels com um tempo de inferência de 26 ms em uma RTX 4070 Super. A variante leve ESMStereo-S-gwc alcançou 1,10 pixels EPE a 116 FPS.
• Benchmarks KITKI: No KITTI 2012, o ESMStereo-L-gwc alcançou um erro D1 de 5,4%, e no KITTI 2015, alcançou 5,5%. Estes resultados colocam o modelo competitivamente contra métodos de tempo real de última geração, muitas vezes superando-os em precisão enquanto mantêm velocidades de inferência similares ou mais rápidas.
• Implantação em Edge: No NVIDIA Jetson AGX Orin, o modelo ESMStereo-S-gwc alcançou 91 FPS com um erro D1 de 10,8%, demonstrando adequação para dispositivos de borda (edge devices).
• Generalização: Modelos treinados exclusivamente no conjunto de dados sintético SceneFlow mostraram forte generalização para conjuntos de dados do mundo real (KITTI, ETH3D, Middlebury), indicando adaptabilidade robusta para cenários não vistos.
• Estudos de Ablação: Experimentos confirmaram que o volume de custo de correlação por grupos (group-wise correlation) supera a correlação normal, e que a combinação do FMBlock e do refinamento hourglass guiado por características reduz significamente o EPE em comparação com as configurações de linha de base.

Significância e Alegações
O artigo afirma que o ESMStereo aborda com sucesso o compromisso entre velocidade e precisão no emparelhamento estéreo ao mitigar a perda de informação associada aos volumes de custo de pequena escala. Ao utilizar o Enhanced ShuffleMixer, a rede restaura efetivamente detalhes críticos e a geometria da cena sem depender de operações 3D computacionalmente caras durante a fase de upsampling. Os autores asseguram que este design permite a integração de contextos globais e locais, resultando em mapas de disparidade altamente precisos em tempo real. O trabalho posiciona-se como um avanço significativo para sistemas autônomos em tempo real, oferecendo uma solução compacta, eficiente e precisa que se generaliza bem através de diversos conjuntos de dados e plataformas de hardware, incluindo dispositivos de borda com recursos limitados. O código fonte é disponibilizado para facilitar a pesquisa e implementação futuras.