SMFormer: Empowering Self-supervised Stereo Matching via Foundation Models and Data Augmentation

Resumo Técnico: SMFormer

1. O Problema

O casamento estéreo (stereo matching) visa encontrar correspondências pixel a pixel entre pares de imagens estéreo para estimar mapas de disparidade (profundidade). Embora os métodos supervisionados tenham alcançado alto desempenho, eles dependem de rótulos de verdade fundamental (ground truth) caros e difíceis de obter.

Os métodos auto-supervisionados tentam contornar isso utilizando a hipótese de consistência fotométrica, que assume que pontos correspondentes em diferentes visões compartilham a mesma aparência. No entanto, esta hipótese falha frequentemente em cenários do mundo real devido a:

• Reflexões e superfícies não lambertianas.
• Regiões sem textura (texturaless).
• Oclusões.
• Variações de iluminação.

Essas perturbações geram sinais de supervisão inválidos, resultando em uma lacuna de precisão significativa entre métodos auto-supervisionados e supervisionados, especialmente em benchmarks desafiadores como o Booster.

2. Metodologia

O SMFormer é um novo framework auto-supervisionado que integra Modelos Fundamentais de Visão (VFMs) e Aumento de Dados para mitigar as limitações da consistência fotométrica. A arquitetura baseia-se no CFNet, mas com modificações cruciais:

A. Integração de Modelos Fundamentais de Visão (VFMs)

• Motivação: Redes CNN tradicionais (como FPNs) lutam para extrair características discriminativas em regiões reflexivas ou sem textura devido a campos receptivos limitados e supervisão fraca.
• Solução: O SMFormer integra um VFM pré-treinado (especificamente o SAM - Segment Anything Model) com uma Rede de Pirâmide de Características (FPN).
• Mecanismo MLA (Multi-layer Attention): Como os VFMs são treinados para tarefas de imagem única e carecem de interação geométrica entre visões, os autores propõem um módulo de Atenção Multicamada (MLA). Este módulo introduz atenção cruzada entre diferentes camadas e visões (esquerda/direita), permitindo que o modelo aprenda características globais robustas do VFM e as combine com detalhes locais da FPN.

B. Consistência de Aumento de Dados (Data Augmentation Consistency)
Para lidar com perturbações que quebram a consistência fotométrica, o modelo utiliza duas ramificações durante o treinamento:

1. Ramificação Padrão: Processa o par de imagens original.
2. Ramificação de Aumento: Processa o par de imagens com transformações diversas (variações de brilho, glass blur para reflexos, gaussian blur para baixa textura e máscaras de oclusão).

O modelo emprega duas novas funções de perda auto-supervisionadas:

• Perda de Contraste Estéreo em Nível de Características ($L_{flc}$): Força a consistência entre as características aprendidas na ramificação padrão e na ramificação aumentada sob variações de iluminação. Utiliza aprendizado contrastivo com um queue de amostras negativas e um codificador de chave com média móvel (momentum encoder).
• Perda de Diferença de Disparidade em Nível de Imagem ($L_{ild}$): Trata as falhas na consistência fotométrica (como oclusões) como "amostras positivas difíceis". Compara o mapa de disparidade da ramificação padrão com o da ramificação aumentada (onde pixels foram mascarados), forçando o modelo a ser robusto e consciente do contexto, mesmo em regiões onde a reconstrução fotométrica falha.

3. Principais Contribuições

1. Framework SMFormer: Uma abordagem geral que utiliza priors de VFMs e consistência de aumento de dados para guiar o aprendizado auto-supervisionado em regiões desafiadoras.
2. Integração VFM + MLA: Um mecanismo inovador que funde a robustez global dos VFMs com a capacidade de detalhe das FPNs, superando as limitações de adaptadores leves usados em trabalhos anteriores.
3. Novas Funções de Perda: Desenvolvimento de $L_{flc}$ e $L_{ild}$ para fortalecer a robustez do modelo contra perturbações reais (reflexos, oclusões, iluminação) sem depender de rótulos.
4. Desempenho SOTA: Resultados que demonstram que o SMFormer não apenas supera os métodos auto-supervisionados existentes, mas também compete de igual para igual (e às vezes supera) métodos supervisionados de ponta.

4. Resultados Experimentais

Os experimentos foram conduzidos em múltiplos benchmarks (KITTI 2012/2015, Middlebury, ETH3D e Booster).

• Generalização Zero-Shot: Pré-treinado apenas no dataset sintético SceneFlow, o SMFormer supera métodos de generalização de domínio em cenários reais sem ajuste fino.
• Desempenho no KITTI: Supera a maioria dos métodos auto-supervisionados e compete com supervisionados. Otimizado com dados limitados (394 pares), supera métodos que usam grandes quantidades de dados (como o ChiT que usa 22.600 pares).
• Desempenho no Booster (O Desafio Final): No benchmark Booster, conhecido por suas superfícies altamente reflexivas e sem textura, o SMFormer supera métodos supervisionados de ponta, como o CFNet, demonstrando uma capacidade superior de lidar com violações da consistência fotométrica.
• Middlebury & ETH3D: Supera métodos supervisionados como AANet e ACVNet em benchmarks complexos onde a consistência fotométrica pura falha.
• Eficiência: O treinamento de duas ramificações adiciona apenas um overhead computacional de ~1.4x em comparação à linha de base, mantendo-se eficiente.

5. Significância

O SMFormer representa um avanço significativo na visão computacional ao demonstrar que é possível fechar a lacuna de desempenho entre aprendizado auto-supervisionado e supervisionado em tarefas de geometria 3D. Ao alavancar o conhecimento pré-treinado de Modelos Fundamentais de Visão (VFMs) e criar mecanismos de consistência robusta através de aumento de dados, o trabalho oferece uma solução viável para aplicações críticas como direção autônoma e robótica, onde a obtenção de dados rotulados é proibitiva e as condições ambientais são imprevisíveis. O sucesso em cenários de "pior caso" (reflexos, oclusões) redefine o estado da arte para métodos que não dependem de supervisão densa.