BINO: Encoder Centric Self Supervised Stereo With Native Pair Input

Título: BINO: Auto-supervisão Estéreo Centrada no Encoder com Entrada de Par Nativo

1. O Problema

Tarefas geométricas densas, como a correspondência estéreo (cálculo de disparidade), exigem representações de características que não sejam apenas robustas a mudanças de aparência, mas também sensíveis à estrutura espacial dependente da visão.

• Limitação dos Modelos Atuais: Modelos de visão auto-supervisionados recentes (como MAE, DINOv2, iBOT) são excelentes extratores de características genéricas, mas são projetados para objetivos de reconstrução semântica ou invariância global, não para resolver ambiguidades espaciais entre duas visões sincronizadas.
• Limitação dos Métodos de Geometria: Métodos focados em geometria (como CroCo v2) geralmente dependem de um decodificador binocular ou de um módulo de "ligação" (linkage) explícito durante o pré-treinamento para unir as duas visões. Isso aumenta a complexidade de treinamento, o custo de inferência e o número de parâmetros.
• Questão Central: É possível aprender uma estrutura binocular forte e uma compreensão espacial dual diretamente dentro de um encoder compacto, eliminando a necessidade de módulos de ligação complexos ou decodificadores binoculares durante o pré-treinamento?

2. Metodologia (BINO)

O BINO propõe um encoder auto-supervisionado que integra a estrutura binocular desde a entrada, sem depender de decodificadores binoculares ou volumes de custo durante o pré-treinamento.

Principais Componentes de Design:

1. Fusão Binocular Precoce (Pixel Interleaving):

   • Em vez de processar as imagens esquerda e direita como fluxos separados, o BINO funde o par estéreo retificado em uma única tensor de imagem através da intercalação de pixels horizontalmente ($X(:, :, 2u) = L$, $X(:, :, 2u+1) = R$).
   • Isso cria uma entrada onde cada token de patch cobre simultaneamente fragmentos locais de ambas as visões.

2. Tokens de "Micro-célula Estéreo" (Stereo Micro Cell Tokens):

   • A tokenização é realizada em células estéreo locais (ex: 4x2 pixels por visão na imagem fundida). Cada token contém informações de ambas as câmeras desde o início, injetando o acoplamento binocular antes do primeiro bloco do Transformer.

3. Posicionamento Consciente da Fase do Patch (Row Aware Patch Phase):

   • Reconhecendo a geometria estéreo retificada (correspondências na mesma linha epipolar), o modelo usa um esquema de codificação posicional específico.
   • A posição horizontal é decomposta em índice de patch original ($p$) e fase local dentro da célula estéreo ($q \in \{0, 1\}$).
   • Isso permite que o modelo entenda a estrutura horizontal relativa sem memorizar identidades absolutas de colunas fundidas, o que seria um viés indutivo incorreto para raciocínio de disparidade.

4. Distilação de Token Mascarado de Uma Visão (One View Masked Token Only Distillation):

   • Objetivo: O aluno recebe uma versão onde apenas uma das visões (esquerda ou direita) tem patches mascarados, enquanto a outra permanece intacta. O professor (EMA) recebe a entrada completa.
   • Mecanismo: O aluno deve inferir o conteúdo faltante na visão mascarada usando a visão complementar intacta. Isso força o encoder a aprender a correspondência cruzada e a completude geométrica.
   • Supervisão: Utiliza apenas distilação no nível do token (sem termo CLS global), focando em correspondência densa em vez de invariância global.

5. Perturbações Conscientes do Estéreo:

   • O treinamento inclui oclusão parcial e inconsistências de aparência específicas de cada visão (perturbações fotométricas independentes) para simular condições reais onde a correspondência é difícil.

3. Protocolos de Leitura (Readout)

O encoder pré-treinado é avaliado de três formas para testar a versatilidade da representação latente:

1. Probe de Descritor Congelado (Sem Ligação): O encoder é congelado e usado para extrair mapas de descritores. A correspondência é feita via matching de cosseno linha a linha, sem nenhum módulo de aprendizado adicional.
2. Benchmark de Cabeça Compartilhada: Todos os encoders são congelados e acoplados ao mesmo "head" (cabeça) leve de estéreo para treinar a predição de disparidade. Isso isola a qualidade da representação do encoder.
3. Entrada de Par Nativo: O encoder é avaliado na sua configuração original (par fundido) com um decodificador que opera diretamente na grade fundida, testando a capacidade de raciocínio em geometria difícil.

4. Resultados Principais

Os experimentos foram realizados principalmente no conjunto de dados KITTI (Object e Stereo 2012/2015) em um cenário de baixa recursos (pré-treinamento do zero apenas em pares estéreo não rotulados do KITTI Object).

• Desempenho sem Ligação (Frozen No-Linkage):

  • O BINO superou todos os baselines (incluindo CroCo v1/v2, DINOv2, DINOv3, iBOT) na recuperação de descritores densos, recuperação de negativos difíceis (hard negative retrieval) e precisão de disparidade no KITTI Stereo 2012.
  • Redução de 28,5% no erro EPE em comparação com o CroCo v2 no teste de proxy.
  • Única modelo com margem positiva em recuperação de negativos difíceis, indicando maior seletividade.

• Desempenho com Cabeça Compartilhada:

  • Mesmo com um cabeçalho de estéreo leve e idêntico para todos os modelos, o BINO permaneceu entre os dois melhores encoders.
  • Eficiência: O BINO alcançou desempenho comparável ao CroCo v2 usando apenas 1,34M de parâmetros, enquanto o CroCo v2 usa 3,34M.

• Análise de Robustez e Geometria:

  • Oclusão Unilateral: O BINO demonstrou superioridade significativa quando uma visão estava parcialmente oclida (40% de oclusão), degradando muito menos que os concorrentes. Isso valida o princípio de treinamento de "uma visão mascarada".
  • Geometria de Grande Disparidade: Na avaliação nativa de pares (par fundido), o BINO obteve os melhores resultados na faixa de alta disparidade (onde o raciocínio cruzado é crítico), superando o CroCo v2 em 2,13 pontos de erro.
  • Análise Mecanística: Estudos internos mostraram que a estrutura epipolar emerge progressivamente nas camadas do encoder e depende criticamente da ordem horizontal correta da visão complementar (não é apenas um viés de linha).

5. Contribuições e Significância

• Prova de Conceito: Demonstra que uma compreensão espacial binocular forte pode ser aprendida inteiramente dentro de um encoder compacto, sem a necessidade de módulos de ligação complexos ou decodificadores binoculares durante o pré-treinamento.
• Eficiência e Reutilização: O encoder BINO é leve, congelável e pode ser usado como um descritor métrico direto ou como uma representação latente reutilizável para diversas tarefas de visão estéreo.
• Superação de Limitações de Dados: Alcança desempenho de ponta em cenários de poucos dados (pré-treinamento apenas no KITTI Object), superando modelos treinados em escalas maiores ou com arquiteturas mais complexas.
• Inovação na Arquitetura: A combinação de fusão de pixels intercalados, micro-células estéreo e codificação posicional específica de fase cria um viés indutivo que alinha perfeitamente a arquitetura Transformer com a geometria estéreo.

Conclusão: O BINO estabelece que a maior parte do raciocínio de visão cruzada, frequentemente atribuído a módulos de ligação separados, pode ser internalizado no encoder, resultando em representações mais eficientes, robustas e versáteis para tarefas geométricas densas.