Resumo Técnico: DéjàView – Transformers em Loop para Reconstrução 3D Multi-Visão

Declaração do Problema

A reconstrução 3D multi-visão tradicional depende de pipelines iterativos de Estrutura a partir do Movimento (SfM) que envolvem correspondência de características, estimativa de pose e ajuste de feixe. Avanços recentes migraram para transformers feed-forward que regressam geometria 3D em uma única passagem. No entanto, esses modelos de última escala superaram um bilhão de parâmetros, seguindo a tendência de aumento da capacidade dos modelos em visão computacional.

Os autores postulam que os ganhos de desempenho provenientes da profundidade nesses grandes transformers podem derivar de refinamento iterativo implícito e não de capacidade representacional única. Evidências sugerem que camadas contíguas de transformers frequentemente se comportam como aplicações repetidas de operações similares, e camadas decodificadoras refinam progressivamente as previsões. Arquiteturas atuais pagam por essa "iteração" de forma ineficiente, utilizando parâmetros únicos para cada camada. O artigo aborda a necessidade de uma arquitetura que torne esse processo iterativo explícito, permitindo reconstrução de alta qualidade com significativamente menos parâmetros e a capacidade de trocar computação por precisão no momento da inferência.

Metodologia: DéjàView

Arquitetura Central

O DéjàView substitui a pilha profunda de transformers feed-forward por um único bloco de transformer em loop aplicado recursivamente $K$ vezes.

1. Inicialização: Características por visão são inicializadas usando um codificador DINOv2 pré-treinado. Tokens registradores aprendíveis e tokens de câmera são pré-fixados à sequência de tokens.
2. Loop Recorrente: Um único bloco de transformer compartilhado é aplicado $K$ vezes ao estado em evolução $z_k$. O bloco consiste em dois sub-blocos de atenção:
   • Atenção de Quadro: Processa cada visão independentemente usando embeddings de posição rotativos 2D.
   • Atenção Global: Opera sobre a sequência conjunta de todos os tokens através de todas as visões, permitindo raciocínio entre visões.
3. Condicionamento Temporal: Diferentemente de transformers anteriores com pesos amarrados que condicionam em índices de passos discretos, o DéjàView condiciona o bloco em um intervalo de tempo contínuo $(t_k, t_{k+1})$. A atualização é formulada como:
   $$z_{k+1} = f_\theta(z_k, t_k, t_{k+1})$$
   Isso permite que um único conjunto de pesos cubra uma faixa de contagens de passos $K$ sem retreinamento.
4. Atualizações Portadas: O bloco emprega vetores de escala por canal ($s_{attn}, s_{mlp}, s_{out}$) controlados por um MLP inicializado em zero condicionado ao intervalo de tempo. Este design modula as atualizações da atenção, do MLP e do fluxo residual.

Estratégia de Treinamento

• Treinamento com $K$ Variável: Durante o treinamento, o número de passos de refinamento $K$ é amostrado por lote a partir de uma distribuição Beta escalada para $[K_{min}, K_{max}]$ (por exemplo, $[8, 16]$). Isso cria um único ponto de verificação que funciona como um "botão de computação".
• Função de Perda: O modelo é supervisionado diretamente na geometria prevista usando cinco termos de perda: profundidade, raios, pontos do mundo e parâmetros de câmera. As previsões são normalizadas via fatores de escala inversos antes de calcular as perdas $\ell_2$ e $\ell_1$.
• Treinamento de Profundidade em Duas Etapas:
  • Etapa 1: Treinamento de ponta a ponta com uma cabeça de profundidade de embaralhamento de pixels linear e perda $\ell_2$ simples.
  • Etapa 2: A cabeça de profundidade é substituída por uma cabeça convolucional (para eliminar artefatos de limite de patch), e a rede é ajustada finamente com uma perda ponderada por confiança enquanto outros parâmetros são congelados.

Inferência

Na inferência, o usuário seleciona uma contagem de passos $K_{inf}$. O modelo executa o único bloco compartilhado $K_{inf}$ vezes. Se $K_{inf}$ estiver dentro da faixa treinada $[K_{min}, K_{max}]$, o modelo mantém alta precisão; o desempenho degrada se $K_{inf}$ for empurrado significativamente além do orçamento treinado.

Observações Chave sobre Dinâmicas

Os autores caracterizam a recorrência como refinamento direcional. O estado não converge para um ponto fixo no espaço de características (a norma $\|z_k\|$ cresce monotonicamente). Em vez disso, a direção do vetor de estado se estabiliza, com a similaridade de cosseno em relação ao estado final aproximando-se de 1 e a norma de atualização relativa decaindo significativamente. Isso permite que o decodificador (que usa pré-norm) absorva o crescimento da norma enquanto a representação decodificada converge em direção.

Contribuições Chave

1. Modelo DéjàView: Uma arquitetura de transformer em loop que aplica um único bloco compartilhado recursivamente a características inicializadas com DINOv2, condicionada a intervalos de tempo contínuos.
2. Receita de Treinamento com $K$ Variável: Um método para treinar um único ponto de verificação que suporta uma faixa de contagens de passos de inferência, expondo a computação como um botão ajustável sem retreinamento.
3. Eficiência de Última Geração: O modelo alcança qualidade de reconstrução competitiva ou superior em cinco benchmarks (interior, exterior, centrado em objetos, direção) usando uma fração dos parâmetros e computação comparável ou inferior a baselines feed-forward muito maiores.
4. Validação de Viés Indutivo: Experimentos demonstram que a formulação com pesos compartilhados supera uma variante idêntica com parâmetros por passo independentes, sugerindo que a iteração explícita com compartilhamento de pesos é um viés indutivo mais forte para reconstrução 3D multi-visão do que o escalonamento de parâmetros.

Resultados Experimentais

O artigo avalia o DéjàView em cinco benchmarks: DTU, ETH3D, 7-Scenes, ScanNet++ e nuScenes.

• Precisão: O DéjàView iguala ou supera modelos significativamente maiores (por exemplo, VGGT-1B, Pi3, DA3-G) em precisão de mapa de pontos (Relativo $\ell_2$ e Razão de Inliers) e precisão de pose de câmera (AUC@3° e AUC@30°). Por exemplo, no ScanNet++, ele supera o VGGT-Ω-1B em quase 50 pontos em AUC@3°.
• Eficiência:
  • Parâmetros: O DéjàView usa 117M de parâmetros, comparado a baselines que variam de 356M a mais de 1,2B.
  • Computação: Requer 75,9 TFLOPs para 24 visões, comparável ou inferior a baselines que exigem 2–10x mais computação.
  • Memória: A memória de pico na inferência é inferior a 5 GiB em uma A100, significativamente menor do que muitas baselines.
• Estudos de Ablação:
  • O compartilhamento de pesos sozinho melhora o desempenho sobre blocos desacoplados, apesar de ter 16x menos parâmetros.
  • Portões residuais condicionados ao tempo e portões de estado fornecem melhorias monotônicas.
  • O treinamento com $K$ variável iguala o desempenho com $K$ fixo dentro de ~2-3% no mesmo orçamento de inferência, validando a flexibilidade do único ponto de verificação.

Significado e Alegações

O artigo alega que o escalonamento de parâmetros não é o único caminho a seguir para a reconstrução 3D. Ao tornar o processo de refinamento iterativo explícito através de um loop compartilhado e condicionado ao tempo, o DéjàView demonstra que:

1. A iteração pode ser explícita: Os benefícios de redes profundas podem ser alcançados reutilizando um único bloco, evitando a redundância de parâmetros de camada únicos.
2. A computação é um botão: Um único modelo pode adaptar-se a diferentes orçamentos de inferência (compensações latência/precisão) sem retreinamento.
3. Pesos compartilhados são superiores: A formulação com pesos compartilhados atua como um viés indutivo mais forte do que parâmetros independentes, sugerindo que a "profundidade" nos modelos SOTA atuais é amplamente um proxy para refinamento iterativo e não capacidade representacional única.

Os autores notam limitações: o modelo não extrapola bem além de sua faixa de passos treinada ($K_{max}$) e não lida explicitamente com cenas dinâmicas. No entanto, o trabalho estabelece que a reconstrução multi-visão de alta qualidade pode ser alcançada com uma fração do custo computacional e do tamanho do modelo dos gigantes feed-forward atuais.