FILT3R: Latent State Adaptive Kalman Filter for Streaming 3D Reconstruction

Título: FILT3R: Filtro de Kalman Adaptativo de Estado Latente para Reconstrução 3D em Streaming

1. O Problema

A reconstrução 3D em streaming visa prever geometria e movimento da câmera a partir de um fluxo contínuo de imagens, utilizando memória constante e baixa latência. Arquiteturas recorrentes recentes mantêm um conjunto compacto de "tokens latentes" persistentes que condensam o contexto da cena.

No entanto, esses sistemas enfrentam uma falha crítica em horizontes longos (quando a sequência de frames excede o horizonte de treinamento):

• Deriva (Drift): Pequenos vieses de atualização acumulam-se ao longo do tempo, fazendo com que a estimativa de pose e geometria se afaste da realidade.
• Esquecimento Catastrófico: Regras de atualização agressivas (como sobrescrita uniforme) descartam evidências históricas úteis.
• Instabilidade: Regras conservadoras falham em acompanhar novas evidências de mudanças na cena.
• Limitação das Soluções Atuais: Métodos existentes (como CUT3R com sobrescrita uniforme ou TTT3R com portões heurísticos) não possuem uma representação explícita de incerteza. Eles não conseguem distinguir adequadamente entre uma mudança real na cena e ruído, levando a instabilidades em sequências longas.

2. Metodologia: FILT3R

O FILT3R propõe uma camada de filtragem latente livre de treinamento (training-free) que reformula a atualização do estado recorrente como um problema de estimativa de estado estocástico no espaço de tokens, utilizando um framework de Filtro de Kalman Adaptativo (AKF).

Formulação do Estado

O estado latente $s_t$ é interpretado como uma "crença" sobre a cena, e o candidato gerado pelo decodificador $\tilde{s}_t$ é visto como uma medição ruidosa dessa crença. O modelo segue um sistema de espaço de estados:

1. Equação de Processo: $s_t = s_{t-1} + w_t$, onde $w_t$ é o ruído do processo (incerteza na evolução da cena).
2. Equação de Medição: $\tilde{s}_t = s_t + v_t$, onde $v_t$ é o ruído de medição (incerteza do decodificador).

Mecanismos Chave

• Filtro de Kalman por Token: Em vez de uma taxa de atualização fixa, o FILT3R calcula um ganho de Kalman ($k_t$) para cada token individualmente. O ganho determina o equilíbrio entre reter o estado anterior e aceitar a nova observação.
  $$s_t = s_{t-1} + k_t \odot (\tilde{s}_t - s_{t-1})$$
• Ruído de Processo Adaptativo ($q_t$): O FILT3R estima online a incerteza de como a cena muda entre frames. Ele calcula o "desvio temporal" (drift) dos tokens candidatos e normaliza-o usando uma média móvel exponencial (EMA).
  • Se o desvio for pequeno (cena estável), o ruído de processo é baixo $\rightarrow$ o ganho diminui $\rightarrow$ o sistema confia mais na memória acumulada.
  • Se o desvio for grande (mudança de cena), o ruído de processo aumenta $\rightarrow$ o ganho sobe $\rightarrow$ o sistema adapta-se rapidamente.
• Ruído de Medição Fixo ($r$): Diferente de abordagens que tentam estimar a incerteza do decodificador dinamicamente (o que pode ser instável), o FILT3R utiliza um escalar fixo para o ruído de medição. Isso atua como uma "âncora" estável, evitando que picos de atenção ou ruído momentâneo causem atualizações excessivas.
• Propagação de Incerteza: A variância do estado é atualizada recursivamente (usando a forma de Joseph). Isso permite que, em regimes estáveis, a incerteza acumulada diminua, reduzindo naturalmente o ganho de atualização e estendendo o horizonte de memória efetivo.

3. Contribuições Principais

1. Reformulação Teórica: Transforma a atualização de estado em reconstrução 3D streaming em um problema de estimativa de estado estocástico, introduzindo o FILT3R como uma camada de filtragem adaptativa.
2. Abordagem Plug-and-Play e Livre de Treinamento: O método não requer retreinamento do modelo base. É leve, interpretável e funciona como uma substituição direta para as regras de atualização existentes.
3. Generalização de Longo Horizonte: Demonstra que o ganho adaptativo, baseado na propagação de incerteza, supera regras heurísticas e de sobrescrita uniforme, mantendo a estabilidade em sequências muito mais longas que o horizonte de treinamento.
4. Análise de Mecanismos: Prova teoricamente e empiricamente que, em cenas estáticas, o ganho decai naturalmente ($O(1/t)$) à medida que a confiança aumenta, enquanto reage a mudanças reais na cena.

4. Resultados Experimentais

Os autores avaliaram o FILT3R em tarefas de estimativa de profundidade, pose da câmera e reconstrução 3D em diversos conjuntos de dados (TUM-RGBD, Bonn, KITTI, 7-Scenes, NRGBD).

• Reconstrução 3D (7-Scenes e NRGBD):

  • O FILT3R superou consistentemente o CUT3R (sobrescrita) e o TTT3R (portão heurístico).
  • Em sequências longas (ex: 1000 frames, muito além do treinamento), enquanto outros métodos degradavam drasticamente ou causavam Out of Memory (Point3R), o FILT3R manteve geometria coerente e precisa.
  • A precisão média (Accuracy) melhorou significativamente em comparação aos baselines em longas durações.

• Estimativa de Pose (TUM-RGBD):

  • Redução substancial no erro de trajetória de longo prazo (ATE e ATEorig).
  • O erro de deriva acumulada (ATEorig) caiu de 0.214 (TTT3R) e 0.493 (CUT3R) para 0.107 com o FILT3R em 800 frames.
  • O método mitigou a deriva lenta sem sacrificar a precisão do movimento relativo de curto prazo.

• Profundidade em Vídeo (Bonn e KITTI):

  • Melhorias consistentes nas métricas de profundidade métrica (Abs Rel, $\delta < 1.25$) à medida que o comprimento da sequência aumentava.
  • O FILT3R demonstrou maior robustez contra outliers severos causados por atualizações ruidosas.

• Eficiência:

  • O custo computacional e de memória é mínimo, mantendo o mesmo footprint de memória constante do CUT3R, ao contrário de métodos baseados em atenção que exigem cache de mapas de atenção.

5. Significado e Conclusão

O FILT3R resolve o dilema fundamental da reconstrução 3D em streaming: como equilibrar a retenção de memória histórica com a adaptação a novas evidências. Ao introduzir uma propagação explícita de incerteza, o método permite que o sistema se torne automaticamente mais conservador em cenas estáveis (reduzindo a deriva) e mais ágil durante transições de cena.

A principal inovação é a descoberta de que a adaptação deve ocorrer no modelo de processo (estimando a mudança da cena) e não no modelo de medição, utilizando um ruído de medição fixo como âncora. Isso unifica e supera políticas de atualização anteriores, oferecendo uma solução robusta para a compreensão de cenas online contínua e de longo prazo, sem a necessidade de retreinamento ou reset periódico do estado.