Resumo Técnico: G2G – Explorando a Geometria Intra-Grupo para a Estimativa de Pose Inter-Grupo

1. Definição do Problema

O artigo aborda a estimativa de pose Grupo-para-Grupo (G2G), uma tarefa primitiva de percepção robótica que envolve a recuperação da transformação rígida relativa de seis graus de liberdade (6-DoF) entre dois grupos distintos de imagens. Esta tarefa sustenta duas aplicações críticas:

1. Relocalização visual entre sequências: Alinhamento de segmentos de sequências monoculares capturados durante diferentes travessias do mesmo ambiente (grupos temporais).
2. Odometria de rig multi-câmera: Determinação da pose relativa entre observações simultâneas de um rig multi-câmera (grupos espaciais).

Em ambos os cenários, a entrada consiste em dois grupos de imagens ($G_A$ e $G_B$), onde a geometria intra-grupo (poses relativas dentro de cada grupo) é conhecida, mas potencialmente ruidosa (derivada de Odometria Visual, SLAM ou calibração). O objetivo é recuperar a transformação inter-grupo desconhecida. Os métodos existentes frequentemente falham neste cenário porque tratam todos os inputs como um conjunto não estruturado (ignorando a geometria intra-grupo conhecida) ou dependem de correspondência par a par iterativa, que é frágil a objetos dinâmicos, mudanças sazonais e variações de cena.

2. Metodologia: A Arquitetura G2G

Os autores propõem o G2G, uma arquitetção "congelar-e-ponte" (freeze-and-bridge) que aproveita um modelo de fundação multi-view pré-treinado sem retreinar seus pesos principais. O sistema consiste em um backbone congelado e três módulos leves e treináveis.

2.1 Backbone de Fundação Congelado

O método adota o MapAnything [10] como um extrator de características por grupo. Este backbone é mantido inteiramente congelado (aprox. 539M de parâmetros).

• Entrada: Para cada quadro, ele recebe a imagem RGB, extrínsecos da câmera (decompostos em quatérnio e translação) e direções de raios por pixel derivados das intrínsecas.
• Função: Ele funde a geometria intra-grupo conhecida nas características visuais, produzindo características de patch geometrizadas ($F_g$) para cada grupo de forma independente. Isso permite que o modelo aproveite a "tarefa difícil" de fundamentar tokens visuais na geometria da câmera, algo que o modelo de fundação já aprendeu.

2.2 Módulos Treináveis (Total ~32M de Parâmetros)

Três módulos são adicionados sobre o backbone congelado para conectar os dois grupos:

1. Perceiver Resampler: Comprime os $P$ tokens de patch por quadro em um conjunto menor de $L$ tokens latentes ($Z_g$). Isso reduz o comprimento da sequência para gerenciar o custo computacional no bridge subsequente.
2. Cross-Group Bridge (Ponte Inter-Grupo): Conecta os dois grupos via auto-atenção fundida (merged self-attention).
   • Ele concatena os tokens latentes de ambos os grupos.
   • Ele aumenta os tokens com três embeddings treináveis:
     • Frame Embedding: Codifica a posição de um quadro dentro de seu grupo (semântica compartilhada para grupos temporais e espaciais).
     • Group Embedding: Distingue tokens pertencentes ao Grupo A vs. Grupo B.
     • Anchor Embedding: Marca o quadro âncora ($A_0$) como a referência global.
   • Duas camadas de auto-atenção refinam esses tokens, permitindo a troca inter-grupos e o compartilhamento de contexto intra-grupo de maneira unificada.
3. Multi-Frame Pose Head (Cabeça de Pose Multi-Quadro): Prediz a pose de cada quadro alvo em relação ao âncora compartilhado $A_0$ em uma única passagem direta (forward pass).
   • Utiliza uma camada de cross-attention compartilhada com queries de pose treináveis (rotação e translação).
   • Decodifica as características em uma rotação contínua de 6D e translação 3D, produzindo o conjunto completo de poses $\{T_{A_0 \leftarrow A_i}\} \cup \{T_{A_0 \leftarrow B_j}\}$.

2.3 Estratégia de Treinamento

• Supervisão: O modelo é treinado apenas usando poses relativas como sinal de supervisão. Mapas de profundidade são usados apenas durante a construção do dataset para pontuar a sobreposição visual e selecionar pares de treinamento, não como um sinal de perda (loss signal).
• Aprendizado por Currículo: Um cronograma de três fases introduz gradualmente pares de treinamento mais difíceis (menor sobreposição visual) para estabilizar a convergência.
• Aumento de Ruído: Os extrínsecos de entrada são perturbados com ruído SE(3) durante o treinamento para melhorar a robustez contra o drift da odometria e erros de calibração, ensinando o modelo a denotar os inputs em vez de apenas copiá-los.

3. Principais Contribuições

1. Formulação Unificada do Problema: O artigo apresenta a relocalização cross-sequence e a odometria de rig multi-câmera como uma única tarefa G2G com uma interface de entrada-saída compartilhada, permitendo que um único modelo sirva a diversas aplicações downstream.
2. Arquitetura Freeze-and-Bridge: Ao manter o modelo de fundação congelado e adicionar apenas ~32M de parâmetros treináveis (menos de 6% do modelo total), o método alcança um treinamento eficiente em dados e preserva as capacidades de generalização do pré-treinamento em larga escala.
3. Desempenho de Estado da Arte: A abordagem atinge uma precisão superior em quatro datasets (HM3D, TartanGround, NCLT, ZJH) cobrindo simulação indoor/outdoor, captura real cross-season e transferência zero-shot sim-to-real, superando baselines que são retreinados com sua supervisão original completa (incluindo profundidade densa).

4. Resultados Experimentais

O artigo avalia o G2G contra pipelines clássicos (LoMa), comparadores de características locais aprendidos (CoViS-Net) e modelos multi-view feed-forward (VGGT, Reloc3R, Rig3R, variantes do MapAnything).

• Localização Cross-Sequence: O G2G alcança os melhores erros de translação e rotação não-oráculo em todos os datasets. Notavelmente, no dataset NCLT (cross-season), o G2G mantém um erro de rotação de $2.47^\circ$ e um erro de direção de translação (RTA) de $5.43^\circ$, enquanto baselines como VGGT e Reloc3R degradam significativamente (RTA > $40^\circ$) devido à sua dependência de correspondência visual, que falha sob mudanças sazonais.
• Odometria de Rig Multi-Câmera: O G2G supera baselines conscientes de rig (Rig3R) e modelos multi-view. No dataset TartanGround, o Rig3R sofre de overfitting (erro de rotação de $37.9^\circ$ em cenas não vistas) porque seu decoder totalmente treinável carece de um âncora congelado para preservar os priors geométricos pré-treinados. O G2G mantém um erro de $1.63^\circ$.
• Transferência Sim-to-Real: No dataset ZJH, um modelo treinado inteiramente em dados simulados alcança transferência zero-shot para capturas de robôs humanoides reais, mantendo alta precisão ($1.206$ m de translação, $3.46^\circ$ de rotação) sem fine-tuning.
• Eficiência: O G2G produz todas as poses alvo em uma única passagem direta (<50 ms), enquanto métodos par a par exigem $N_A \times N_B$ inferências (ex: 25 passagens para grupos de 5 frames), resultando em uma latência significativamente maior.

5. Significância e Alegações

O artigo alega que o principal gargalo na atual estimativa de pose multi-view é a falta de raciocínio inter-grupos que respeite a geometria intra-grupo conhecida.

• Geometria como um Prior: Os autores argumentam que os modelos de fundação já aprenderam a fundir intrínsecos e extrínsecos dentro de um grupo. A peça que faltava é a capacidade de raciocinar entre grupos. Ao congelar o backbone, o G2G preserva esse entendimento geométrico, enquanto os módulos de ponte leves fornecem a lógica inter-grupos necessária.
• Robustez a Mudanças de Aparência: A dependência do método em características condicionadas pela geometria, em vez de pura correspondência visual, torna-o robusto a mudanças sazonais, variações de iluminação e objetos dinâmicos, onde métodos dependentes de correspondência visual (como VGGT ou Reloc3R) falham.
• Eficiência de Dados: O design freeze-and-bridge permite que o modelo generalize para novos domínios (sim-to-real) e lide com conjuntos de treinamento pequenos (TartanGround) sem overfitting, um modo de falha observado em baselines totalmente treináveis como o Rig3R.

O artigo conclui que o G2G fornece uma solução unificada, eficiente e robusta para a estimação de pose inter-grupo, efetivamente preenchendo a lacuna entre as capacidades dos modelos de fundação e tarefas específicas de percepção robótica.