EgoFlow: Gradient-Guided Flow Matching for Egocentric 6DoF Object Motion Generation

1. O Problema

A compreensão e previsão do movimento de objetos a partir de vídeos em primeira pessoa (egocêntricos) são fundamentais para a percepção e interação robótica. No entanto, a geração de trajetórias de objetos com 6 Graus de Liberdade (6DoF: 3 de translação e 3 de rotação) enfrenta desafios significativos:

• Ambientes Complexos: Vídeos egocêntricos frequentemente apresentam oclusões, movimentos rápidos da câmera e campos de visão limitados, dificultando a inferência geométrica precisa.
• Consistência Física: Modelos generativos existentes (como os baseados em difusão) muitas vezes falham em garantir que as trajetórias geradas sejam fisicamente plausíveis, resultando em colisões com objetos estáticos ou movimentos não suaves.
• Horizonte Temporal: Prever movimentos de longo prazo exige raciocínio temporal consistente, pois pequenos erros espaciais podem se acumular, levando a padrões de movimento irreais.
• Falta de Supervisão Física Explícita: É desafiador garantir que as trajetórias evitem colisões e mantenham a suavidade dinâmica sem depender de simulações físicas explícitas ou supervisão direta durante o treinamento.

2. Metodologia: EgoFlow

O EgoFlow é um framework generativo que sintetiza trajetórias realistas e fisicamente plausíveis condicionadas a observações multimodais egocêntricas. A abordagem combina Flow Matching (Correspondência de Fluxo) com uma arquitetura híbrida e um processo de inferência guiado por gradientes.

A. Formulação do Problema e Flow Matching

• Em vez de usar difusão estocástica, o EgoFlow utiliza Flow Matching para aprender campos de transporte determinísticos no espaço $\mathbb{R}^9$ (posição 3D + rotação contínua 6D).
• Isso permite a síntese eficiente de trajetórias através da integração de um campo de velocidade aprendido, evitando a necessidade de solucionadores de equações diferenciais estocásticas (SDEs) e proporcionando caminhos de probabilidade mais suaves.

B. Arquitetura Híbrida (Mamba-Transformer-Perceiver)

O modelo emprega uma arquitetura de três estágios para modelar dinâmicas temporais, geometria da cena e intenção semântica:

1. Codificação Temporal (Mamba): Utiliza camadas bidirecionais de Mamba (Modelos de Espaço de Estado Seletivo) para capturar dependências temporais de longo alcance com complexidade linear, permitindo modelagem escalável de sequências longas.
2. Raciocínio Cross-Modal (Perceiver/Transformer): Blocos de Transformer baseados em Perceiver realizam atenção cruzada entre as características da trajetória e as condições multimodais (pontos da cena, caixas delimitadoras, prompts de texto, categorias de objetos e objetivo final). Isso permite a fusão eficaz de contexto geométrico e semântico.
3. Refinamento da Trajetória: Uma segunda pilha de camadas Mamba refina a representação fundida, integrando a coerência temporal com o contexto multimodal enriquecido para prever o campo de velocidade final.

C. Condicionamento Multimodal

O sistema ingere e funde diversas entradas para condicionar a geração:

• Histórico de Trajetória: Dinâmica observada do objeto.
• Contexto Geométrico: Nuvem de pontos da cena (codificada via PointNet++) e caixas delimitadoras de fixações estáticas (móveis, paredes).
• Semântica e Tarefa: Prompt de texto (ex: "pegue a faca") e categoria do objeto (codificados via CLIP).
• Objetivo: Pose final desejada do objeto.

D. Amostragem Guiada por Gradientes (Gradient-Guided Sampling)

Para garantir a plausibilidade física sem supervisão explícita durante o treinamento, o EgoFlow aplica uma estratégia de otimização durante a inferência:

• Antes de cada passo de integração, o campo de velocidade previsto é refinado através de passos de descida de gradiente.
• A função de custo ($J$) inclui termos diferenciáveis para:
  1. Evitação de Colisão: Penaliza distâncias menores que uma margem de segurança (5cm) em relação a fixações estáticas (usando SDFs - Campos de Distância Assinada).
  2. Consistência Rotacional: Penaliza mudanças bruscas na direção da rotação.
  3. Suavidade Translacional: Penaliza acelerações lineares abruptas.

3. Contribuições Principais

1. Método de Flow Matching Condicionado à Cena: Uma abordagem para geração de movimento 6DoF que aprende fluxos contínuos no espaço Euclidiano, oferecendo síntese eficiente e fisicamente consistente.
2. Arquitetura Híbrida Escalável: Integração de modelos de espaço de estado (Mamba) com Transformers e Perceivers, permitindo o modelamento de sequências longas e a fusão eficaz de características geométricas e semânticas.
3. Estratégia de Amostragem Guiada por Gradientes: Incorporação de custos físicos diferenciáveis diretamente no processo de geração, melhorando a plausibilidade física (evitando colisões e garantindo suavidade) sem necessidade de supervisão adicional ou filtragem post-hoc.
4. Desempenho Superior e Generalização: Demonstração de ganhos substanciais em precisão espacial e viabilidade física em benchmarks reais, com forte capacidade de generalização para cenas não vistas.

4. Resultados Experimentais

O EgoFlow foi avaliado em conjuntos de dados reais de grande escala: HD-EPIC, EgoExo4D e HOT3D.

• Comparação com Baselines: O modelo superou abordagens baseadas em difusão (como GIMO, CHOIS, M2Diffuser) e modelos puramente baseados em Transformers.
• Métricas de Precisão:
  • No dataset HD-EPIC, alcançou o menor erro de deslocamento médio (ADE: 0.279m) e erro de deslocamento final (FDE: 0.102m).
  • Redução drástica na taxa de colisões: O EgoFlow reduziu a taxa de colisões para 2.5%, uma melhoria de até 79% em comparação com os baselines (que variavam de 8.5% a 35.8%).
• Generalização Zero-Shot: Ao ser treinado no EgoExo4D e testado no HOT3D (cenários não vistos), o EgoFlow demonstrou robustez superior, mantendo baixa taxa de erro e alta coerência geométrica, superando métodos como EgoScaler e SPOT.
• Eficiência: O uso de Flow Matching resultou em tempos de inferência significativamente menores (0.48s por trajetória) comparado a modelos de difusão com guiamento (5.56s), mantendo alta qualidade.

5. Significado e Impacto

O trabalho do EgoFlow representa um avanço significativo na compreensão de cenas egocêntricas para robótica e realidade aumentada:

• Viabilidade Física: Demonstra que é possível gerar movimentos de objetos complexos que respeitam restrições físicas rigorosas (colisões, suavidade) sem depender de simuladores físicos pesados durante o treinamento.
• Alternativa à Difusão: Estabelece o Flow Matching como uma alternativa superior à difusão estocástica para tarefas de predição 3D contínua, oferecendo melhor equilíbrio entre precisão, controle e eficiência computacional.
• Aplicação Robótica: O framework serve como um componente fundamental para a geração de políticas de manipulação em robôs, permitindo que agentes físicos planejem trajetórias de objetos seguras e realistas baseadas apenas em observações visuais e comandos de linguagem.

Em resumo, o EgoFlow unifica modelagem generativa escalável com raciocínio físico implícito, abrindo caminho para sistemas de percepção e interação corporificada mais robustos e confiáveis.