FalconApp: Rapid iPhone Deployment of End-to-End Perception via Automatically Labeled Synthetic Data

1. Declaração do Problema

A percepção confiável em robótica (por exemplo, para manipulação, navegação e direção autônoma) geralmente requer conjuntos de dados em grande escala, anotados manualmente no mundo real. Este processo é:

• Demorado e caro: A anotação manual de máscaras e poses de 6 Graus de Liberdade (6-DoF) é lenta.
• Lacuna Sim-to-Real: Simuladores tradicionais (por exemplo, CARLA, Gazebo) frequentemente carecem de fotorealismo, levando a um desempenho pobre quando modelos treinados em simulação são implantados em robôs reais.
• Lacunas no Fluxo de Trabalho: Embora avanços recentes como NeRF e 3D Gaussian Splatting (GSplat) ofereçam reconstrução fotorealista, eles não fornecem inerentemente um fluxo de trabalho end-to-end que converta vídeos casuais de usuários em módulos de percepção implantáveis em dispositivos de borda.

Objetivo: Criar um sistema que permita a um usuário capturar um vídeo curto de um objeto rígido em um iPhone e gerar automaticamente um módulo de percepção de alto desempenho, específico do objeto, para detecção de máscaras e estimativa de pose 6-DoF em minutos, sem rotulagem manual.

---

2. Metodologia

O FalconApp é um aplicativo para iPhone com um pipeline frontend-backend consistindo em quatro estágios distintos:

A. Frontend: Captura de Dados (Modo de Gravação)

• Implementação: Construído em Swift para iOS.
• Processo: O usuário caminha ao redor de um objeto rígido para gravar um vídeo RGB curto. O aplicativo captura cobertura multi-visão juntamente com metadados da câmera.
• Transmissão: O vídeo e os metadados são enviados ao backend via um cliente TCP, evitando transferências manuais de arquivos.

B. Backend: Rotulagem Automatizada de Dados Sintéticos

• Reconstrução 3D: O backend utiliza o FalconGym para reconstruir o objeto como uma representação de 3D Gaussian Splatting (GSplat) a partir do vídeo.
• Edição de Ativos: Usando a API de Edição do FalconGym 2.0, os splats do objeto são separados do fundo para criar um ativo 3D editável e isolado.
• Randomização de Domínio: O objeto é composto com splats de fundo fotorealistas diversos. Imagens são renderizadas sob pontos de vista, escalas e condições de iluminação randomizadas para minimizar a lacuna sim-to-real.
• Rotulagem Automática: Como o motor de renderização controla a cena, cada imagem sintética é automaticamente emparelhada com:
  • Máscaras de primeiro plano pixel-perfect.
  • Pose relativa 6-DoF ground-truth.
  • Imagens de cena vazia (para reduzir falsos positivos).
• Eficiência: A renderização e rotulagem levam aproximadamente 0,2 segundos por imagem (1280×720) em uma GPU RTX 4090.

C. Backend: Treinamento do Módulo de Percepção

• Arquitetura: Uma rede personalizada (Figura 4) apresentando:
  • Um Codificador para extração de características.
  • Uma Cabeça de Predição de Máscara.
  • Uma Cabeça de Pose com Atenção Portada (Gated-Attention): A máscara predita condiciona a cabeça de pose, permitindo que o modelo foque nas características do objeto enquanto suprime a desordem de fundo.
• Estratégia de Treinamento:
  1. Estágio 1: Otimizar a predição de máscara.
  2. Estágio 2: Otimizar conjuntamente máscara e pose usando rótulos sintéticos.
  3. Funções de Perda: Combina perda de segmentação, perda de regressão de pose e um termo de consistência de reprojeção (re-renderizar o objeto na pose predita e comparar via SSIM) para impor consistência geométrica.

D. Frontend: Implantação e Inferência

• Empacotamento: O modelo treinado é empacotado e enviado de volta ao iPhone.
• Inferência: O aplicativo carrega o modelo e realiza inferência ao vivo nos quadros de entrada da câmera.
• Saída: Visualiza a máscara de segmentação e a pose 6-DoF estimada em relação à câmera.
• Latência: O sistema alcança desempenho em tempo real (~30 ms de latência end-to-end).

---

3. Contribuições Principais

1. Pipeline de Implantação Móvel Rápida: Um sistema completo que transforma um vídeo casual de 2 minutos no iPhone em um módulo de percepção funcional e específico do objeto em aproximadamente 20 minutos.
2. Fluxo de Trabalho de Rotulagem Automática Fotorealista: Uma abordagem inovadora usando GSplats editáveis para gerar dados de treinamento sintéticos infinitos com rótulos ground-truth perfeitos (máscaras e poses), eliminando a necessidade de anotação manual.
3. Integração End-to-End: Conecta com sucesso a lacuna entre reconstrução 3D, geração de dados sintéticos, treinamento de modelo e inferência no dispositivo em hardware de consumo (iPhone).

---

4. Resultados Experimentais

O sistema foi avaliado em cinco objetos rígidos com geometria, escala e simetria diversas (Carro, Quadrotor, Portão, Avião, Lâmpada).

Métricas de Eficiência

• Tempo Total do Pipeline: ~20 minutos por objeto (incluindo geração de 1000 imagens sintéticas e treinamento).
• Latência no Dispositivo: ~30 ms por quadro (permitindo inferência de ~30 fps).
• Qualidade de Reconstrução: Alto fotorealismo (SSIM 0,71–0,88, PSNR 30,0–32,4) em todos os objetos.

Métricas de Precisão (vs. Linha de Base PnP)

O FalconApp foi comparado a uma linha de base tradicional Perspective-n-Point (PnP), que depende de correspondências de características selecionadas manualmente.

Métrica	Desempenho do FalconApp	Comparação com PnP
IoU da Máscara	0,62 – 0,83	N/A (PnP não gera máscaras)
Precisão de Pose (Mundo Real)	Superior em 4/5 objetos	O FalconApp reduziu significativamente o Erro de Translação Média (MTE) e o Erro Angular Médio (MAE) no Carro, Quadrotor, Portão e Avião.
Caso de Falha	Lâmpada	A Lâmpada performou pior que o PnP devido à simetria rotacional, que cria ambiguidade na estimativa de orientação.

• Transferência para o Mundo Real: Os modelos treinados em dados sintéticos generalizaram bem para ambientes do mundo real com fundos diferentes, demonstrando uma transferência Sim-to-Real eficaz.

---

5. Significado e Trabalho Futuro

Significado:
O FalconApp demonstra que a percepção sob demanda, específica do objeto é viável sem coleta de dados manual em grande escala. Ele democratiza a percepção robótica permitindo que não especialistas implantem modelos de visão personalizados em dispositivos móveis em minutos. O uso de rotulagem automática baseada em GSplat resolve efetivamente o "gargalo de rotulagem" e a "lacuna sim-to-real" simultaneamente.

Limitações e Trabalho Futuro:

• Apenas Objetos Rígidos: Atualmente assume objetos rígidos; objetos deformáveis não são suportados.
• Problemas de Simetria: O desempenho degrada em objetos altamente simétricos (por exemplo, a lâmpada) onde a orientação é ambígua.
• Direções Futuras:
  • Tratamento aprimorado de simetria e ambiguidade.
  • Técnicas de randomização de domínio mais robustas.
  • Implantação totalmente a bordo (executando todo o pipeline no dispositivo).
  • Integração com tarefas a jusante, como navegação aérea e manipulação.