Resumo Técnico: STORM (Segmentação, Rastreamento e Re-localização de Objeto a partir de uma Única Imagem)

1. Declaração do Problema

A estimativa e o rastreamento precisos de pose 6D são fundamentais para sistemas de IA física, mas a implantação no mundo real permanece frágil. Pipelines atuais frequentemente dependem de modelos CAD curados, mascaramento manual ou adaptação por objeto, falhando sob oclusão severa, desfoque de movimento e mudanças rápidas de ponto de vista. Uma limitação crítica dos métodos existentes é a falta de um mecanismo principiado para reconhecer falhas de rastreamento; os rastreadores frequentemente operam "cegos", assumindo que o alvo permanece dentro de uma bacia de atração local. Quando ocorre deriva devido a deslocamentos distribucionais entre a referência canônica (por exemplo, uma única imagem limpa) e a consulta observacional (por exemplo, um quadro de vídeo bagunçado e ocluído), a recuperação é difícil sem detecção explícita de falha.

2. Metodologia

STORM (Segmentação, Rastreamento e Re-localização de Objeto a partir de uma Única iMage) é um framework unificado projetado para rastreamento de pose 6D sem anotação e condicionado a referência. Ele conecta a compreensão semântica e a consistência geométrica por meio de dois módulos acoplados e aprendíveis: o Módulo de Segmentação de Objeto (SOM) e o Módulo de Rastreamento de Objeto (TOM). O framework aproveita modelos fundacionais congelados (DINOv3, CLIP, SAM3D, FoundationPose) para representação e geometria, enquanto treina componentes específicos para fusão e verificação.

2.1. Módulo de Segmentação de Objeto (SOM)

O SOM realiza alinhamento de características de grosso para fino para recuperar máscaras de objeto e geometria 3D a partir de uma ou mais imagens de referência. Sua inovação central é a arquitetura de Atenção de Fusão Espacial Hierárquica (HSFA):

• Injeção de Priori Semântica: Para resolver ambiguidades de instância (por exemplo, distinguir uma caneca alvo de um distrator), o STORM injeta restrições semânticas derivadas de Modelos Visão-Linguagem (VLMs). Um prompt genérico e a imagem de referência são processados por um VLM para gerar um descritor de objeto conciso, que é codificado pelo CLIP. Este embedding semântico modula tokens visuais normalizados por meio de camadas de condicionamento do tipo AdaLN/FiLM inicializadas com zero, permitindo que o modelo aprenda correções residuais de estatísticas de características.
• Atenção de Fusão Espacial Hierárquica (HSFA): Diferentemente de concatenação simples ou atenção cruzada padrão, a HSFA agrega evidências da visão de referência e interações consulta-referência em múltiplas escalas. Ela constrói uma representação canônica coerente a partir de referências de uma ou múltiplas visões e, em seguida, alinha características de consulta a essa representação. Esse processo é iterativo, refinando progressivamente a representação de consulta com evidências condicionadas à referência.
• Alinhamento Implícito: A HSFA induz correspondência densa token-a-token por meio de mecanismos de atenção. A matriz de alinhamento é interpretada como um peso de alinhamento, através do qual um prior de objetividade de referência é propagado para gerar a máscara de consulta.
• Ancoragem Geométrica: As características 2D alinhadas são elevadas a SE(3) usando o SAM3D, que gera uma malha 3D canônica a partir da(s) imagem(ns) de referência. Essa malha serve como uma âncora geométrica rígida, permitindo que o estimador de pose a jusante (FoundationPose) mapeie máscaras previstas para coordenadas 3D métricas.

2.2. Módulo de Rastreamento de Objeto (TOM)

O TOM funciona como um verificador de compatibilidade aprendido para monitorar a fidelidade do rastreamento e acionar re-inicialização quando a deriva persiste.

• Verificação de Compatibilidade: O TOM é treinado como um classificador binário para distinguir entre pares observação-memória compatíveis (rastreamentos bem-sucedidos) e pares incompatíveis (confusão de identidade ou deriva). Ele recebe como entrada um recorte de observação atual e um pool de memória de recortes passados bem-sucedidos.
• Regra de Decisão Tipo Energia: Em vez de uma decisão binária rígida, o TOM emite um logit de compatibilidade contínuo. Isso é convertido em uma pontuação tipo energia ($E = -g_\theta$), onde alta energia indica baixa compatibilidade (deriva).
• Suavização Temporal e Limiarização: Para evitar falsos positivos decorrentes de oclusões transitórias ou desfoque de movimento, a pontuação de energia é suavizada usando uma Média Móvel Exponencial (EMA). A perda de rastreamento é declarada apenas se a energia suavizada exceder um limiar calibrado por $L$ quadros consecutivos (por exemplo, $L=3$).
• Re-localização Automática: Ao detectar deriva persistente, o sistema aciona o SOM para re-segmentar o objeto e re-inicializar a pose, fechando efetivamente o ciclo.

3. Contribuições Principais

1. Framework Unificado: O STORM propõe um único framework para rastreamento de pose 6D sem anotação e condicionado a referência, que aborda o deslocamento distribucional entre dados de referência e consulta sem exigir modelos CAD ou ajuste fino específico de instância no momento da inferência.
2. Atenção de Fusão Espacial Hierárquica (HSFA): Uma arquitetura orientada a tarefas para segmentação condicionada a referência de visão variável. A HSFA combina agregação de visão de referência, atenção cruzada consulta-referência e condicionamento semântico opcional derivado de VLMs para melhorar a robustez sob bagunça e oclusão.
3. Verificação de Perda de Rastreamento: A formulação da verificação de rastreamento como um problema de compatibilidade treinado com BCE. Implementado via TOM, esse mecanismo usa uma pontuação tipo energia derivada do logit de compatibilidade para detectar deriva persistente e acionar re-inicialização automática.
4. Benchmark de Falha de Rastreamento: O estabelecimento de um benchmark que avalia rastreadores não apenas na precisão de pose, mas também em sua capacidade de distinguir rastreamentos válidos de modos de falha, demonstrando que o TOM fornece detecção de perda de rastreamento mais confiável do que bases de aprendizado métrico fixas.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados LM-O e YCB-Video sob uma configuração de inferência sem anotação (sem máscaras, caixas ou atualizações específicas de objeto no momento do teste).

• Precisão de Estimativa de Pose: No LM-O, o STORM alcançou um ADD-AUC de 74,0% e um ADD-S-AUC de 89,0%, superando a base forte (FoundationPose + CNOS) e aproximando-se do desempenho do FoundationPose usando máscaras ground-truth (78,0% e 93,0%, respectivamente). No YCB-Video, o STORM igualou a configuração ground-truth e superou a base CNOS em 5%.
• Qualidade de Segmentação: O módulo SOM alcançou uma Precisão Média (mAP) de 67,7% em cinco conjuntos de dados BOP, estabelecendo um novo estado da arte em quatro deles (LM-O, TUD-L, HB, YCB-Video) e superando bases supervisionadas no T-LESS sem ajuste fino.
• Robustez de Rastreamento: Em testes de estresse envolvendo movimento rápido e oclusão, o STORM superou significativamente uma base sem detecção de falha (ADD-AUC 74,64% vs. 52,76%). O módulo TOM detectou com sucesso a deriva e acionou o re-rastreamento, enquanto a base falhou em recuperar.
• Eficiência: O sistema opera em tempo real. O verificador TOM adiciona aproximadamente 9,1ms por quadro, mantendo o ciclo de rastreamento em estado estacionário dentro do regime de 25–33 FPS. O SOM é invocado apenas para inicialização ou re-localização, rodando a ~22 FPS para configurações de referência única.

5. Significado e Alegações

O artigo afirma que o STORM demonstra que o aprendizado de representação condicionado a referência, combinado com verificação explícita de perda de rastreamento, supera a correspondência de templates tradicional em configurações sem anotação. Ao integrar compreensão semântica com consistência geométrica, o framework reduz os requisitos intensivos em mão de obra para implantar sistemas de IA física.

Os autores enfatizam que a capacidade de modelar explicitamente a confiabilidade do estado de rastreamento é uma contribuição chave. Diferentemente de métodos anteriores que derivam silenciosamente, o STORM fornece um sinal contínuo de auto-verificação que distingue incerteza transitória de deriva persistente, permitindo recuperação autônoma. O trabalho sugere que a geometria reconstruída (via SAM3D) pode ser suficiente para registro de pose prática se a consistência de coordenadas for tratada cuidadosamente, reduzindo a dependência de ativos CAD curados.

O artigo mantém uma postura modesta, reconhecendo limitações como ambiguidade em objetos simétricos ou sem textura (por exemplo, T-LESS) e a dependência da fidelidade das reconstruções do SAM3D e do backend FoundationPose congelado. Ele observa que, embora a configuração zero-shot atual seja livre de adaptação, trabalho futuro é necessário para adaptação de limiar online e tratamento de objetos novos disjuntos de categoria.