Resumo Técnico: NVS-HO: Um Benchmark para Síntese de Novas Visões de Objetos Manipulados Manualmente

Declaração do Problema

A Síntese de Novas Visões (NVS) para objetos manipulados manualmente em ambientes do mundo real permanece um desafio amplamente inexplorado. Embora os conjuntos de dados existentes tenham avançado a estimativa de pose 6-DoF para interações mão-objeto, eles frequentemente dependem de sensores de profundidade, modelos de objetos 3D pré-escaneados ou modelos de mão MANO, tornando-os inadequados para tarefas de NVS baseadas apenas em RGB. Além disso, os datasets orientados para NVS atuais (ex: CO3D, WildRGB-D) ou carecem de poses de verdade fundamental (ground-truth) para os objetos ou focam em cenas estáticas em vez de manipulação dinâmica manual. A dificuldade específica reside em capturar a aparência completa de um objeto enquanto ele é manipulado por uma mão, o que introduz oclusões parciais e desfoque de movimento (motion blur), tudo isso enquanto a câmera permanece estática. Os métodos existentes lutam para estimar poses precisas a partir de imagens RGB sozinhas sob essas condições não restringidas, levando a lacunas significativas na qualidade de renderização.

Metodologia

Criação do Dataset (NVS-HO)

Os autores introduzem o NVS-HO, o primeiro benchmark para NVS apenas de RGB de objetos manipulados manualmente. O dataset compreende 67 objetos (itens de mercearia e brinquedos) registrados em duas sequências complementares:

1. Sequência Manual (HS - Handheld Sequence): O objeto é livremente manipulado por um humano à frente de uma câmera estática. Esta sequência simula a interação natural e é usada para o treinamento de modelos de NVS. Inclui quadros com desfoque de movimento para refletir condições do mundo real.
2. Sequência de Placa (BS - Board Sequence): O mesmo objeto é fixado em uma placa ChArUco enquanto a câmera se move ao seu redor. A detecção de marcadores na placa fornece poses de câmera 6-DoF precisas de verdade fundamental. Esta sequência é usada exclusivamente para avaliação.

Pipeline de Processamento de Dados:

• Segmentação: O Grounded SAM2 é usado para gerar máscaras binárias de primeiro plano para ambas as sequências, removendo o fundo e a mão (no caso da HS).
• Alinhamento de Pose: Para avaliar os métodos de NVS de forma justa, uma Sequência Combinada (CS) é criada ao fundir as imagens mascaradas de HS e BS. O COLMAP é executado na CS com as poses da BS injetadas como restrições rígidas (hard constraints). Isso força as poses da HS a serem estimadas na mesma escala métrica e sistema de coordenadas da BS.
• Protocolo de Avaliação: Um procedimento independente de método alinha as poses de teste (BS) no sistema de coordenadas de qualquer pose estimada pelo método de NVS (HS) usando uma transformação Sim(3) (algoritmo de Kabsch–Umeyama). Isso permite a comparação quantitativa entre imagens sintetizadas e de verdade fundamental.

Baselines e Experimentos

Os autores estabeleceram baselines utilizando dois estimadores de pose e duas arquiteturas de NVS:

• Estimadores de Pose:
  • COLMAP: Um pipeline clássico de Structure-from-Motion (SfM) usando um combinador sequencial.
  • VGGT: Um modelo de ponta baseado em Vision Transformer. Os autores modificaram o VGGT para podar tokens de fundo e focar a atenção no objeto de primeiro plano para lidar com os grandes fundos uniformes comuns em sua configuração.
• Modelos de NVS:
  • Nerfacto: Uma implementação baseada em NeRF do Nerfstudio.
  • Splatfacto: Uma implementação de 3D Gaussian Splatting.
• Estratégia de Treinamento: Os modelos foram treinados na HS usando poses estimadas pelo COLMAP ou VGGT. Experimentos incluíram treinamento com e sem otimização de pose (refinamento) durante a fase de treinamento de NVS. O entalhe de transparência alfa (alpha transparency carving) foi usado para preservar as bordas do objeto.

Métricas

A avaliação é realizada em imagens mascaradas para focar no objeto e lidar com variações de renderização do fundo:

• Avaliação de Primeiro Plano: PSNR, SSIM e LPIPS computados estritamente na região do objeto.
• Avaliação de Fundo: Métricas computadas na região do fundo, com as cores de verdade fundamental normalizadas para corresponder à saída específica do método de NVS para garantir uma comparação justa.

Principais Resultados

Experimentos no dataset NVS-HO revelam lacunas significativas de desempenho sob condições manuais não restringidas:

1. Estimativa de Pose: O COLMAP supera significativamente o VGGT em todas as métricas (PSNR, SSIM, LPIPS), exibindo melhores valores medianos e menor variância. Isso sugere que o SfM tradicional continua sendo preferível para uma estimativa de pose confiável em cenários manuais comparado às abordagens atuais de feed-forward transformer.
2. Desempenho de NVS: O Splatfacto (Gaussian Splatting) supera consistentemente o Nerfacto (NeRF) em todas as métricas.
3. Desempenho Absoluto: Apesar da superioridade relativa do Splatfacto com COLMAP, o desempenho absoluto permanece baixo (ex: mediana de PSNR ~16).
4. Refinamento de Pose: Ativar a otimização de pose durante o treinamento de NVS proporcionou apenas melhorias marginais, indicando que o principal gargalo é a qualidade da estimativa de pose inicial, e não a capacidade de refinamento do modelo de NVS.
5. Análise Qualitativa: As renderizações frequentemente falham em reconstruir totalmente o objeto de novos pontos de vista, particularmente ao usar poses do VGGT, destacando a dificuldade de aprender a aparência total do objeto a partir de sequências manuais ocluídas.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

• Primeiro Benchmark Apenas de RGB: Introduz o primeiro benchmark especificamente projetado para NVS de objetos manipulados manualmente em ambientes do mundo real sem depender de modelos de mão MANO ou modelos de objetos 3D pré-escaneados.
• Novo Dataset: Lança um dataset de 67 objetos apresentando sequências pareadas de Manipulação Manual (HS) e de Placa (BS) com poses de verdade fundamental.
• Protocolo Independente de Método: Propõe um protocolo de avaliação padronizado que alinha os pontos de vista de verdade fundamental no sistema de referência de qualquer método de NVS, facilitando a comparação justa entre diferentes estratégias de estimativa de pose.
• Identificação de Desafios: O benchmark revela que os pipelines de estado da arte atuais lutam significativamente em condições manuais não restringidas, particularmente devido à dificuldade de estimativa de pose e ao tratamento de oclusões causadas pela mão.

Os autores concluem que o NVS-HO fornece uma base desafiadora e prática para impulsionar pesquisas futuras em direção a abordagens mais robustas para a síntese de novas visões baseadas em RGB de objetos manipulados manualmente.