Comprehensive Machine Learning Benchmarking for Fringe Projection Profilometry with Photorealistic Synthetic Data

Definição do Problema

As abordagens de aprendizado de máquina (ML) para a Profilometria de Projeção de Franjas (FPP) enfrentam barreiras significativas para adoção e avanço devido à ausência de conjuntos de dados diversificados e de grande escala com ground truth perfeito e à falta de protocolos de benchmarking abrangentes e padronizados. Embora a FPP tradicional dependa de algoritmos de deslocamento de fase de múltiplas etapas para precisão submilimétrica, o ML oferece o potencial para reconstrução de disparo único (single-shot), permitindo aplicações em tempo real. No entanto, o progresso é dificultado por três questões fundamentais:

1. Escassez de Dados: Diferente da visão computacional geral, a FPP carece de conjuntos de dados padronizados. Adquirir um ground truth 3D perfeito é difícil devido aos erros inerentes ao sistema de medição.
2. Metodologias Inconsistentes: Estudos existentes empregam representações de dados arbitrárias (por exemplo, variando entre milímetros brutos, normalizados [0,1] ou metros) e funções de perda (L1, L2, SSIM, etc.) sem justificativa ou comparação sistemática. Essa inconsistência obscurece se os ganhos de desempenho decorrem de inovação arquitetural ou de ajuste de hiperparâmetros.
3. Limitações Não Resolvidas: Permanece incerto se os erros na reconstrução de disparo único devem-se a configurações de modelo subótimas ou a déficits fundamentais de informação nas imagens de franjas únicas.

Metodologia

Os autores introduzem um framework de benchmarking sistemático construído sobre o VIRTUS-FPP, um sistema FPP virtual baseado em física desenvolvido no NVIDIA Isaac Sim. A metodologia envolve três fases de estudos de ablação para isolar o impacto das decisões de design na reconstrução 3D de disparo único.

1. Geração de Dados:

• Fonte: Um conjunto de dados sintético fotorrealista compreendendo 15.600 imagens de franjas e 300 reconstruções de profundidade em 50 objetos diversos (do YCB e NVIDIA Physical AI Warehouse).
• Simulação: Os objetos são escaneados em uma faixa de 1,5 a 2,1 metros. O sistema utiliza uma sequência de deslocamento de fase de 18 etapas para geração de ground truth, processada via triangulação padrão.
• Configuração Virtual: Um par câmera-projetor calibrado é modelado com ray tracing OptiX para renderização fotorrealista, capturando transporte de luz complexo (múltiplos rebotes, refletividade, oclusão de ambiente) enquanto desabilita sombras para garantir padrões de franjas limpos.

2. Design Experimental (Ablação de Três Fases):

• Fase 1: Normalização de Dados: Os autores comparam três estratégias para representação de profundidade do ground truth:
  • Profundidade Bruta (Raw Depth): Valores de milímetros não normalizados (0–2000 mm).
  • Normalização Global: Escalonado para metros (0–2 m).
  • Normalização Individual: O mapa de profundidade de cada objeto é escalonado independentemente para [0, 1], desacoplando a forma da escala absoluta.
  • Ablação de Fundo: Um experimento removendo padrões de franjas do fundo para testar seu papel como ruído ou sinal.
• Fase 2: Funções de Perda: Seis funções de perda são avaliadas (L1, RMSE, variantes mascaradas e variantes híbridas) para determinar o equilíbrio ideal entre o foco na geometria do objeto e a estabilidade da escala global.
• Fase 3: Benchmarking de Arquitetura: Quatro arquiteturas (UNet, Hformer, ResUNet, Pix2Pix) são testadas usando a configuração ideal identificada nas Fases 1 e 2.

3. Métricas de Avaliação:
Para evitar a diluição dos erros do objeto pelos pixels do fundo (que ocupam 60–90% da imagem), os autores reportam três métricas distintas:

• Erro do Objeto: Calculado apenas em pixels de profundidade não nula (MAE/RMSE).
• Erro de Fundo: Calculado apenas em pixels de profundidade zero.
• Erro Global: Calculado em todos os pixels.

Principais Contribuições

1. Primeiro Benchmark de FPP de Código Aberto: O lançamento de um conjunto de dados sintético fotorrealista (15.600 imagens) com ground truth perfeito, gerado via NVIDIA Isaac Sim, disponível no Hugging Face.
2. Estudos de Ablação Sistemáticos: O artigo estabelece configurações de aprendizado ideais para FPP de disparo único, indo além de escolhas arbitrárias para práticas baseadas em evidências.
3. Descoberta de Limitações Fundamentais: O trabalho fornece evidência empírica de que a principal restrição na FPP de disparo único é um déficit de informação, não o design do modelo, pois mesmo os melhores modelos falham em atingir precisão submilimétrica sem informações de fase explícitas.

Principais Resultados

1. Estratégia de Normalização:

• A Normalização Individual é Superior: Desacoplar a forma do objeto da escala absoluta gera uma melhoria de 9,1× na reconstrução do objeto em comparação com a profundidade bruta (16,20 mm MAE vs. 148,07 mm MAE) e uma melhoria de 5,1× sobre a normalização global.
• Franjas de Fundo são Sinal, Não Ruído: Contra-intuitivamente, remover os padrões de franjas do fundo da entrada degrada catastroficamente o desempenho (2,8× a 7,3× pior em todas as normalizações). Isso prova que as franjas de fundo fornecem uma referência espacial de fase essencial necessária para resolver a ambiguidade inerente de $2\pi$ da reconstrução de disparo único.

2. Otimização da Função de Perda:

• A Perda Híbrida L1 é a Ótima: Uma perda L1 híbrida com $\alpha=0,7$ (equilibrando a perda mascarada do objeto e a perda global) alcança o melhor desempenho, melhorando o erro do objeto em 10% em relação à linha de base RMSE (14,54 mm vs. 16,20 mm MAE).
• Perdas Mascaradas Falham: Funções de perda que excluem pixels de fundo (RMSE/L1 Mascaradas) resultam em um desvio de escala catastrófico (erros >120 mm), pois a rede carece das restrições globais necessárias para manter a consistência métrica.

3. Comparação de Arquitetura:

• UNet Domina: Usando a configuração ideal (Normalização Individual + L1 Híbrida $\alpha=0,7$), a UNet alcança o melhor desempenho (14,54 mm de MAE de objeto), superando a Hformer em 52%, a ResUNet em 60% e a Pix2Pix em 91%.
• Falha da Pix2Pix: A Pix2Pix exibe um desalinhamento fundamental entre o treinamento adversário e os objetivos metrológicos. Embora produza superfícies visualmente plausíveis e suaves com intervalos de profundidade estatisticamente corretos, sofre de desvios sistemáticos (20–40 mm) que resultam na pior precisão métrica. Isso destaca que a plausibilidade perceptual não equivale à precisão de medição.
• Déficit de Informação: A lacuna de desempenho entre a melhor (UNet) e a pior (Pix2Pix) arquitetura é modesta (1,9×). Mesmo o erro do melhor modelo (14,54 mm) representa 18% da amplitude de profundidade do objeto (80 mm), longe das capacidades submilimétricas da FPP tradicional. Isso confirma que as imagens de franja única carecem de informação suficiente para a recuperação precisa de profundidade sem dados de fase explícitos.

Significância e Alegações

O artigo afirma fornecer o primeiro protocolo de avaliação padronizado e um conjunto de dados de benchmark robusto para FPP baseada em aprendizado. Sua principal significância reside na mudança da compreensão da comunidade sobre a reconstrução de disparo único:

• A Limitação é Fundamental: A incapacidade de atingir alta precisão não se deve a um mau design de modelo, mas a uma falta fundamental de informação nas imagens de franja única. As redes aprendem priors de forma grosseira em vez de geometria precisa.
• Rejeição de Abordagens Puramente End-to-End: Os resultados sugerem que o mapeamento direto de franja-para-profundidade sem informação de fase é fundamentalmente limitado.
• Direção Futura: Os autores motivam uma mudança em direção a abordagens híbridas que combinam a FPP baseada em fase tradicional (para precisão geométrica) com o refinamento aprendido (para robustez ao ruído e ambiguidade), em vez de buscar arquiteturas cada vez mais complexas para o mapeamento direto.

O trabalho serve como uma fundação para a pesquisa de FPP orientada por dados, oferecendo ferramentas de código aberto (conjunto de dados e código) para permitir a comparação sistemática e o desenvolvimento de pipelines híbridos de física-ML.