Diagnosing and Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

Resumo Técnico: Diagnóstico e Reparo de Atalhos de Prioridade de Forma em Projeção de Franjas de Fotogrametria de Longo Alcance de Disparo Único

Declaração do Problema
O aprendizado de máquina aplicado à projeção de franjas de fotogrametria (FPP) de disparo único alcançou sucesso em regimes de curto alcance (ex: endoscopia, bancada) onde o contraste das franjas e a geometria de triangulação são favoráveis. No entanto, o regime de longo alcance (distância de trabalho > 1 m) permanece amplamente não abordado devido a três desafios acoplados: (1) a queda da intensidade luminosa pelo inverso do quadrado degrada a relação sinal-ruído e a confiabilidade da verdade fundamental física; (2) a formulação de disparo único é intrinsecamente mal posta porque a informação de ordem de franja não está disponível a partir de uma única imagem, levando a erros de profundidade que escalam quadraticamente com a distância; e (3) as arquiteturas existentes carecem de interpretabilidade mecanística, deixando o diagnóstico de erro sem orientação principiológica. Além disso, o campo carece de um benchmark compartilhado, com normalizações, funções de perda e protocolos de avaliação inconsistentes entre os estudos.

Metodologia
Os autores apresentam um estudo unificado de "diagnóstico-reparo-verificação" utilizando o FPP-ML-Bench, o primeiro benchmark sintético fotorrealista de código aberto para FPP de disparo único. Construído sobre o framework VIRTUS-FPP dentro do NVIDIA Isaac Sim, o conjunto de dados compreende 15.600 imagens de franjas de 50 objetos diversos a uma distância de 1,5–2,1 m.

A metodologia procede em quatro estágios:

1. Ablação Sistemática: Os autores isolam escolhas de design (normalização, processamento de fundo, composição de múltiplos quadros, funções de perda e arquitetura) para estabelecer uma linha de base de melhor desempenho.
2. Diagnóstico de Interpretabilidade Mecanística (MI): Utilizando linear probing, Grad-CAM e testes de plano plano fora de distribuição (OOD), os autores investigam se a rede de linha de base aprende a decodificação de franjas baseada na física ou atalhos geométricos.
3. Reparo Arquitetural: Com base no diagnóstico, os autores introduzem a PhiCalNet, uma arquitetura de fase intermediária. Diferente das redes padrão de regressão de profundidade, a PhiCalNet produz uma representação de fase envolta $(\sin \phi, \cos \phi)$. Uma camada de calibração fixa e diferenciável mapeia deterministicamente esta fase para a profundidade usando a física de triangulação de FPP. Este design remove a solução de prioridade de forma do espaço de hipóteses por meio de restrição arquitetural, em vez de penalidade de perda.
4. Verificação: O reparo é verificado via:
   • MI: Reaplicação da bateria de interpretabilidade à PhiCalNet para confirmar que ela aprende a fase em vez da forma.
   • Quantificação de Incerteza (UQ): Aplicação de predição conformal pixel a pixel em um ensemble de snapshots para determinar se a incerteza autorrelatada pelo modelo se alinha com seus modos de falha.
   • Contrafatuais: Comparação da PhiCalNet contra uma linha de base de Rede Neural Informada pela Física (PINN), onde a física é imposta via uma penalidade de perda suave em vez de arquitetura.

Principais Descobertas e Resultados

• Otimização da Linha de Base: Ablações sistemáticas revelaram que a normalização de profundidade individual (desacoplando escala de forma) melhorou o Erro Médio Absoluto (MAE) do objeto em 9,1× em relação à profundidade bruta. Contrariamente à intuição, as franjas de fundo são sinal essencial, não ruído; removê-las degradou o desempenho em 2,8–7,3×. A perda híbrida L1 ($\alpha=0,7$) e a arquitetura UNet superaram TransUNet, ResUNet e Pix2Pix. A melhor linha de base (UNet) alcançou 14,54 mm de MAE do objeto, mas a análise de resíduos sugeriu um limite representacional em vez de um problema de capacidade.
• O Diagnóstico do Atalho: A análise mecanística da linha de base UNet revelou que ela resolve a tarefa via prioridades de forma de borda de objeto em vez de decodificação de fase de franja.
  • Linear Probing: Características geométricas (bordas) foram 2,82× mais fáceis de decodificar das ativações internas do que os valores de profundidade.
  • Grad-CAM: A atenção correlacionou-se mais fortemente com as bordas do objeto (1,28×) do que com os padrões de franja.
  • Teste OOD: Em um plano plano sem características, a rede colapsou para previsões de profundidade próximas de zero, falhando em utilizar os padrões de franja válidos presentes, confirmando a dependência de modelos de forma.
• Desempenho da PhiCalNet: Ao forçar a rede a produzir fase envolta, a PhiCalNet reduziu o MAE do objeto em 3,3× (de 14,54 mm para 4,46 mm) em comparação com a linha de base UNet.
  • Um contrafatual PINN (impondo a física via perda suave em uma rede de regressão de profundidade) não rendeu ganho mensurável, isolando o enquadramento arquitetural como o fator operante.
  • O erro residual da PhiCalNet foi localizado em 0,103% dos pixels na descontinuidade de embrulho $\pm\pi$, um limite estrutural da regressão contínua de um alvo descontínuo.
  • Uma extensão de 3 quadros da PhiCalNet reduziu ainda mais o MAE para 1,16 mm, validando o déficit informacional-teórico da aquisição de disparo único.
• Quantificação de Incerteza: A predição conformal pixel a pixel demonstrou que os erros da PhiCalNet são estruturalmente legíveis. Rejeitar os 5% superiores de pixels por discordância de snapshot reduziu o RMSE da PhiCalNet em 64% (20,6 mm $\to$ 7,4 mm), enquanto o mesmo procedimento reduziu o RMSE da linha de base UNet em apenas 3,5%. Isso confirma que as falhas da PhiCalNet estão concentradas em loci geométicos específicos onde o modelo identifica corretamente alta incerteza, ao contrário dos erros difusos da linha de base.

Significância e Alegações
O artigo reivindica três contribuições primárias:

1. Benchmarking: A introdução do FPP-ML-Bench fornece uma superfície de avaliação padronizada e reproduzível para FPP de longo alcance de disparo único, abordando a falta de infraestrutura compartilhada no campo.
2. Insight Mecanístico: Esta é a primeira aplicação de interpretabilidade mecanística à FPP, revelando que as abordagens padrão de aprendizado profundo neste domínio frequentemente dependem de atalhos geométricos (prioridades de forma) em vez de decodificação de fase física, um modo de falha exacerbado pela natureza mal posta da reconstrução de longo alcance de disparo único.
3. Solução Arquitetural: Os autores demonstram que restrições arquiteturais (produzir fase em vez de profundidade) são mais eficazes do que penalidades de perda (PINNs) para impor consistência física. A PhiCalNet remove com sucesso o atalho de prioridade de forma do espaço de hipóteses.

Os autores enquadram a convergência de Interpretabilidade Mecanística, Análise de Erro Residual e Quantificação de Incerteza em um único locus físico (a descontinuidade de embrulho $\pm\pi$) como um template metodológico para o aprendizado informado pela física. Eles argumentam que, quando o modo de falha de um modelo possui um locus geomético ou físico específico, essas três ferramentas de diagnóstico podem convergir para fornecer uma explicação coerente do comportamento do modelo, uma condição frequentemente ausente em modos de falha difusos encontrados em outros domínios como linguagem ou imagem médica.

O artigo conclui que o erro residual em FPP de disparo único é fundamentalmente informacional-teórico (devido à falta de informação de ordem de franja) e não uma limitação de modelagem, e que embora a PhiCalNet melhore significativamente a precisão, o erro restante é estruturalmente limitado pela física do problema.