Diagnosing and Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

기술 요약: 장거리 단일 샷 프린지 투영 프로필로메트리(FPP)에서의 형상 사전 지식 지름길(Shape-Prior Shortcuts) 진단 및 복구

문제 정의
학습 기반 단일 샷 프린지 투영 프로필로메트리(FPP)는 격자 대비와 삼각 측량 기하학적 조건이 유리한 근거리 영역(예: 내시경, 탁상용)에서는 성공을 거두었습니다. 그러나 장거리 영역(이격 거리 > 1m)은 세 가지 결합된 과제로 인해 여전히 해결되지 않은 상태로 남아 있습니다: (1) 빛의 세기가 역제곱 법칙에 따라 감소함에 따라 신호 대 잡음비(SNR)와 물리적 실제값의 신뢰도가 저하됩니다 (2) 단일 이미지에서는 격자 차수(fringe-order) 정보를 얻을 수 없기 때문에 단일 샷 정식화는 본질적으로 부적정(ill-posed)하며, 이로 인해 거리의 제곱에 비례하여 깊이 오차가 발생합니다 (3) 기존 아키텍처는 기계적 해석 가능성(mechanistic interpretability)이 부족하여 원칙적인 가이드 없이 오류 진단이 불가능합니다. 더욱이, 이 분야는 일관되지 않은 정규화, 손실 함수 및 평가 프로토콜로 인해 공유된 벤치마크가 부재한 상황입니다.

방법론
저자들은 최초의 오픈 소스 광학적 사실주의 합성 벤치마크인 FPP-ML-Bench를 활용하여 통합적인 "진단-복구-검증" 연구를 제시합니다. VIRTUS-FPP 프레임워크 내 NVIDIA Isaac Sim을 기반으로 구축된 이 데이터셋은 1.5~2.1m 이격 거리에서 촬영된 50개의 다양한 물체에 대한 15,600개의 격자 이미지를 포함합니다.

방법론은 네 단계로 진행됩니다:

1. 체계적 절제 연구(Systematic Ablation): 저자들은 최적의 성능을 보이는 베이스라인을 설정하기 위해 설계 선택지(정규화, 배경 처리, 다중 프레임 구성, 손실 함수 및 아키텍처)를 분리하여 조사합니다.
2. 기계적 해석 가능성(MI) 진단: 선형 프로빙(linear probing), Grad-CAM, 그리고 분포 외(OOD) 평면 테스트를 사용하여, 베로라인 네트워크가 물리 기반의 격자 디코딩을 학습하는지 아니면 기하학적 지름길(shortcut)을 학습하는지 조사합니다.
3. 아키텍처 복구: 진단 결과에 따라, 저자들은 위상 중간 단계 아키텍처인 PhiCalNet을 도입합니다. 표준 깊이 회귀 네트워크와 달리, PhiCalNet은 랩핑된 위상 표현 $(\sin \phi, \cos \phi)$을 출력합니다. 고정된 미분 가능한 교정 레이어는 이 위상을 FPP 삼각 측량 물리 법칙을 사용하여 결정론적으로 깊이로 매핑합니다. 이러한 설계는 손실 페널티가 아닌 아키텍처적 제약을 통해 가설 공간에서 형상 사전 지식 솔루션을 제거합니다.
4. 검증: 복구 과정은 다음과 같이 검증됩니다:
   • MI: 해석 가능성 테스트를 PhiCalNet에 재적용하여, 모델이 형상이 아닌 위상을 학습함을 확인합니다.
   • 불확ness 정량화(UQ): 스냅샷 앙상블에 대한 픽셀 단위 공파 예측(conformal prediction)을 적용하여, 모델이 스스로 보고하는 불확실성이 실패 모드와 일치하는지 결정합니다.
   • 역사실적 검증(Counterfactuals): 물리 법칙을 소프트 손실 페널티로 강제하는 물리 정보 신경망(PINN) 베이스라인과 PhiCalment를 비교합니다.

주요 결과 및 발견

• 베이스라인 최적화: 체계적인 절제 연구 결과, 개별 깊이 정규화(규모와 형상의 분리)가 원시 깊이 대비 물체 평균 절대 오차(MAE)를 9.1배 개선함을 밝혔습니다. 직관과는 반대로, 배경 격자는 노이즈가 아닌 필수적인 신호이며, 이를 제거했을 때 성능이 2.8~7.3배 저하되었습니다. 하이브리드 L1 손실 ($\alpha=0.7$)과 UNet 아키텍처가 TransUNet, ResUNet, Pix2Pix보다 우수한 성능을 보였습니다. 최적의 베이스라인(UNet)은 14.54mm의 물체 MAE를 달est했으나, 잔차 분석은 이것이 용량의 문제가 아닌 표현력의 한계임을 시사했습니다.
• 지름길 진단: UNet 베이스라인에 대한 기계적 분석 결과, 모델은 격자 위상 디코딩이 아닌 물체 경계 형상 사전 지식을 통해 과업을 해결하고 있음이 드러났습니다.
  • 선형 프로빙: 내부 활성화로부터 기하학적 특징(에지)을 디코딩하는 것이 깊이 값을 디코딩하는 것보다 2.82배 쉬웠습니다.
  • Grad-CAM: 어텐션이 격자 패턴보다 물체 경계와 1.28배 더 강하게 상관되어 있었습니다.
  • OOD 테스트: 특징이 없는 평면에서 네트워크는 깊이 예측값이 거의 0으로 붕괴되었으며, 존재하는 유효한 격자 패턴을 활용하지 못했습니다. 이는 모델이 형상 템플릿에 의존하고 있음을 확인시켜 줍니다.
• PhiCalNet 성능: 위상 출력을 강제함으로써, PhiCalNet은 UNet 베이스라인 대비 물체 MAE를 3.3배(14.54mm에서 4.46mm로) 감소시켰습니다.
  • PINN 역사실적 검증(깊이 회귀 네트워크에 소프트 손실로 물리를 강제)은 측정 가능한 이득을 전혀 보여주지 못했으며, 이는 아키텍처 프레이밍 자체가 핵심 요소임을 고립시켜 보여주었습니다.
  • PhiCalNet의 잔차 오차는 $\pm\pi$ 랩핑 불연속 지점의 0.103% 픽셀에 국한되었습니다. 이는 불연속적인 타겟을 연속적으로 회귀할 때 발생하는 구조적 한계입니다.
  • PhiCalNet의 3-프레임 확장은 MAE를 1.16mm로 더욱 감소시켜, 단일 샷 획득의 정보 이론적 결핍을 입증했습니다.
• 불확실성 정량화: 픽셀 단위 공파 예측은 PhiCalNet의 오차가 구조적으로 읽힐 수 있음을 보여주었습니다. 스냅샷 간 불일치 상위 5%의 픽셀을 제외했을 때, PhiCalnet의 RMSE는 64%(20.6mm $\to$ 7.4mm) 감소한 반면, 동일한 절차를 적용한 UNet 베이스라인의 RMSE 감소율은 3.5%에 불과했습니다. 이는 PhiCalNet의 실패가 모델이 높은 불확실성을 올바르게 식별하는 특정 기하학적 위치에 집중되어 있음을 확인시켜 주며, 베이스라인의 확산된 오차와 대조됩니다.

의의 및 주장
본 논문은 세 가지 주요 기여를 주장합니다:

1. 벤치마킹: FPP-ML-Bench의 도입은 장거리 단일 샷 FPP를 위한 표준화되고 재현 가능한 평가 표면을 제공하여, 이 분야의 공유 인프라 부재 문제를 해결합니다.
2. 기계적 통찰: 본 연구는 FPP에 메카니즘적 해석 가능성을 적용한 첫 사례로, 표준 딥러닝 접근 방식이 물리적 위상 디코딩이 아닌 기하학적 지름길(형상 사전 지식)에 의존하는 경우가 많다는 것을 밝혀냈습니다. 이는 단일 샷 장거리 재구성의 부적정한 특성에 의해 악화되는 실패 모드입니다.
3. 아키텍처 솔루션: 저자들은 아키텍처적 제약(위상 출력)이 손실 페널티(PINN)보다 물리적 일관성을 강제하는 데 더 효과적임을 입증합니다. PhiCalNet은 형상 사전 지식 지름길을 가설 공간에서 성공적으로 제거합니다.

저자들은 기계적 해석 가능성, 잔차 분석, 그리고 불확실성 정량화가 단일 물리적 위치($\pm\pi$ 랩핑 불연속 지점)에서 수렴하는 것을 물리 정보 학습을 위한 방법론적 템플릿으로 제시합니다. 그들은 모델의 실패 모드가 특정 기하학적 또는 물리적 위치를 가질 때, 이 세 가지 진단 도구가 모델 행동에 대한 일관된 설명을 제공하기 위해 수렴할 수 있다고 주장하며, 이는 언어나 의료 영상 분야에서 발견되는 확산된 실패 모드와는 다른 조건입니다.

결론적으로, 단일 샷 FPP의 잔차 오차는 모델링의 한계가 아니라 근본적으로 정보 이론적인 문제(격자 차수 정보의 부재로 인한)이며, PhiCalNet이 정확도를 크게 향상시키더라도 남은 오차는 문제의 물리 법칙에 의해 구조적으로 제한된다고 논문은 명시합니다.