Repairing Shape-Prior Shortcuts in Long-Range Single-Shot Fringe Projection Profilometry

기술 요약: 장거리 단일 샷 FPP에서의 형상 사전 지식 지름길(Shape-Prior Shortcuts) 수리

문제 정의
단일 샷 간섭 무늬 투영 프로파일로메트리(Fringe Projection Profilometry, FPP)는 단 하나의 간섭 무늬 이미지로부터 조밀하고 비접촉적인 3D 재구성을 달িং하는 것을 목표로 하며, 이를 통해 기존의 다단계 위상 이동 FPP가 실패하는 비정적 조건(움직이는 물체, 가변 조명)에서도 작동할 수 있게 한다. 그러나 장거리 영역(스탠드오프 > 1 m)에서 단일 샷 재구성은 본질적으로 부적정(ill-posed) 문제이다. 단일 간섭 무늬 강도 이미지를 깊이(depth)로 매핑하는 과정은 간섭 차수(fringe-order) 정보 없이는 비단사(non-injective) 함수인데, 이는 강도가 $2\pi$ 주기성을 가진 코사인 함수에 의존하기 때문이다. 결과적으로, 잘못된 간섭 차수는 거리의 제곱($Z^2$)에 비례하여 증가하는 깊이 오차를 유발한다.

이전 연구(Haroon et al., 2026b)는 표준 딥러닝 베이스라인(특히 깊이 회귀 UNet)이 이 문제를 해결하지 못한다는 점을 입증했다. 이러한 네트워크들은 간섭 위상을 디코딩하여 깊이를 복원하는 대신, "형상 사전 지식 지름길(shape-prior shortcut)"을 악용한다. 즉, 이들은 물체의 경계를 탐지하고 학습된 형상 템플릿을 채워 넣음으로써 간섭 물리 법칙 자체를 우회한다. 이러한 실패는 가설 공간(hypothesis space)의 특성이다. 매핑이 비단사적이기 때문에, 표준 $L_1/L_2$ 회귀로 훈련된 최적화 도구들은 형상 사전 지식 대리 모델(shape-prior surrogate)로 붕괴된다. 더 많은 데이터나 모델 용량을 추가하더라도, 지름길이 탐색 공간 내에 여전히 존재하기 때문에 이 문제는 해결되지 않는다.

방법론: PhiCalNet
이러한 실패를 수리하기 위해, 저자들은 단순히 손실 함수 페널티를 통해 이를 억제하는 것이 아니라, 구조적으로 형상 사전 지식 솔루션을 가설 공간에서 제거하도록 설계된 위상 중간 단계 아키텍처인 PhiCalNet을 도입한다.

1. 아키텍처 프레이밍: 표준 네트워크가 깊이를 직접 회귀($I \to Z$)하는 것과 달리, PhiCalNet은 래핑된 위상 표현($\sin \phi, \cos \phi$)을 출력한다. 네트워크는 깊이를 직접적인 학습 대상으로서 생성하지 않는다.
2. 고정된 미분 가능한 캘리브레이션: 출력된 위상은 결정론적인 FPP 삼각 측량 물리학을 적용하는 고정된 비학습 미분 가능 캘리브레이션 레이어($\mathcal{C}$)를 통해 깊이로 매핑된다. 이는 네트워크가 정확한 깊이를 얻기 위한 유일한 경로가 정확한 래핑 위상을 예측하는 것뿐임을 보장한다.
3. 보조 간섭 차수: 단일 샷 재구성의 비단사성을 해결하기 위해, PhiCalNet은 (그레이 코드 또는 다중 주파수 디코딩으로부터 선언된) 보조 부가 정보로서 간섭 차수($k$)를 입력으로 받는다. 네트워크는 $I \to (\sin \phi, \cos \phi)$ 매핑을 학습하며, 언래핑($\Phi = \phi + 2\pi k$)과 삼각 측량은 고정된 파이프라인에 의해 처리된다.
4. 손실 함수: 훈련에는 다음과 같은 복합 손실이 사용된다:
   • $\mathcal{L}_{circ}$: 단위 원 위의 측지선 위상 항으로, $\pm \pi$ 래핑 경계 근처의 오차에 가중치를 높게 부여한다.
   • $\mathcal{L}_{\nabla}$: 위상 그래디언트에 대한 매끄러움 정규화 항이다.
   • $\mathcal{L}_{d}$: 최종 깊이에 대한 하이브리드 $L_1$ 손실로, 고정된 캘리브레이션을 통해 백본으로 이어지는 그래디언트 경로를 활성화한다.

주요 기여

1. 손실 페널티를 넘어서는 아키텍처적 수리: 본 논문은 물리 법칙을 소프트 손실 페널티(물리 정보 신경망, PINN 베이스라인)로 강제하는 것은 개선 효과가 없음을 보여준다. 개선은 오직 재구성을 고정된 캘리브레이션 레이어를 통하도록 강제하는 아키텍처적 선택으로부터 온다. 이는 네트워크가 반드시 위상을 표현하도록 강제한다.
2. 기계론적 해석 가능성(Mechanistic Interpretability): 저자들은 선형 프로빙(linear probing), 이중 모드 Grad-CAM, 그리고 평면 외 분포(out-of-distribution) 테스트를 포함한 일련의 해석 가능성 프로브를 적용하여 PhiCalNet이 의도된 물리학을 학습했는지 검증한다.
   • 선형 프로빙: 위상이 가장 잘 디코딩되는 내부 특징인 반면, 깊이는 가장 디코딩하기 어려운 특징이다(UNet 베이스라인에서는 '형상으로서의 깊이'가 디코더에 응축되어 있음).
   • Grad-CAM: "위상 모드"에서 네트워크는 간섭 패턴에 주목하지만, "깊이 모드"에서는 그래디언트가 캘리브레이션 레이어를 통과한 후에야 물체 경계로 주의가 이동한다.
   • 평면 테스트: Phi-CalNet은 특징이 없는 평면(형상 사전 지식이 실패하는 지점)에서도 균일한 깊이를 정확히 복원하는 반면, UNet 베이스라인은 거의 0에 가까운 깊이로 붕괴된다.
3. 불확실성 정량화(Uncertainty Quantification, UQ): 본 논문은 FPP에 컨포멀 예측(conformal prediction)을 최초로 적용한다. 모델의 불확실성(스냅샷 앙상블 불일치)이 잔차 오차 분석에서 식별된 것과 동일한 위치인 $\pm \pi$ 래핑 불연속점에 집중되어 있음을 보여준다.
4. 방법론적 템플릿: 기계론적 해석 가능성(MI), 잔차 오차 분석, 그리고 불확실성 정량화(UQ)가 단일 기하학적 위치에서 수렴하는 것을 제안하며, 이를 물리 정보 학습을 위한 "진단-수리-검증" 템플릿으로 제시한다.

결과
FPP-ML-Bench(15,600개의 간섭 이미지, 50개의 물체, 1.5~2.1 m 스탠드오프)에서 평가한 결과:

• 정확도: PhiCalNet은 최적의 UNet 베이스라인 대비 물체 평균 절대 오차(MAE)를 3.3배 감소시켰다 (4.46 mm vs. 14.54 mm).
• 잔차 분석: 남은 오차는 매우 국소적이다. 전체 제곱 평균 제곱근 오차(RMSE) 꼬리는 $\pm \pi$ 래핑 불연속점에 위치한 **0.103%**의 물체 픽셀에 의해 발생한다. 이는 적합(fitting) 실패가 아닌, 불연속적인 타겟에 대한 연속적 회귀의 구조적 한계로 식별된다.
• 다중 프레임 확장: 입력을 세 개의 위상 이동 프레임으로 확장하면 물체 MAE가 1.16 mm로 감소하며, 이는 단일 샷의 잔차가 정보 이론적 한계임을 확인시켜 준다.
• 간섭 차수 민감도: 시스템은 최대 5%의 픽셀 단위 간섭 차수 오염이 있어도 오라클(oracle) 정확도의 5% 이내를 유지하며, 이는 오라클 가정이 엄격한 배포 요구사항이라기보다 형식적 모델임을 나타낸다.
• UQ 효능: 스냅샷 불일치가 가장 높은 상위 5%의 픽셀을 제거하면 PhiCalNet의 RMSE는 64% 감소(20.6 mm $\to$ 7.4 mm)하는 반면, UNet 베이스라인에 동일한 절차를 적용했을 때의 감소율은 3.5%에 불과했다.

의의 및 주장
본 논문은 단일 샷 FPP 네트워크의 실패가 용량(capacity)의 문제가 아니라 표현(representation)의 문제이며, 최적화 도구가 형상 사전 지식을 이용해 부적정한 물리학을 우회한다는 점을 주장한다. PhiCalNet의 의의는 위상을 주요 출력으로 만들고 깊이를 고정된 물리학의 결정론적 결과로 만듦으로써 형상 사전 지식 지름길을 제거하는 아키텍처적 프레이밍에 있다.

저자들은 자신들의 기여를 다음과 같이 겸허하게 규정한다:

1. 손실 수준의 물리 강제보다 뛰어난 구체적인 아키텍처 솔루션(PhiCalNet)을 제시한다.
2. 잔차 오차를 래핑 경계 아티팩트로 하는 분석적 특성을 규명한다.
3. MI와 UQ가 동일한 실패 위치에서 수렴하는 워크플로우를 통해, 실패 모드가 특정 기하학적 위치를 갖는 물리 정보 학습 시스템을 진단하고 수리하는 템플릿을 제공한다.

본 논문은 단일 샷 설정에서 간섭 차수 정보의 필요성을 제거하거나 sim-to-real 전이 문제를 해결한다고 주장하지 않는다. 대신, 지름길을 유발하는 아키텍처적 원인을 격리하고, 이를 수정함으로써 불확실성 정량화를 통해 효과적으로 관리할 수 있는 구조적으로 명확한 실패 모드를 입증하는 데 집중한다.