SharpNet: Enhancing MLPs to Represent Functions with Controlled Non-differentiability

기술 요약: SharpNet

문제 정의
다층 퍼셉트론(MLP)은 함수 근사 및 기하학적 표현(예: NeRF 및 SDF에서의 신경 부호 거리 함수)을 위한 표준적인 도구이다. 그러나 매끄러운 활성화 함수를 사용하는 표준 MLP는 전역적으로 매끄러운($C^\infty$) 출력을 생성하는 반면, ReLU 기반 MLP는 구간별 선형($C^0$)이지만 비미분 가능 지점의 위치를 정밀하게 제어할 수 없다. 이러한 한계로 인해 기존 방법들은 특정하거나 사용자 정의된, 또는 학습 가능한 위치에서 의도적인 기울기 불연속성(날카로운 모서리, 코너 또는 메디알 액시스)을 가진 함수를 표현하는 데 어려움을 겪는다. InstantNGP와 같은 그리드 기반 방식이나 NH-Rep와 같은 패치 세분화 방식은 아티팩트, 그리드 정렬 아티팩트를 유발하거나 열린(닫히지 않은) 날카로운 특징 및 복잡한 위상을 처리하지 못하는 경우가 많다.

방법론
저자들은 거의 모든 곳에서 매끄럽지만, 지정된 위치에서 제어된 비미분성($C^0$ 연속성 및 기울기 점프)을 나타내도록 설계된 MLP 구조인 SharpNet을 제안한다.

1. 푸아송 방정식을 통한 특징 함수:
   SharpNet은 표준 MLP 입력에 보조 특징 함수 $f: \Omega \to \mathbb{R}$를 추가한다. 이 함수는 특징 집합 $M$(2D에서의 곡선 또는 3D에서의 곡면)에 대한 **점프 뉴먼 경계 조건(jump Neumann boundary conditions)**을 갖는 푸아송 방정식의 해로 정의된다:

   • $x \in \Omega \setminus M$인 경우 $\nabla^2 f(x) = h(x)$.
   • 연속성 조건: $f$는 $M$을 가로질러 연속이다.
   • 점프 조건: $f$의 법선 미분은 $M$을 가로질러 점프 불연속성을 보인다.

   그린의 제3항등식(Green's third identity)을 사용하여, 이 해는 라플라시안의 그린 함수를 포함하는 경계 적분으로 표현된다. 계산 효율성을 위해 저자들은 $h(x)=0$ 및 점프 크기를 1로 설정하여, 특징 함수를 $M$에 대한 그린 함수의 적분으로 단순화하였다.

2. 국소화 및 가속화:
   높은 비용의 전역 적분을 피하기 위해, 저자들은 몰리파이어(mollifier)(매끄럽고 컴팩트하게 지지된 함수)를 도입한다. 이를 통해 전역 적분을 국소 적분의 합으로 분해할 수 있다. 특징 함수는 국소 기여도의 가중 합으로 계산되며, 이를 통해 함수가 $M$ 위에서 $C^0$를 유지하고 그 외의 곳에서는 $C^\infty$가 되도록 보장한다. 이 공식은 $M$의 기하학적 구조에 대해 완전히 미분 가능하므로 공동 최적화가 가능하다.

3. 네트워크 구조 및 구성:
   최종 네트워크는 $\Phi_\theta(x, f(x))$로 정의된다. 여기서 $x$는 공간 좌표이고 $f(x)$는 보조 특징이다. 이론적 분석(정리 3.1)은 네트워크가 특징 채널에 국부적으로 민감하다면(즉, $\partial \Phi / \partial f \neq 0$), $f$의 비미분성이 출력으로 전달됨을 확인해 준다.

   기울기 점프의 크기가 급격히 변하는 복잡한 기하학적 구조(예: 날카로운 모서리의 접합부)를 처리하기 위해, 특징 집합 $M$은 서로소인 부분 집합 $\{M^{(i)}\}$로 분할된다. 각 부분 집합은 별도의 특징 함수 $f^{(i)}$와 연관된다. 네트워크 입력은 이러한 다수의 특징 함수를 결합하며, 이를 통해 모델이 구간별로 변화하는 방향 미분 점프를 표현할 수 있게 한다.

4. 최적화:
   본 프레임워크는 두 가지 모드를 지원한다:

   • 고정된 특징(Fixed Features): 특징 기하 구조 $M$이 알려진 경우(예: 메쉬로부터), $f$는 고정된 사전 정보(prior)로 취급된다.
   • 학습 가능한 특징(Learnable Features): $M$을 알 수 없는 경우, $M$의 기하학적 구조를 정의하는 파라미터들이 MLP 가중치 $\theta$와 함께 공동으로 최적화된다. $M$에 대한 특징 함수의 미분 가능성은 날카로운 특징의 위치 자체를 데이터(예: 포인트 클라우드)로부터 엔드투엔드로 학습할 수 있게 한다.

주요 기여

• 제어된 비미분성: SharpNet은 표준 MLP의 전역적 매끄러움 한계를 극복하여, 특정하거나 사용자 지정된, 또는 학습 가능한 위치에서 $C^0$ 연속성과 기울기 불연속성을 강제하는 원리적인 방법을 제공한다.
• 메쉬리스(Meshless) 공식: 패치 기반 또는 그리드 기반 방식과 달리, SharpNet은 도메인 세분화나 메쉬 분할을 요구하지 않는다. 이는 CSG 트리의 위상적 제약 없이 열린(닫히지 않은) 날카로운 모서리와 복잡한 위상을 표현할 수 있게 한다.
• 학습 가능한 특징 기하학: 이 방법은 푸아송 방정식을 기반으로 하는 미분 가능한 특징 함수를 도입하여, 사전 분할 없이도 데이터(예: 포인트 클라우드)로부터 날카로운 특징의 위치를 학습할 수 있게 한다.
• 효율적인 평가: 몰리파이어와 선분/삼각형에 대한 폐쇄형 그린 함수 적분을 사용하여 효율적인 국소 평가를 가능하게 하며, 이는 3D 재구성을 위한 확장성을 보장한다.

결과
저자들은 2D 거리 필드 피팅 및 3D CAD 재구성 작업에서 SharpNet을 검증하였다:

• 2D 실험: 측지선 거리 피팅(geodesic distance fitting) 및 메디알 액시스 학습에서, SharpNet(Softplus 활성화 함수 사용)은 날카로운 전이와 메디알 액시스를 정확하게 복원한다. 이는 과도하게 매끄럽게 만드는 표준 MLP, 가짜 주름을 유발하는 ReLU 기반 MLP, 그리고 그리드 정렬 아티팩트를 생성하는 InstantNGP보다 우수한 성능을 보인다.
• 3D CAD 재구성:
  • 메쉬로부터: SharpNet은 NH-Rep보다 날카로운 모서리가 있는 모델을 더 정확하게 재구성하며, 특히 패치 세분화의 한계로 인해 NH-Rep이 실패하는 열린 날카로운 곡선 및 고차 제너스(high-genus) 형상에서 탁월하다.
  • 방향성이 있는 포인트로부터: SharpNet은 Chamfer Distance (CD), Hausdorff Distance (HD), Normal Error (NE) 측면에서 InstantNGP와 SIREN을 능가하며, 그리드 아티팩트 없이 날카로운 모서리를 효과적으로 복원한다.
  • 원시 포인트로부터: 방향성 정보가 없는 경우에도, SharpNet은 NeurCADRecon 및 SIREN보다 우수한 성능을 보이며, 방향성이 없는 포인트 클라우드로부터 기하학적 구조와 날카로운 특징을 모두 학습하는 견고함을 입증했다.
• 정량적 지표: 100개의 CAD 모델 데이터셋 전체에 걸쳐, SharpNet은 최신 베이스라인들과 비교하여 일관되게 낮은 CD, HD, NE 및 더 높은 F-1 점수를 달성하였다.

의의 및 주장
본 논문은 Sharp-한 특징을 가진 기하학을 위한 유연하고 정밀한 대안으로서 SharpNet을 제시한다. 클래식한 PDE 이론(점프 뉴먼 조건을 갖는 푸아송 방정식)과 그린 함수를 활용함으로써, 이 방법은 매끄러운 신경 근사와 날카로운 기하학적 충실도 사이의 간극을 메운다. 저자들은 SharpNet이 의도하지 않은 영역으로 날카로움이 "새어나가는(leaking)" 문제(메쉬 기반 또는 그리드 기반 보간의 문제)를 방지하며, 날카로운 특징의 기하학을 공동 학습할 수 있다는 점을 강조한다. 이 연구는 SharpNet을 복잡하고, 열려 있으며, 고차 제너스를 가진 구조를 처리할 수 있는 임플리시트 CAD 재구성을 위한 우수한 백본으로 자리매김하며, 이는 패치 기반 또는 그리드 기반 접근 방식이 직면한 과제들을 해결한다.