Numerical exploration of the range of shape functionals using neural networks

기술 요약: 신경망을 활용한 형상 범위의 수치적 탐색

문제 제기
본 논문은 벡터 값 형상 범위의 기하학적 표현인 블라슈케 - 산탈로 (Blaschke–Santaló) 도표의 수치적 탐색을 다룬다. 이러한 도표는 일반적으로 볼록체 (convex bodies) 인 특정 집합 클래스 내에서 지정된 형상 범함수 (예: 부피, 둘레, 고유값) 와 관련된 가능한 부등식들을 특징짓는다. 순수 기하학적 범함수에 대해서는 이론적 결과가 존재하지만, 스펙트럼 또는 편미분방정식 (PDE) 관련 양을 포함하는 도표에 대한 명시적 설명이나 정성적 속성을 얻는 것은 여전히 매우 어렵다. 이전의 수치적 접근법들, 예를 들어 볼록 다각형의 무작위 표본 추출이나 보로노이 테셀레이션에 의존하는 방법들은 비균일 표본 추출, 경계 극값 포착 실패, 또는 일반적인 경우에 확립하기 어려운 도표의 볼록성 (예: 수직 볼록성) 에 대한 사전 지식에 의존한다는 단점을 안고 있다.

방법론
저자들은 형상 매개변수화를 위한 특정 신경망 아키텍처와 균일 표본 추출을 위한 상호작용 입자 시스템을 결합한 새로운 수치 프레임워크를 제안한다.

1. 가역 신경망 매개변수화:

   • 초선형 아키텍처: 이 방법은 $\mathbb{R}^d$ 내의 볼록체를 위상동형사상 $\phi_\theta$ 하에서 단위 구 $B$의 이미지로 매개변수화한다. 이 사상은 신경망으로 표현된 게이지 함수 $p_\theta$를 사용하여 구성된다.
   • 볼록성 보존: 결과 집합이 본질적으로 볼록하도록 보장하기 위해, 네트워크 아키텍처는 초선형 제약 조건을 만족하도록 설계된다. 구체적으로, 게이지 함수는 $p_\theta(x) = \beta \|x\| \text{LSE}(W^T x / \|x\|)$로 정의되며, 여기서 LSE 는 LogSumExp 함수이다. 선형 형태의 최대값에 대한 이 매끄러운 근사는 $p_\theta$가 연속적이고, 초선형이며, 원점을 제외하고 $C^\infty$임을 보장한다.
   • 보편적 근사: 저자들은 이 아키텍처로 표현 가능한 볼록체 집합이 하우스도르프 거리 (Hausdorff distance) 에 관하여 모든 볼록체의 공간에서 조밀하다는 "보편적 근사 정리" (이전 연구 [44] 에서 증명됨) 에 의존한다.
   • 대칭성 인코딩: 이 프레임워크는 유한 등거리 변환 군 (isometries) 에 대해 게이지 함수를 평균화함으로써 대칭성 (예: 반사 대칭) 의 부과를 허용하며, 이를 통해 결과 형상이 해당 군 하에서 불변임을 보장한다.

2. 상호작용 입자를 통한 균일 표본 추출:

   • 블라슈케 - 산탈로 도표 내에서 점들의 균일 분포를 생성하기 위해, 저자들은 리즈 (Riesz) 에너지 범함수를 최소화한다. 이는 $N$개의 형상 $\Omega_1, \dots, \Omega_N$을 범함수 공간에서 쌍별 거리를 최대화하도록 최적화하는 최적화 문제로 공식화된다:
     $$\min_{\theta_1, \dots, \theta_N} \sum_{1 \le i \neq j \le N} |F(\Omega_{\theta_i}) - F(\Omega_{\theta_j})|^{-s}$$
   • 이 접근법은 $N$이 증가함에 따라 이러한 에너지의 최소화가 매니폴드 위의 균일 분포로 이어진다는 "양귀비 씨드 베이글 정리 (Poppy-seed Bagel Theorem)"에 영감을 받았다.
   • 최적화는 PyTorch 를 통한 자동 미분 (l-BFGS 를 통해) 으로 수행되며, 이를 통해 편미분방정식 (PDE) 의 해와 적분 평가까지 포함한 전체 계산 그래프를 통해 기울기가 흐를 수 있다.

3. 형상 범함수의 계산:

   • 적분 양: 부피, 둘레, 관성 모멘트는 신경망 사상의 야코비안 (Jacobian) 을 포함하는 변수 치환 공식을 사용하여 형상 영역 $\Omega_\theta$에서의 적분을 참조 단위 구 $B$로 당겨와서 (pull back) 계산한다.
   • PDE 관련 양:
     • 비틀림 강성 (Torsional Rigidity): 기본해의 선형 결합으로 해를 근사하는 기본해 방법 (Method of Fundamental Solutions, MFS) 을 사용하여 해결한다. 경계 조건은 최소제곱법을 통해 적합되며, 이 과정은 PyTorch 에서 완전히 미분 가능하다.
     • 노이만 고유값: 메쉬 없는 RBF-갈레르킨 방법을 사용하여 계산한다. 약한 형식 (weak formulation) 은 참조 영역으로 당겨와서, 방사형 기저 함수 (Radial Basis Functions) 를 사용하여 이산화되고, 일반화된 고유값 문제로 해결된다. 미분을 가능하게 하기 위해, 질량 행렬의 초록스 (Cholesky) 분해를 통해 문제를 표준 고유값 문제로 변환한다.
   • 정규화: 최적화가 평평하고 퇴화된 형상으로 수렴하여 수치적 불안정성을 초래하는 것을 방지하기 위해, 야코비안의 조건수 (condition number) 에 기반한 정규화 항을 손실 함수에 추가한다.

주요 기여

• 제약 없는 볼록 최적화: 명시적 부등식 제약이나 페널티 항을 요구하지 않고 본질적으로 볼록성을 보존하는 매끄러운 가역 신경망 매개변수화의 도입.
• 균일 도표 표본 추출: 도표의 볼록성 속성에 대한 사전 지식에 의존하지 않고 블라슈케 - 산탈로 도표를 균일하게 표본 추출하는 방법을 제공하는 리즈 에너지 최소화를 위한 상호작용 입자 시스템의 적용.
• 미분 가능한 PDE 솔버: 스펙트럼 및 비틀림 범함수를 형상 매개변수에 대해 계산하고 미분하기 위해 메쉬 없는 방법 (MFS 및 RBF-갈레르킨) 과 자동 미분의 성공적인 통합.
• 오픈 소스 구현: 재현성을 촉진하기 위한 포괄적인 PyTorch 패키지 (ConvexShapeOpt) 및 노트북의 공개.

결과
이 방법은 2 차원 및 3 차원 공간의 다양한 도표에서 테스트되었으며, 기하학적 및 PDE 기반 범함수 전반에 걸쳐 효과성을 입증했다:

• 기하학적 도표 (부피, 둘레, 관성 모멘트): 이 방법은 2 차원 및 3 차원의 일반 및 대칭 볼록체에 대해 알려진 이론적 경계와 극한 형상 (예: 스타디움, 삼각형, 마름모) 을 성공적으로 복원했다.
• 비틀림 강성 도표: 이 접근법은 부피, 둘레, 비틀림 강성 간의 관계를 정확하게 매핑하여 알려진 부등식 (예: 생 - 베낭, 폴리아, 마카이) 을 복원하고 해당 최적 형상을 시각화했다.
• 스펙트럼 도표 (부피, 첫 번째 및 두 번째 노이만 고유값): 이 방법은 $\mu_1$과 $\mu_2$에 대한 도표를 탐색했다. 영역의 일반적인 형태는 복원되었으나, 고유값 조립을 통한 미분과 관련된 메모리 제약으로 인해 상부 경계의 정밀도에는 한계가 있음을 저자들은 지적했다.
• 윌모어 에너지 도표: 이 프레임워크는 2 차원 및 3 차원 볼록 집합에 대한 부피, 둘레, 윌모어 에너지 간의 트레이드오프를 시각화하면서 고차 경계 항을 성공적으로 처리했다.
• 비교: 볼록 다각형의 단순 무작위 표본 추출과의 비교는 제안된 방법이 특히 경계 근처에서 무작위 표본 추출이 놓치는 도표 영역을 포착함을 보여주었다.

의의 및 주장
본 논문은 "완전히 제약 없는" 형상 최적화 접근법을 제공함으로써 이전 방법들의 한계를 극복하는 "새로운 수치 프레임워크"를 제공한다고 주장한다. 그 의의는 다음과 같다:

1. 유연성: 단일 통합 미분 가능 프레임워크 내에서 다양한 범함수 (기하학적, 스펙트럼, PDE 기반) 를 처리할 수 있는 능력.
2. 견고성: 도표의 기하학 (예: 수직 볼록성) 에 대한 사전 가정이 필요 없이 2 차원 및 3 차원 도표에 대한 "만족스러운 설명"을 제공한다.
3. 확장성: 3 차원에서는 구적 (quadrature) 요구 사항으로 인해 계산 비용이 증가하지만, 이 방법은 견고하며 2 차원에 비해 추가적인 구현 복잡성을 요구하지 않는다.
4. 접근성: PyTorch 의 자동 미분을 활용함으로써 새로운 범함수 탐색의 장벽을 낮추고 연구 커뮤니티에 제공된다.

저자들은 한계에 대해 겸손한 어조를 유지하며, 특히 스펙트럼 문제의 경우 고정밀 미분에 필요한 계산 그래프의 크기에 의해 방법의 메모리 효율성이 제한됨을 인정한다. 또한 게이지 함수 매개변수화는 강력하지만, 지지 함수 (support functions) 에 비해 최소 너비와 같은 특정 기하학적 양의 계산을 더 어렵게 만든다고 지적하지만, 이론적으로는 두 가지가 상호 교환 가능함을 언급한다.