Inverting Non-Injective Functions with Twin Neural Network Regression

1. 문제 정의 (Problem Statement)

과학 및 공학 분야 (물리학, 화학, 로봇 공학의 역기구학 등) 에서 주어진 출력 (Output) 에 대응하는 입력 (Input) 을 찾는 역문제 (Inverse Problem) 는 매우 흔합니다. 그러나 많은 실제 문제에서 전방향 함수 (Forward Function) 는 비단사 (Non-injective) 성질을 가집니다. 즉, 서로 다른 여러 입력이 동일한 출력으로 매핑되는 경우입니다.

• 기존 방법의 한계:
  • 전통적 신경망 (Traditional NN): 비단사 함수의 역함수를 학습하려 할 때, 서로 모순되는 여러 해 (Preimages) 를 평균화 (Averaging) 하여 예측하게 됩니다. 이로 인해 실제 존재하지 않는 유효하지 않은 입력값을 예측하게 되어 실패합니다.
  • 확률적 방법 (Mixture Density Networks 등): 다중 모드 (Multimodal) 분포를 모델링할 수 있지만, 확률적 접근은 결정론적 (Deterministic) 인 파이프라인과 호환되기 어렵고, 재현성 및 해석 가능성 측면에서 제약이 있습니다.
  • k-NN (k-Nearest Neighbors): 단순한 룩업 테이블 방식은 국소적 정확도가 낮고, 비단사 영역에서 잘못된 가지 (Branch) 를 선택하여 불연속적인 예측을 초래할 수 있습니다.

2. 제안 방법론: 역 쌍둥이 신경망 회귀 (ITNNR)

저자는 역 쌍둥이 신경망 회귀 (Inverse Twin Neural Network Regression, ITNNR) 라는 새로운 프레임워크를 제안합니다. 이 방법은 비단사 함수의 역변환 문제를 "국소적으로 단사 (Locally Injective) 인 부분 도메인들의 집합"으로 재정의하여 해결합니다.

핵심 메커니즘

1. 쌍둥이 신경망 회귀 (TNNR) 기반:

   • 기존 TNNR 은 입력 $x$를 직접 출력 $y$로 매핑하는 대신, 두 입력 쌍 $(x_i, x_j)$에 대한 목표값의 차이 (Difference) $F(x_i, x_j) = y_i - y_j$를 학습합니다.
   • 이를 역문제에 적용할 때, 네트워크는 앵커 (Anchor) 점 $(x_{anchor}, y_{anchor})$를 기준으로 새로운 목표 $y_{new}$에 대응하는 입력 보정값 $\Delta x$를 예측합니다.
   • 예측 공식: $\hat{x}_{new} = F(y_{new}, y_{anchor}, x_{anchor}) + x_{anchor}$

2. 국소적 역변환 및 가지 선택 (Branch Selection):

   • 비단사 함수는 전역적으로 역함수가 존재하지 않지만, 국소적으로는 단사 함수로 제한할 수 있습니다.
   • ITNNR 은 $y$ 공간에서 $k$-NN 을 사용하여 $y_{new}$에 가장 가까운 $k$개의 앵커를 찾습니다.
   • 각 앵커는 서로 다른 국소 영역 (Branch) 을 정의하므로, 각 앵커마다 독립적인 역해가 생성됩니다.
   • 일관성 검증 (Consistency Check): 생성된 모든 후보 해 $\hat{x}$에 대해 전방향 함수 $f(\hat{x})$를 계산하여 원래 목표 $y_{new}$와 얼마나 일치하는지 오차를 측정합니다. 이 오차를 기준으로 가장 일치하는 해 (올바른 가지) 를 선택합니다.
     • 전방향 함수 $f$를 알 수 있는 경우: 정확한 수식 사용.
     • 데이터만 있는 경우: 별도의 신경망으로 $f$를 근사하여 사용.

3. 무한 해 문제 해결 (Infinite Solutions):

   • 입력 차원이 출력 차원보다 큰 경우 (예: 반구면 파라미터화) 무한히 많은 해가 존재할 수 있습니다.
   • ITNNR 은 모든 해를 찾는 대신, 선택된 앵커에 기반하여 국소적으로 일관된 하나의 해를 제공합니다. 이는 앵커를 통해 입력 공간의 특정 영역 (예: 로봇 팔의 현재 자세) 으로 해를 편향 (Bias) 시키는 효과를 가지며, 역기구학에서 매우 유용합니다.

3. 주요 기여 (Key Contributions)

• 결정론적 역변환 프레임워크: 확률적 모델에 의존하지 않고, 단일 신경망과 앵커 기반 접근법으로 다중 해 문제를 해결하는 결정론적 방법을 제시했습니다.
• 국소적 재형성 (Local Reformulation): 전역적 역변환의 불가능성을 국소적 역변환 문제들의 집합으로 전환하여, 신경망이 서로 충돌하는 해를 평균화하는 것을 방지했습니다.
• 앵커 기반 가지 분리: 앵커를 통해 서로 다른 역함수 가지 (Branch) 를 자연스럽게 분리하고, 전방향 함수의 일관성 검사를 통해 올바른 가지를 선택하는 알고리즘을 정립했습니다.
• 데이터 효율성: 소량의 데이터에서도 높은 정확도를 보이며, 특히 앵커 쌍을 생성함으로써 유효 학습 데이터 크기를 확장합니다.

4. 실험 결과 (Results)

논문은 수학적 함수 (다항식, 구면) 와 로봇 팔 역기구학 (2D/3D, 6 자유도) 등 9 가지 실험을 수행하여 ITNNR 의 성능을 검증했습니다.

• 비교 대상: 전통적 신경망 (NN), k-NN, 혼합 밀도 네트워크 (MDN).
• 성능 지표: 목표 공간에서의 RMSE (Root Mean Squared Error).
• 주요 결과:
  • 전통적 NN: 비단사성으로 인해 수렴하지 않거나 유효하지 않은 평균값을 예측하여 실패했습니다.
  • k-NN: 국소적 정확도가 낮고 가지 전환 시 불연속성이 발생했습니다.
  • MDN: 이산적인 해 집합이 있는 문제에서는 잘 작동했으나, 연속적인 매니폴드 (예: 반구면) 나 노이즈가 있는 데이터에서는 ITNNR 보다 성능이 떨어졌습니다.
  • ITNNR:
    • 모든 실험에서 가장 낮은 RMSE를 기록했습니다.
    • k-NN 대비 80~93%, MDN 대비 **46~83%**의 오차 감소 효과를 보였습니다 (전방향 함수를 정확히 아는 경우).
    • 노이즈가 있는 데이터 (실제 측정 데이터 시뮬레이션) 에서도 k-NN 및 MDN 대비 **30~85%**의 오차 감소 효과를 보였습니다.
    • 앵커 수가 적더라도 (예: 5 개) 전방향 함수를 통한 가지 선택 (Branch Selection) 을 통해 전체 도메인을 정확하게 복원할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비단사 함수의 역변환이라는 근본적으로 잘 정의되지 않은 (Ill-posed) 전역 문제를, 잘 정의된 국소 문제들의 집합으로 자연스럽게 재해석했습니다.

• 실용성: 로봇 공학 (역기구학), 물리 시뮬레이션, 화학 등 결정론적이고 재현 가능한 역해가 필수적인 분야에서 확률적 방법의 대안이 될 수 있습니다.
• 유연성: 전방향 함수의 수식이 알려진 경우와 데이터만 존재하는 경우 모두 적용 가능하며, 입력/출력 차원이 다른 경우에도 앵커를 통해 선호되는 해를 선택할 수 있습니다.
• 확장성: 단일 신경망 모델로 여러 가지의 역함수를 동시에 학습하고 선택할 수 있어, 복잡한 비선형 역문제 해결에 강력한 도구가 됩니다.

요약하자면, ITNNR은 기존 방법론들이 겪는 "평균화 문제"와 "불연속성 문제"를 해결하며, 국소적 일관성과 앵커 기반 예측을 통해 비단사 함수의 역변환을 안정적이고 정확하게 수행하는 새로운 표준을 제시합니다.