ParCo-SDF: Learning Prior-Free Partial-to-Complete Signed Distance Fields of Deformable Objects

기술 요약: ParCo-SDF

문제 정의
변형 가능 물체 조작 (DOM) 은 변형 가능 물체 (DOs) 에 내재된 무한한 자유도와 연속적인 기하학적 변화로 인해 상당한 도전에 직면해 있습니다. 이러한 특성들은 종종 심각한 자기 가림과 로봇 유발 가림을 초래하여, 제어에 필요한 중요한 상태 정보를 가립니다. 최근 접근법들은 연속적인 표면을 모델링하기 위해 암시적 신경 표현 (INRs) 을 활용하지만, 훈련을 안정화하고 부분 관측으로부터 완전한 기하학을 추론하기 위해 물체별 모양 사전 지식 (예: 사전 정의된 템플릿 또는 대칭성) 에 자주 의존합니다. 이러한 사전 지식은 보지 못한 변형 시나리오에 대한 일반화를 제한합니다. 또한, 입력 연결 또는 하이퍼네트워크와 같은 기존 조건부 메커니즘들은 다양한 인스턴스와 연속적인 변형 상태를 처리할 때 확장성, 표현 능력, 또는 훈련 안정성에 어려움을 겪습니다. 해결된 핵심 문제는 명시적인 모양 사전 지식에 의존하지 않고 부분적이며 시간적으로 순차적인 포인트 클라우드 관측으로부터 변형 가능 물체의 완전하고 고충실도의 부호화 거리장 (SDF) 을 재구성하는 것입니다.

방법론: ParCo-SDF
저자들은 사전 지식 없는 부분에서 완전한 SDF 재구성을 위해 설계된 2 단계 프레임워크인 ParCo-SDF를 제안합니다. 이 아키텍처는 부분 관측의 슬라이딩 윈도우 $\{P_{t-T+1}, \dots, P_t\}$에서 유도된 잠재 코드를 기반으로 공유된 암시적 네트워크에 조건을 부여합니다.

1. 시간적 기하학 인코딩 (1 단계):
   불규칙한 샘플링에 민감한 원시 포인트 집합을 집계하는 대신, 인코더는 관측을 컴팩트한 잠재 공간으로 변환합니다.

   • 포인트 수준 특징 리프팅: 학습 가능한 푸리에 특징 매핑을 사용하여 원시 좌표를 고차원 공간으로 매핑하여 공간적 표현력을 향상시킵니다.
   • 국소 기하학 인코딩: 동적 그래프 합성곱 신경망 (DGCNN) 이 각 리프트된 관측을 처리하여 국소 부분 구조를 포착하는 치환 불변적이고 기하학적 인식을 갖춘 잠재 코드 ($\tilde{z}_i$) 를 생성합니다.
   • 시간적 집계: 자기 주의 (self-attention) 메커니즘이 관측 수준 코드의 시퀀스를 집계하여 시간 $t$에서의 변형 상태를 추론하고, 최종 잠재 코드 $z_t$를 생성합니다. 이를 통해 모델은 명시적인 사전 지식 없이도 시퀀스 전반에 걸친 구조적 유사성을 포착할 수 있습니다.

2. FiLM 기반 조건부 SDF 예측 (2 단계):
   잠재 코드 $z_t$는 피처별 선형 변조 (Feature-wise Linear Modulation, FiLM) 를 통해 공유된 암시적 SDF 네트워크 (SIREN 아키텍처 기반) 에 조건을 부여합니다.

   • 시프트 전용 변조: 최적화 안정성을 향상시키고 사인파 사전 활성화의 증폭을 피하기 위해, 변조기는 스케일링 인자가 아닌 레이어별 시프트 파라미터 ($\beta^{(\ell)}$) 를 예측합니다.
   • 파라미터 효율성: 전체 가중치 행렬을 예측하여 2 차 파라미터 증가를 초래하는 하이퍼네트워크와 달리, 이 접근법은 네트워크 너비에 선형적으로 비례하는 시프트 파라미터를 예측합니다. 이는 안정적인 훈련과 함께 더 큰 암시적 네트워크 용량을 가능하게 합니다.
   • 훈련 목적 함수: 모델은 세 가지 손실의 가중 합으로 훈련됩니다.
     • 표면 감독 ($L_{surface}$): 희소하고 고도로 변형된 구성에서의 클래스 불균형을 처리하기 위해 Focal 손실 형식을 사용하여 영수준 집합 일관성과 올바른 표면 법선을 강제합니다.
     • 에이코날 정규화 ($L_{eik}$): 표면 외 포인트에서 SDF 속성 $\|\nabla f_\theta(x)\| = 1$을 강제합니다.
     • 잠재 공간 정규화 ($L_z$): 무제한 성장을 방지하고 일반화를 개선하기 위해 잠재 코드의 유클리드 노름에 페널티를 부과합니다.

주요 기여

• 사전 지식 없는 재구성: 이 방법은 물체별 모양 사전 지식에 의존하지 않고 견고한 부분에서 완전한 기하학 재구성을 달성하여, 보지 못한 구조와 변형에 대한 일반화를 가능하게 합니다.
• 시간적 기하학 인코딩: 자기 주의를 통해 부분 관측의 시퀀스를 집계함으로써, 단일 프레임에서는 모호한 가림을 해결하는 데 필요한 구조적 정보를 포착합니다.
• 안정적이고 표현력 있는 조건부: FiLM 기반 시프트 전용 변조 메커니즘의 도입은 안정적인 훈련을 가진 더 큰 공유 암시적 네트워크를 가능하게 하여, 하이퍼네트워크 기반 조건부의 확장성 및 불안정성 문제를 극복합니다.
• 가림에 대한 강건성: 이 프레임워크는 DO 조작에서 흔히 발생하는 심각한 자기 가림과 로봇 유발 가림을 처리하도록 특별히 설계되었습니다.

실험 결과
이 방법은 신장, 굽힘, 비틀림이 포함된 시퀀스를 포함하는 Isaac Sim 에서 생성된 고무줄 조작 데이터셋에서 평가되었습니다. 모델은 네 개의 시퀀스로 훈련되었고, 보지 못한 변형 궤적을 가진 홀드아웃 시퀀스에서 평가되었습니다.

• 지표: 성능은 기하학적 충실도를 위한 챔퍼 거리 (CD) 와 위상적 정확성 (종속성 보존) 을 위한 위상 성공률 (TSR) 을 사용하여 측정되었습니다.
• 비교: ParCo-SDF 는 하이퍼네트워크와 스키레톤 손실을 사용하는 최첨단 기준선인 INR-DOM 보다 우수한 성능을 보였습니다.
  • ParCo-SDF 는 INR-DOM 대비 CD 를 23.6% 감소시키고 TSR 을 21.9% 향상시켰습니다.
  • 기준선 (INR-DOM) 은 재구성 오차에서 더 높은 분산을 보였으며, 이는 다양한 가림 패턴 하에서의 불안정성을 시사하는 반면, ParCo-SDF 는 현저히 낮은 분산을 보였습니다.
• 절대 실험 (Ablation): 시간적 집계 레이어를 제거한 경우 (ParCo-SDF-T) 성능 격차가 발생하여, 부분 관측으로부터 완전한 위상을 추론하는 데 시간적 단서가 결정적인 역할을 함을 확인했습니다.
• 정성적: 심각한 가림 사례에서 ParCo-SDF 는 고무줄의 토러스 위상을 성공적으로 재구성한 반면, 기준선은 종종 불필요한 연결과 표면 아티팩트를 생성했습니다.

의의 및 주장
이 논문은 ParCo-SDF 가 사전 지식 없는 변형 가능 기하학 재구성을 위한 유망한 기반을 제공한다고 주장합니다. 시간적 기하학 인코딩과 FiLM 기반 조건부를 활용함으로써, 이 방법은 심각한 가림과 이전에 보지 못한 변형 상태 하에서도 견고하고 고충실도의 재구성을 달성합니다. 저자들은 현재 실험이 시뮬레이션과 단일 물체 카테고리 (고무줄) 로 제한되어 있지만, 이 프레임워크는 기존 INR 기반 접근법에서 발견되는 일반화와 안정성의 근본적인 한계를 해결한다고 지적합니다. 향후 작업은 다양한 변형 가능 물체와 실제 로봇 조작 시나리오에 대한 일반화를 조사하는 것으로 식별되었습니다.