💻 computer science

Differentiable Mesh State Estimation via Factor Graph Inference for Deformable Object Reconstruction

본 논문은 테트라헤드럴 메쉬(tetrahedral mesh)로 표현된 변형 가능한 물체의 정확하고 확률적인 상태 추정 및 재구성을 수행하기 위해 물리적 사전 지식, 노이즈가 포함된 센서 데이터, 그리고 시간적 제약 조건을 통합하는 새로운 팩터 그래프 기반 프레임워크를 제안한다.

원저자: Lidia Al-Zogbi, Fangjie Li, Samuel Tobin, James Ferguson, Nithesh Kumar, Alejandro Chara, Kuan-I Chung, Mingxing Rao, Ayberk Acar, Susheela Sharma Stern, Robert Webster, Daniel Moyer, Alan Kuntz, Cale

게시일 2026-09-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lidia Al-Zogbi, Fangjie Li, Samuel Tobin, James Ferguson, Nithesh Kumar, Alejandro Chara, Kuan-I Chung, Mingxing Rao, Ayberk Acar, Susheela Sharma Stern, Robert Webster, Daniel Moyer, Alan Kuntz, Caleb Rucker, Tucker Hermans, Jie Ying Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 오랫동안 강성(rigid)의 세계를 지배해 왔으며, 강철 빔과 단단한 기어로 가득 찬 공장 속에서 정밀하게 움직일 수 있었습니다. 하지만 실제 세상은 종종 부드럽고, 말랑하며, 예측 불가능합니다. 로봇이 살아있는 신체나 천 조각, 혹은 찰흙 덩어리와 상호작용하려고 할 때, 그 물체는 닿는 순간 형태가 변합니다. 이러한 유동적인 환경을 탐색하기 위해 로봇은 단순히 정적인 지도에만 의존할 수 없습니다. 로봇은 물체의 일부가 시야에서 가려져 있을 때조차도 그 물체가 어떻게 변형되고 있는지 끊임없이 추측해야 합니다. 이 과제는 기하학, 물리학, 그리고 센싱이 교차하는 지점에 놓여 있으며, 여기서 목표는 물체가 움직이고 휘어짐에 따라 실시간으로 업데이트되는 디지털 트윈을 구축하는 것입니다. 만약 로봇이 이러한 변화를 정확하게 추적하지 못한다면, 섬세한 조직을 손상시키거나 작업을 완수하지 못할 위험이 있습니다.

한 연구팀은 이 문제를 해결할 새로운 방법을 개발하여, 관측된 정보와 물체가 물리적으로 어떻게 행동해야 하는지에 대한 지식을 결합함으로써 변형되는 물체의 형태를 추정할 수 있는 시스템을 만들어냈습니다. 연구진은 물체를 별개의 점들의 집합이나 단순한 표면으로 취급하는 대신, 물체의 부피를 채우는 피라미드 모양의 작은 사면체들로 이루어진 3차원 메쉬(mesh)로 표현했습니다. 이 메쉬는 늘어나고 뒤틀릴 수 있는 디지털 골격 역할을 합니다. 이 시스템은 세 가지 서로 다른 요구 사항을 동시에 충ための 만족시키기 위해 메쉬의 모든 점의 위치를 끊임없이 조정하며 작동합니다. 즉, 메쉬는 센서로부터 들어오는 노이즈가 섞인 불완전한 데이터와 일치해야 하고, 연성 재료가 변형되는 방식을 규정하는 물리 법칙을 따라야 하며, 한 순간에서 다음 순간으로 넘어갈 때 급격하게 튀지 않고 매끄럽게 움직여야 합니다.

연구진은 두 가지 방식으로 이 접근법을 테스트했습니다. 첫째는 변형되는 입방체의 컴퓨터 시뮬레이션을 실행하는 것이었고, 둘째는 인간 기도 폐쇄의 물리적 모델을 이용한 실험을 수행하는 것이었습니다. 기도 실험에서는 양의 기관지에 닭가슴살을 삽입하여 종양을 모사하였으며, 이를 통해 로봇 도구가 조직을 밀고 변형시키는 상황을 연출했습니다. 도구와 주변 해부학적 구조가 시야를 가리는 경우가 많기 때문에, 센서는 표면의 일부만을 볼 수 있었습니다. 시스템은 가시적인 부분을 바탕으로 보이지 않는 부분의 형태를 추론해야 했습니다. 결과에 따르면, 센서 데이터와 물리 기반 모델을 혼합함으로써 시스템은 센서가 전혀 볼 수 없는 영역에서도 전체 형상을 높은 정확도로 재구성할 수 있었습니다.

컴퓨터 시뮬레이션에서 연구진은 센서 데이터에만 의존할 경우 재구성된 형태가 실제 형태와 수백 밀리미터까지 차이가 나는 거대한 오류가 발생한다는 것을 발견했습니다. 물체가 매끄럽게 움직여야 한다는 규칙을 추가하는 것도 도움이 되었지만, 가장 큰 개선은 재료의 물리학을 포함했을 때 나타났습니다. 시스템이 재료가 늘어나거나 휘어지는 것에 저항하는 방식을 이해하는 모델을 사용했을 때, 오차는 1밀리미터 미만으로 줄어들었습니다. 이는 센서에 의해 완전히 가려진 부분에서도 마찬가지였습니다. 물리 모델은 가이드 역할을 하여, 가시적인 부분이 변형되는 방식에 기초해 숨겨진 부분이 어떻게 움직였을지를 시스템이 '느낄' 수 있게 해주었습니다.

기도 모델을 이용한 실제 환경 테스트에서도 이러한 결과는 확인되었습니다. 시스템은 로봇 도구가 조직을 밀 때 발생하는 변형을 성공적으로 추적했습니다. 센서 데이터 자체는 볼 수 있는 영역에서는 정밀했지만, 데이터가 희소하여 전체적인 그림을 놓치는 경우가 많았습니다. 물리 모델은 조직의 행동에 대한 전역적인 이해를 제공하여 그 빈틈을 메워주었습니다. 이 둘을 결합함으로써 시스템은 어느 한 방법만 사용했을 때보다 더 완전하고 정확한 그림을 얻을 수 있었습니다. 연구진은 이 접근법을 통해 시야가 부분적으로 가려지거나 데이터에 노이즈가 있더라도 로봇이 물체의 상태에 대한 신뢰할 수 있는 추정치를 유지할 수 있다고 언급했습니다.

이 연구는 섬세하고 변화하는 환경에서 작동해야 하는 로봇을 위한 진로를 제시합니다. 물체의 형태 추정을 관측과 물리 법칙을 모두 만족시키는 가장 가능성 높은 구성을 찾는 문제로 다룸으로써, 연구진은 견고하고 원칙적인 방법을 만들어냈습니다. 이 시스템은 단순히 추측하는 것이 아니라, 센서로부터 얻은 증거와 물리적 제약 조건을 가중하여 가장 확률 높은 형태를 계산합니다. 현재의 실험은 특정 시나리오에 국한되었으며 조직을 절개하거나 찢는 극도의 복잡성까지는 다루지 않았지만, 이 결과는 확률적 프레임워크가 변형되는 물체를 효과적으로 추적할 수 있음을 보여줍니다. 이러한 능력은 로봇이 인체 내부에서 요구되는 안전성과 정밀도를 갖추고 기도 내의 폐쇄물을 제거하는 것과 같은 복잡한 의료 절차를 수행할 수 있도록 하는 데 중요한 단계입니다.

기술 요약: 변형 가능한 객체 재구성을 위한 팩터 그래프 추론 기반의 미분 가능한 메쉬 상태 추정

문제 정의
변형 가능한 객체의 상태를 추정하는 것은 로보틱스와 시뮬레이션 분야에서 여전히 근본적인 과제로 남아 있으며, 특히 부분적이고 노이즈가 섞인 포인트 클라우드 관측으로부터 시변 테트라헤드럴(tetrahedral) 메쉬를 업데이트하는 작업이 그러하다. 기존 방식들은 상당한 한계에 직면해 있다: 칼만 기반 방법론은 국소 선형화와 이차 스케일링 문제로 인해 큰 변형을 처리하는 데 어려움을 겪으며, 온라인 필터는 전역적 시간 구조를 활용하거나 과거의 추정치를 수정하는 데 실패한다. 물리 기반 변분법(variational methods)은 정확한 구성 매개변수(constititive parameters)를 요구하며 노이즈 하에서 조건 설정(conditioning)이 불량해지는 경 문제가 있고, 데이터 기반 접근 방식은 물리적 타당성에 대한 보장이 부족하다. 핵심 과제는 고차원의 비볼록(non-convex) 상태 공간에서 측정 충실도와 물리 기반 정규화 사이의 균형을 맞추는 것이다.

방법론
저자들은 메쉬 상태 추정을 통합된 확률적 추론 문제로 공식화하는 새로운 팩터 그래프 기반 프레임워크를 제안한다. 이 방법은 변형 가능한 객체를 테트라헤드럴 메쉬로 표현하며, 상태 변수는 모든 정점(vertex)의 3D 좌표( $X_t$ )이다. 추정은 자동 미분(PyTorch)을 사용하여 미분 가능한 잔차(residual)를 처리하는 레벤버그-마쿼트(Levenberg–Marquert) 알고리즘을 통해 해결되는 비선형 최소제곱 최적화 문제로 정의된다.

이 프레임워크는 그래프 내에 세 가지 주요 팩터 유형을 통합한다:

물리적 사전 확률 팩터(Physics Prior Factor): 유한 요소 강성 행렬( $K_t$ )을 정보 행렬로 사용하여 물리적으로 타당한 노드 변위를 강제한다. 이 팩터는 변형 시뮬레이터가 다음 상태를 예측하고 기계적 일관성으로부터의 편차를 벌칙(penalty)으로 부과함으로써, 시간적 진화를 확률적 전이로 모델링한다.
점-대-표면 측정 팩터(Point-to-Surface Measurement Factor): 노이즈가 있는 센서 측정값과 메쉬 표면 사이의 오차를 최소화한다. 이는 측정점을 가장 가까운 표면 삼각형으로 투영하고 바리센트릭 좌표(barycentric coordinates)에서 잔차를 계산하는 과정을 포함한다. 이 팩터는 정점 위치에 대해 미분 가능하다.
시간적 매끄러움 팩터(Temporal Smoothness Factor): 연속적인 상태들을 연결하여 정점 간의 큰 변위를 제한함으로써 시간적 일관성을 장려한다.

최적화 과정은 이러한 팩터들(물리, 측정, 시간적 요소)로부터 발생하는 잔차들의 가중 합산된 비용 함수를 최소화하며, 이를 통해 결합된 시공간적 최적화를 수행한다.

주요 기여

통합된 확률적 공식화: 저자들은 메쉬 추정을 구조화된 추론 문제로 취급하는 팩터 그래프 표현을 도입하여, 이질적인 데이터 소스(기하학적 측정값, 기계적 사전 확률, 시간적 제약)를 단일 최적화 목적 함수로 융합할 수 있게 하였다.
미분 가능한 메쉬 추론: 잔차를 메쉬 상태 자체에 대해 미분 가능하도록 정의함으로써, 메쉬 재구성을 절차적 등록 단계에서 미분 가능한 추론 과정으로 변환하였다. 이를 통해 점-대-표면 오차, 시간적 정규화, 그리고 강성 기반 사전 확률로부터 오는 그래디언트(gradient)가 메쉬 상태를 공동으로 업데이트할 수 있게 한다.
부분 관측성 처리: 본 프레임워크는 물리 기반 강성 사전 확률을 통해 관측된 영역으로부터 관측되지 않은 표면 영역으로 정보를 전파함으로써, 로봇 조작 시 흔히 발생하는 부분 관측 문제를 해결하도록 설계되었다.

실험 결과
본 방법론은 두 가지 주요 실험 설정을 통해 평가되었다:

시뮬레이션 기반 연구: 변형되는 큐브 모델을 사용하여, 저자들은 다양한 팩터 구성을 비교하는 어블레이션 연구(ablation studies)를 수행하였다. 결과에 따르면 "측정 전용(measurement-only)" 구성은 높은 오차(RMSE ~280 mm)를 나타냈다. 시간적 매끄러움을 추가하면 오차가 감소했으나 시스템이 여전히 제약이 부족한 상태로 남았다. 물리 기반 시뮬레이션 사전 확률을 포함했을 때 가장 낮은 재구성 오차(RMSE ~0.73 mm)를 기록하였으며, 이는 물리적 사전 확률이 이 환경에서 정확도의 주요 기여 요소임을 입증한다. 전체 모델(시뮬레이션, 측정, 시간적 팩터 결합)은 시뮬레이션과 측정이 결합된 구성과 유사한 성능을 달 수 있었다.
Ex Vivo 연구: 본 프레임워크는 로봇 시스템에 의해 조작되는 양의 기관(trachea)과 닭 가슴살 종양 모사체를 이용한 중심 기도 폐쇄(CAO) 모델에 테스트되었다. 정답(ground truth)은 수술 중 CT 스캔을 통해 확보되었다.
- 팩터 그래프 방식은 조직 시뮬레이션 단독 사용 시보다 특히 관측되지 않는 영역에서 더 낮은 Chamfer 거리( $d_{CD}$ )와 95 백분위수 거리( $d_{H95}$ )를 달축했다.
- 메트릭 단안 깊이 추정(Metric Monocular Depth Estimation, MDE)은 관측 가능한 영역에서 높은 국소 정밀도(최저 $d_{RMSE}$ )를 제공했으나, 경사각(grazing angles)에서는 희소한 커버리지 문제를 겪었다.
- 팩터 그래프는 MDE의 국소적 정밀도를 활용하는 동시에, 조직 역학 사전 확률을 사용하여 전역적 변형 상태를 제약함으로써, 결과적으로 더 나은 전체 표면 커버리지와 견고성을 확보하였다.

의의 및 주장
본 논문은 이 확률적 접근 방식이 순수 기하학적 방식이나 순수 물리 기반 방식의 한계를 극복하는, 메쉬 상태 추정을 위한 원칙적인 측정 기반 방법을 제공한다고 주장한다. 저자들은 본 프레임워크가 강체 운동과 변형 모두에서 신뢰할 수 있고 정확한 재구성을 입증한다고 기술하였다.

본 연구의 의의는 조직 조작 및 절개 시, 관측이 희소하거나 부분적이거나 노이즈가 심한 상황에서도 기도 및 종양 기하 구조의 정확한 추정치를 유지할 수 있는 능력에 있다. 저자들은 이 연구를 측정과 물리학을 팩터 그래프 프레임워크 내에서 통합하여 로봇이 변형 가능한 환경을 어떻게 인지하고 상호작용하는지를 변화시킬 수 있는 프로토타입으로서 제시한다. 또한, 아이덴티티 가중치 행렬 이상의 센서 노이즈 모델을 다루고, 더 물리적인 실험으로 검증을 확장하며, 절개 시의 메쉬 위상 변화와 같은 복잡한 사례를 처리하기 위한 향후 연구가 필요함을 겸허히 언급하였다.

유사한 논문