💻 computer science

Learning to Predict Contact Force Distributions from Vision Leveraging Object Geometry Priors

이 논문은 노이즈가 있는 점 힘(point forces) 대신 매끄러운 3D 접촉력 분포를 예측하기 위해 객체 기하학적 사전 지식(object geometry priors)을 활용하는 비전 기반 접근 방식을 제안하며, 이를 통해 예측 정확도와 다운스트림 조작 성능을 크게 향상시키는 동시에 시뮬레이션에서 실세계로의 강력한 일반화 성능을 입증한다.

원저자: Ryo Hanai, Yukiyasu Domaea, Ixchel G. Ramirez-Alpizar, Abdullah Mustafa, Floris Erich, Tetsuya Ogata

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ryo Hanai, Yukiyasu Domaea, Ixchel G. Ramirez-Alpizar, Abdullah Mustafa, Floris Erich, Tetsuya Ogata

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 어질러진 장난감 더미 속에서 장난감을 집으려고 하는 상황을 상상해 보세요. 로봇이 그저 눈을 감고 무작정 잡으려 한다면, 전체 탑을 무너뜨려 구하고자 했던 장난감을 찌그러뜨릴 수도 있습니다. 이를 피하기 위해 로봇은 실제로 만지기 전에 더미를 "느껴야" 합니다. 이것이 바로 로봇이 시각 정보를 통해 물리적 세계를 이해하려고 노력하는 **로봇 조작(robotic manipulation)**의 세계입니다. 여기서 큰 과제는 접촉력(contact force), 즉 물체들이 서로 맞닿을 때 발생하는 보이지 않는 밀고 당기는 힘입니다. 현실 세계에서 상자가 탁자 위에 놓여 있을 때, 상자는 단 하나의 작은 점으로만 닿는 것이 아니라 전체 표면에 걸쳐 놓입니다. 하지만 오랫동안 로봇이 학습에 사용하는 가상 테스트 드라이브인 컴퓨터 시뮬레이션은 이러한 힘을 날카롭고 외로운 점들로만 보여주었습니다. 이 때문에 로봇이 물체들이 모서리나 평평한 면을 따라 접촉하는 실제의 복잡한 더미 속에서 어떻게 부드럽게 움직여야 하는지 배우는 데 어려움을 겪었습니다. 과학자들이 이 문제에 관심을 갖는 이유는 로봇이 이 보이지 않는 힘을 예측할 수 있게 된다면, 쓰레기를 분류하거나, 창고에서 돕거나, 심지어 물건을 부수지 않고 침실을 정리하는 일까지 더 잘 수행할 수 있기 때문입니다.

이 논문은 로봇에게 이러한 보이지 않는 밀기(pushes)를 "보는" 법을 가르치는 영리한 새로운 방법을 소개합니다. 연구진은 먼저 고체 물체가 어떻게 튀고 쌓이는지를 계산하는 도구인 **강체 시뮬레이터(rigid-body simulator)**를 사용하여 가상 세계를 구축했습니다. 그러나 그들은 한 가지 문제점을 발견했습니다. 시뮬레이터가 물체가 닿는 지점을 마치 지도 위의 단일 점처럼 보여주는 "점 힘(point forces)"만을 제공한다는 것이었습니다. 실제로 상자가 탁자 위에 놓여 있다면 바닥면 전체에 걸쳐 닿아야 합니다. 만약 로봇이 이러한 날카로운 점들을 바탕으로 학습한다면, 혼란을 느껴 부정확한 예측을 하게 될 것입니다.

이를 해결하기 위해 연구팀은 **기하학 인지적 통계적 평활화(geometry-aware statistical smoothing)**라고 불리는 방법을 고안했습니다. 이렇게 생각해 보세요. 만약 당신이 종이 위에 한 줌의 반짝이(시뮬레이터의 날카로운 점들)를 뿌린다면, 그것은 흩어져 있고 지저분해 보일 것입니다. 하지만 종이를 향해 부드럽게 바람을 불면, 반짝이는 아래에 있는 종이의 모양에 맞춰 부드러운 구름처럼 퍼져 나갈 것입니다. 연구진은 디지털 방식으로 이 작업을 수행했습니다. 그들은 시뮬레이터의 날카롭고 노이즈가 섞인 점들을 가져와 "평활화(smoothing)"했지만, 특별한 변형을 가했습니다. 바로 물체의 모양을 가이드로 사용한 것입니다. 만약 두 물체가 평평한 표면을 따라 맞닿아 있다면, "반짝이"는 그 평평한 영역 전체를 덮도록 퍼졌습니다. 만약 날카로운 모서리에서 맞닿았다면, "반짝이"는 그 모서리 주변에 밀집되었습니다. 이를 통해 연구진은 인간이 직관적으로 이해하는 접촉 방식과 매우 유사한, 힘의 매끄러운 3D 지도를 만들어냈습니다.

그들은 이 부드럽게 처리된 시뮬레이션 이미지만을 사용하여 로봇의 뇌(딥러닝 모델)를 훈련시켰습니다. 목표는 로봇이 단 한 장의 사진을 보고도, 이전에 본 적 없는 물체에 대해서까지 힘이 어디에서 작용하는지 추측할 수 있는지 확인하는 것이었습니다. 결과는 유망했습니다. 연구진이 실제 상자와 캔이 쌓인 실험실에서 테스트했을 때, 모델은 놀라울 정도로 잘 작동했습니다. 모델은 주변 물체들을 무너뜨리지 않고 물체를 꺼내는 위치를 성공적으로 예측했습니다. 특히, 새로운 "모양 기반" 평활화 방식을 사용했을 때, 로봇은 단순히 모든 방향으로 점들을 균일하게 펴는 기존 방식보다 주변 물체에 주는 방해를 훨씬 적게 주었습니다.

이 논문은 로봇이 실제 세계의 데이터로 훈련되지 않았음에도 불구하고, 힘이 작동하는 일반적인 규칙을 학습하여 실제 세계로 완벽하게 전이되었다는 점을 시사합니다. 실험 결과, 새로운 방식은 시뮬레이션에서 약 **97.9%에서 99.2%**의 성공률을 보였으며, 실제 실험에서도 기존 방식보다 주변 물체에 가하는 "최대 속도(maximum velocity)"와 "최대 접촉력(maximum contact force, 충격의 강도)"을 적게 발생시키며 일관되게 우수한 성능을 보였습니다. 연구진은 힘을 너무 많이 평활화하면 로봇이 정확히 어디를 당겨야 할지 혼란스러워한다는 것을 발견했지만, 적절한 수준의 "기하학 인지적" 평활화를 적용했을 때 최적의 지점을 찾아냈습니다.

궁극적으로, 이 논문은 로봇에게 완벽하게 물리적으로 정확한 시뮬레이션을 가르칠 필요는 없다는 것을 보여줍니다. 대신, 로봇에게 날카롭고 노이즈가 섞인 점이 아닌, 형태에 기반한 부드러운 패턴의 힘을 찾도록 가르침으로써, 로봇에게 "거칠지만 유용한" 직관을 줄 수 있습니다. 이를 통해 컴퓨터 게임에서 훈련받은 로봇이 실제 주방으로 걸어 들어가 접시 더미를 보고, 전체 스택을 무너뜨리지 않고 접시를 잡는 법을 알아낼 수 있게 됩니다. 저자들은 이 방법이 물체가 단단하다는 가정하에 작동하며, 말랑말랑하거나 변형되는 물체는 완벽하게 다루지 못한다는 점을 인정하지만, 상자나 캔 같은 강체에 있어서 이 "시각적 힘 예측"은 일상의 무질서하고 예측 불가능한 세계를 다루는 로봇을 향한 중요한 진전입니다.

기술 요약: 물체 기하학적 사전 지식을 활용한 시각 기반 접촉력 분포 예측 학습

1. 문제 정의

로봇은 시각 정보를 바탕으로 미지의 물체와 새로운 장면에 대해 대략적인 물리적 예측을 수행하여 조작 전략을 유연하게 조정할 수 있는 능력이 필요합니다. 시각 기반의 힘 예측은 비접촉 추정이라는 장점이 있지만, 본질적으로 문제가 잘 정의되지 않은(ill-posed) 문제입니다. 높은 정확도를 달나하기 어렵고, 외관은 동일하지만 물리적 특성이나 내부 내용물이 다른 물체에 의해 예측이 쉽게 왜곡될 수 있습니다.

물리 시뮬레이터를 사용하여 학습 데이터를 생성할 때 구체적인 어려움이 발생합니다. 표준 강체 시뮬레이터는 접촉 지점에서 희소한 **점 힘(point forces)**만을 출력합니다. 그러나 실제 세계에서 접촉은 점이 아닌 면이나 선을 통해 발생하는 경우가 많습니다. 이미지로부터 이러한 희소한 점 힘을 직접 예측하는 것은 미세한 접촉 상태와 메쉬 구조에 매우 민감하게 반응하게 만들어, 과적합(overfitting)과 새로운 물체 및 장면에 대한 일반화 성능 저하를 초래합니다. 또한, 등방성 통계적 평활화(isotropic statistical smoothing)를 사용하여 이 간극을 메우려 했던 기존의 시도들은 특정 접촉 패턴(예: 면 접촉 vs 점 접촉)을 고려하지 못해, 힘을 인접 영역이나 원치 않는 법선 방향으로 잘못 확산시키는 문제가 있었습니다.

2. 방법론

2.1 전체 프레임워크

저자들은 쌓여 있는 장면(piled scene)의 단일 RGB 이미지를 통해 3D 힘 분포를 예측하는 엔드 투 엔드 딥러닝 프레임을 제안합니다. 시스템은 세 단계로 작동합니다:

데이터 생성: 강체 시뮬레이터(Isaac Sim)를 사용하여 쌍을 이룬 데이터(RGB 이미지 및 접촉력)를 생성합니다.
라벨 처리: 시뮬레이터의 원시 점 힘을 새로운 기하학 인식 통계적 평활화(Geometry-Aware Statistical Smoothing, GAFS) 기술을 사용하여 매끄럽고 일관된 분포로 변환합니다.
학습 및 적용: 합성 데이터(도메인 무작위화 사용)를 통해 ResNet 기반의 인코더-디코더 모델을 학습시킵니다. 학습된 모델은 주변 물체의 방해를 최소화하는 들어올리기 방향을 계획하기 위해 실제 환경의 장면에 적용됩니다.

2.2 기하학 인식 통계적 평활화 (GAFS)

시뮬레이션의 점 힘과 실제 세계의 표면/선 접촉 사이의 간극을 해결하기 위해, 저자들은 물체의 기하학적 구조를 사전 지식(prior)으로 포함하는 평활화 방법을 제안합니다. 기존의 등방성 커널 밀도 추정(KDE) 방식과 달리, GAFS는 접촉하는 물체로부터의 거리에 따라 가중치를 감쇄시킵니다.

복셀 $p_j$ 에서의 힘 밀도 $\tilde{f}(p_j)$ 는 다음과 같이 계산됩니다:
$\tilde{f}(p_j) = \sum_i \alpha_i f_i \tilde{K}(p_j, c_i)$
여기서:

$f_i$ 는 접촉 지점 $c_i$ 에서의 접촉력 크기입니다.
커널 $\tilde{K}$ 는 복셀에서 두 접촉 물체( $A_i$ 및 $B_i$ )의 표면까지의 거리에 따라 감소하는 항을 포함합니다.
이를 통해 평활화가 주로 접촉 표면을 따라(두 물체까지의 거리가 0에 가까운 곳) 확산되도록 하며, 법선 방향(적어도 하나의 물체까지의 거리가 증가하는 방향)으로는 빠르게 감쇄되도록 보장합니다.
점 접촉의 경우, 평활화 효과는 접촉 지점 근처에서도 감쇄되어 분포를 국부적으로 유지합니다.

이 방법은 시각적 메쉬에서 유도된 복셀 기반 부호 거리 함수(SDF)를 사용하여 거리를 효율적으로 계산합니다.

2.3 네트워크 아키텍처 및 학습

모델: ResNet 기반 인코더-디코더 (ResNet50 인코더, Residual U-Net 디코더).
입력: 단일 RGB 이미지.
출력: 힘의 크기를 나타내는 3D 복셀 맵. 방향은 이후 크기 구배(magnitude gradient)로부터 근사됩니다.
손실 함수: 로그 스케일링 및 정규화된 힘 값에 대한 평균 제곱 오차(MSE). 이 구조적 손실은 작은 오차에 더 큰 패널티를 부여하며, 이는 계획(planning)에 있어 매우 중요합니다.
데이터: YCB 물체와 스캔된 편의점 물품을 사용한 쌓인 장면들로 구성된 데이터셋입니다. 도메인 무작위화(카메라 파라미터, 조명, 물체 색상)를 적용한 합성 데이터만을 사용하여 학습합니다.

3. 주요 기여

기하학 인식 평활화: 물체의 기하학적 사전 지식을 통합하여 표면 및 선 접촉을 더 잘 모델링하고, 힘이 인접 영역으로 원치 않게 퍼지는 것을 방지하는 새로운 힘 라벨 평활화 방법을 제안했습니다.
평활화 효과 분석: 보지 못한 물체들로 구성된 미지의 장면에 대해 평활화 방식과 강도가 예측 정확도에 미치는 영향을 조사했습니다.
다운스트림 태스크 평가: "들어올리기 방향 계획" 태스크를 통해 예측된 힘 분포의 유용성을 평가하는 새로운 프레임워크를 제시했습니다. 여기에는 물리적 방해(총 이동 거리, 최대 속도, 최대 접촉력)와 물리적 해석 지표(중력 지지, 토크 균형, 낮은 저항 방향 일치도)가 포함됩니다.
Sim-to-Real 일반화: 강체 시뮬레이션을 사용한 합성 데이터만으로 학습된 모델이 실제 세계의 쌓인 장면에 효과적으로 일반화될 수 있음을 입증했습니다.

4. 실험 결과

4.1 예측 정확도 (RQ1)

비교: 제안된 기하학 인식 힘 평활화(GAFS)를 다양한 강도의 등방성 힘 평활화(IFS) 및 원시 점 힘과 비교했습니다.
결과: GAFS는 IFS에 비해 물체 표면 근처에서 더 낮은 예측 오차를 달립했습니다. 구체적으로, GAFS는 실제 접촉 기하학(선 접촉의 경우 길쭉한 형태, 면 접촉의 경우 평평한 형태)과 더 잘 일치하는 분포를 생성했습니다.
지표: 정규화된 평균 제곱 오차(MSE)와 표면 쉘 오차( $L(d)$ )를 통해, 기하학적 인식을 포함하는 것이 특히 평가 영역이 물체 표면으로 좁혀질수록 오차를 더욱 줄여준다는 것을 보여주었습니다.

4.2 다운스트립 태스크 성능 (RQ2)

태스크: 주변 물체의 방해를 최소화하면서 타겟 물체를 추출하기 위한 들어올리기 방향 계획.
시뮬레이션 결과:
- 평활화된 힘을 사용하는 방식은 "힘 없음(UP)" 베이스라인 전략에 비해 최대 속도(23–24%)와 최대 접촉력(9–14%)을 유의미하게 감소시켰습니다.
- GAFS는 복잡한 장면에서 IFS보다 방해를 줄이는 데 더 뛰어난 성능을 보였습니다.
- 물리적 해석: GAFS는 면 접촉이 있는 물체(예: 납작한 상자, 가위)에 대해 더 나은 중력 지지(GS)와 낮은 저항 방향 일치도(LRDA)를 보여주었습니다. IFS는 정밀한 점 접촉 위치 파악이 중요한 물체(예: 그릇)에서 더 나은 성능을 보였으나, GAFS는 다양한 장면에 걸쳐 더 일관된 성능을 제공했습니다.
- 관찰: GAFS에서 과도한 평활화(높은 $\sigma_f$ )는 성능을 저하시켰으며, 이는 기하학적 가중치와 힘의 국부성 사이의 균형이 필요함을 시사합니다.

4.3 Sim-to-Real 전이 (RQ3)

설정: UR5e 로봇과 RealSense 카메라를 사용하여 미지의 물체가 포함된 7개의 쌓인 장면에 대한 실제 환경 실험.
평가: 주변 물체의 6DoF 포즈 트래킹(FoundationPose 사용)을 통해 방해 정도를 측정했습니다.
결과:
- GAFS는 대부분의 실제 장면에서 IFS 및 베이스라인에 비해 일관되게 가장 작은 방해를 달성했습니다.
- GAFS는 방해 지표에서 더 낮은 분산을 보여, 보다 일관된 들어올리기 방향 계획이 가능함을 나타냈습니다.
- 시각화를 통해 GAFS가 표면 제약 조건(예: 캔과 상자 사이)을 정확히 식별하여 안전한 들어올리기 경로를 찾는 반면, IFS는 인접한 물체를 밀어낼 수 있는 방향을 제안하기도 함을 확인했습니다.
- 모델은 오직 합성 강체 데이터로만 학습되었음에도 불구하고 실제 장면에서 성공적으로 일반화되었습니다.

5. 의의 및 주장

본 논문은 원시 점 힘보다는 매끄러운 힘 분포를 예측하는 것이 로봇이 거칠지만 유용한 물리적 예측을 수행할 수 있게 하는 유효한 전략이라고 주장합니다. 본 연구의 의의는 다음과 같습니다:

Sim-to-Real 간극 해소: 기하학 인식 평활화를 통해 시뮬레이션의 희소한 출력과 실제 세계의 연속적인 접촉 사이의 차이를 완화함으로써, 강체 시뮬레이션으로 학습된 모델이 실제 세계에서 효과적으로 작동할 수 있게 합니다.
실용적 유용성: 예측된 분포는 단순한 이론에 그치지 않고, 혼잡한 환경에서의 방해를 최소 최소화하는 방향을 식별함으로써 다운스트림 조작 태스크(들어올리기)를 직접적으로 개선합니다.
일반화: 이 접근 방식은 로봇이 광범적인 실제 힘 데이터 수집 없이도, 시각적 입력과 시뮬레이션 유도 사전 지식만을 사용하여 미지의 장면에서 물리적 상호작용을 예측할 수 있음을 보여줍니다.

저자들은 강체 가정(평활화를 통해 작은 변형만 처리), 고정된 마찰 계수, 투명한 물체 또는 내부 내용물이 숨겨진 물체에 대한 예측의 어려움 등의 한계를 인정합니다. 향-후 연구로는 들어올리는 과정 중의 연속적인 힘 예측과 더 복잡한 물리적 추론을 위한 추가적인 양상(촉각, 언어 등)의 활용을 제안합니다.