Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators

이 논문은 로봇 매니퓰레이터의 제어를 위해 외부 마커 없이 로봇의 자연스러운 시각적 특징 (Natural Visual Features) 만을 활용하는 새로운 비전 기반 제어 (Vision-Based Control) 프레임워크를 제안합니다. 특히, 로봇 몸에 마커를 부착하는 것이 불가능하거나 바람직하지 않은 상황에서도 강인한 키포인트 (Keypoint) 검출 및 추적을 통해 로봇을 제어하는 방법을 다룹니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem Statement)

기존의 비전 기반 시각 서보링 (Visual Servoing) 은 주로 로봇의 엔드 이펙터나 몸에 부착된 ArUco 마커와 같은 인공적인 특징점을 사용했습니다. 그러나 이러한 마커는 다음과 같은 한계가 있습니다.

• 자기 가시성 (Self-occlusion) 및 환경 가림: 마커가 가려지거나 조명, 모션 블러 등으로 인해 검출이 실패하면 제어가 중단됩니다.
• 실용성 부족: 마커 부착은 번거롭고, 소프트 로봇이나 저비용 하드웨어 로봇 등 정확한 기구학 모델이 부재하거나 변형이 심한 로봇에는 적용하기 어렵습니다.
• 모델 의존성: 기존 방법은 정밀한 카메라 보정과 로봇의 기구학 모델이 필요하여 범용성이 떨어집니다.

따라서, 마커가 없는 자연스러운 로봇 특징점을 활용하면서도 카메라 보정이나 로봇 모델 없이 강인하게 작동하는 제어 시스템의 필요성이 대두되었습니다.

2. 제안된 방법론 (Methodology)

논문은 데이터 수집, 키포인트 검출, 가림 (Occlusion) 처리, 제어의 4 단계로 구성된 파이프라인을 제시합니다.

A. 자동화된 데이터 수집 및 인페인팅 (Inpainting) 기반 데이터셋 생성

• 마커 부착 및 제거: 로봇 몸에 ArUco 마커를 부착하고, 로봇의 다양한 구성 (Configuration) 에서 이미지를 촬영합니다.
• 인페인팅 (LaMa 모델): 촬영된 이미지에서 마커를 마스킹하고, LaMa(Large Mask Inpainting) 모델을 사용하여 마커가 제거된 자연스러운 로봇 이미지를 재구성합니다.
• 레이블링: 마커의 중심 좌표를 키포인트의 정답 (Ground Truth) 으로 사용하고, 마커가 제거된 이미지를 학습 데이터로 활용합니다. 이를 통해 수동 레이블링 없이 자동으로 라벨이 지정된 자연스러운 로봇 데이터셋을 생성합니다.

B. 키포인트 검출 모델 학습

• 생성된 데이터셋을 사용하여 수정된 Keypoint R-CNN (ResNet50 FPN) 모델을 학습시킵니다. 이 모델은 실시간으로 로봇 몸체의 자연스러운 특징점을 예측합니다.

C. 실시간 가림 (Occlusion) 처리: 마스크 없는 인페인팅

• 제어 실행 중 로봇이 가려지는 경우, 기존 마커 제거용 LaMa 모델은 실시간으로 적용하기 어렵습니다.
• 이를 해결하기 위해 Attention U-Net 기반의 WGAN (Wasserstein GAN) 모델을 개발했습니다.
• 이 모델은 명시적인 마스크 (Explicit Mask) 없이도 가려진 로봇 부위를 실시간으로 재구성 (Inpainting) 합니다. 생성자 (Generator) 는 Attention U-Net 을, 판별자 (Discriminator) 는 PatchNet 을 사용하여 학습된 WGAN-GP(Gradient Penalty) 전략을 따릅니다.

D. 강인성 향상: 무향 칼만 필터 (UKF)

• 재구성된 이미지에서도 일부 키포인트가 누락되거나 부정확하게 검출될 수 있습니다.
• 이를 보완하기 위해 무향 칼만 필터 (Unscented Kalman Filter, UKF) 를 통합했습니다. UKF 는 키포인트의 위치, 속도, 가속도를 추정하여 시간적 일관성을 유지하고, 검출 실패 시 예측값을 기반으로 궤적을 보정하여 제어 루프의 연속성을 보장합니다.

E. 적응형 시각 서보링 (Adaptive Visual Servoing)

• 검출된 키포인트를 사용하여 적응형 IBVS(Image-Based Visual Servoing) 를 수행합니다.
• 로봇의 기구학 모델이나 카메라 보정 파라미터 없이, 온라인으로 자코비안 (Jacobian) 행렬을 추정하여 제어 입력을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 마커 없는 데이터셋 생성: 외부 마커를 부착했다가 인페인팅으로 제거하는 방식을 통해, 수동 레이블링 없이 자연스러운 로봇 키포인트 데이터셋을 자동 생성하는 파이프라인을 제시했습니다.
2. 모델 프리 (Model-Free) 제어: 카메라 보정, 로봇 기구학 모델, 엔코더 등 추가 센서 없이 단일 카메라와 2D 키포인트만으로 3D 공간 운동을 제어할 수 있음을 입증했습니다.
3. 마스크 없는 실시간 가림 처리: 명시적인 가림 마스크 생성 없이, GAN 기반 인페인팅을 통해 실시간으로 가려진 로봇 부위를 복원하여 키포인트 검출을 가능하게 했습니다.
4. 중복 매니퓰레이터의 구성 모호성 해결: 엔드 이펙터뿐만 아니라 로봇 전신의 키포인트를 활용하여, 엔드 이펙터 위치가 동일하더라도 다른 관절 구성을 구분하고 안정적인 제어를 가능하게 했습니다.
5. 3D 운동 제어: 단일 카메라와 2D 이미지 특징점만으로 깊이 정보 (Depth) 나 스테레오 비전 없이 3D(평면 외) 운동을 성공적으로 제어한 최초의 사례입니다.

4. 실험 결과 (Results)

• 실험 설정: Franka Emika Panda 로봇과 Intel RealSense D435i 카메라를 eye-to-hand 구성으로 사용했습니다.
• 가시성 조건: 완전 가시성, 작은 가림, 큰 가림 조건에서 실험을 수행했습니다.
• 성능:
  • 가시성: 완전 가시성 조건에서 키포인트 검출 정확도가 매우 높았으며 (5 픽셀 오차 내 97% 이상), 기존 마커 기반 방법과 유사한 제어 성능을 보였습니다.
  • 가림 처리: 작은 가림 조건에서는 추적 정확도와 제어 성능이 거의 저하되지 않았습니다. 큰 가림 조건에서는 궤적이 다소 노이즈가 발생하고 수렴 시간이 길어졌으나, 목표점에 도달하는 데 성공하여 시스템의 강인성을 입증했습니다.
  • 3D 제어: 3D(평면 외) 운동에서도 안정적인 수렴과 부드러운 궤적을 보였습니다.
  • 재현성: 반복 실험에서 일관된 성능을 보였습니다.
• 실제 적용: 가림이 있는 환경에서 컵을 쌓는 (Cup Stacking) 실증 실험을 통해 시스템의 유효성을 검증했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 이 연구는 로봇 제어 분야에서 모델 의존성을 극도로 낮추고, 비전 기반 제어의 범용성과 적용 가능성을 크게 확장했습니다. 특히 소프트 로봇이나 저비용 로봇과 같이 정확한 모델링이 어려운 플랫폼에 적용 가능한 강력한 솔루션을 제시합니다.
• 한계:
  • 로봇과 색상이 유사하거나 매우 밝은 반사체로 가려진 경우, 인페인팅 모델이 로봇 구조를 잘못 복원하여 키포인트 검출 실패가 발생할 수 있습니다.
  • 엔드 이펙터가 완전히 가려진 경우, 인페인팅 모델이 여러 가지 가능한 자세를 생성하여 (Pose Ambiguity) 제어에 혼란을 줄 수 있습니다.
  • 현재 실험은 정적 가림 (Static Occlusion) 에만 국한되었으며, 동적 가림 환경은 평가되지 않았습니다.

결론

이 논문은 인페인팅 기술을 데이터 생성 및 실시간 가림 처리에 창의적으로 적용하여, 마커와 모델 없이도 강인한 로봇 제어를 실현한 획기적인 연구입니다. 이는 비정형적이고 동적인 환경에서 로봇이 자율적으로 작업 수행 능력을 높이는 데 중요한 기여를 합니다.