기술 요약: 단안 시각 기반 파지 제어 프레임워크

문제 정의

비정형 환경에서의 로봇 조작은 부드럽고 변형 가능한 물체(예: 식품, 직물)부터 단단한 일상 용품에 이르기까지 매우 다양한 기계적 특성을 가진 물체를 다룰 때 상당한 어려움에 직면합니다. 기존의 접근 방식들은 대개 이러한 범주들을 개별적으로 다루며, 촉각 센싱, 물체별 기계 모델 또는 특수 엔드 이펙터(예: 소프트 그리퍼)에 의존하는 경우가 많습니다. 그러나 촉각 센서는 센서의 엘라스토머보다 부드러운 물체를 다루는 데 어려움이 있고, 시간이 지남에 따라 성능이 저하되며, 비용이 많이 듭니다. 반대로, 특수 제작된 소프트 그리퍼는 단단한 물체를 다루는 데 필요한 힘을 생성하지 못해 범용성이 제한됩니다. 또한, 시간 가변적이고 비선형적인 재료 특성(예: 수분 함량 변화에 따른 식품의 특성)으로 인해 변형 가능한 물체의 정밀한 기계적 모델링은 어렵습니다. 본 논문은 촉각 계측이나 명시적인 역학 모델 없이 오직 시각적 피드백만을 사용하여, 순응성(compliant) 물체와 단단한(rigid) 물체를 모두 처리할 수 있는 통합적이고 센서 효율적인 접근 방식이 필요하다고 주장합니다.

방법론

제안된 프레임워크는 표준 위치 제어형 그리퍼(구체적으로 Franka Emika Hand)를 위해 설계된 통합된 단안 시각 기반 제어 파이프라인입니다. 이 시스템은 오직 RGB 입력만을 사용하며, 여러 컴퓨터 비전 구성 요소와 언어 기반 제어 전략을 통합합니다.

1. 시각적 인지 및 상태 추정

시스템은 다음과 같은 순차적 파이프라인을 통해 시각 데이터를 처리합니다:

• 물체 탐지 및 세그멘테이션: 오픈 보카불러리(open-vocabulary) 물체 탐지 모델(YOLOv8x-worldv2)이 텍스트 프롬프트를 기반으로 대상 물체를 식별합니다. 탐지된 바운딩 박스는 세그멘테이션 네트워크(Meta SAM2)에 의해 정교화되어 물체의 이진 마스크를 생성합니다.
• 경계 인식 포인트 할당: 특히 질감이 낮거나 변형되는 물체에서도 견고한 추적을 보장하기 위해, 시스템은 경계 가중치 클러스터링 알고리즘을 통해 쿼리 포인트를 선택합니다. 이 방법은 물체의 윤곽 근처에 더 높은 가중치를 할당하여, 변형이 가장 잘 관찰되는 곳에 추적 포인트가 밀도 있게 분포되도록 합니다.
• 실시간 추적 및 깊이 추정: 선택된 포인트들은 TAPIR(Tracking Any Point with per-frame Initialization and Temporal Refinement)를 사용하여 실시간으로 추적됩니다. 단안 깊이 추정 모델(Depth Anything)은 이 2D 추적 포인트들을 3D 좌표로 변환합니다.
• 기하학적 상태 분석:
  • 변형 가능한 물체: 시스템은 추적된 포인트들의 현재 구성과 초기 상태를 비교하여 프로크루스테스 기반 불일치 측정치(Procrustes-based dissimilarity measure, $D_t$)를 계산합니다. 이 지표는 물체의 변형에 대한 시각적 대리 지표 역할을 하며, 나아가 파지력을 나타냅니다.
  • 단단한 물체: 단단한 물체의 경우, 시스템은 추적된 포인트들 사이의 쌍별 거리 비율에서 유도된 스케일링 인자(scaling factor, $sf_t$)를 활용합니다. 이 인자는 카메라와의 거리를 나타내며 그리퍼의 폭을 조절하는 데 사용됩니다.

2. 언어 기반 강성 추정 (StiffNET)

핵심 혁신은 물리적 접촉 전, 텍스트 설명(텍스트 프롬프트)으로부터 물체의 예상 순응성을 직접 추론하는 StiffNET 모델입니다.

• 아키텍처: 이 모델은 텍s 텍스트 임베딩(frozen CLIP 인코더를 통해)을 신경망을 사용하여 스칼라 로그-강성(log-stiffness) 값으로 매핑합니다.
• 학습: 모델은 두 가지 상보적인 소스로 학습됩니다: (1) 상대적 순서를 학습하기 위해 LLM(Gemma 3)에 의해 생성된 쌍별 경도 비교, (2) 절대적 척도를 고정하기 위한 희소한 실제 강성 측정값.
• 기능: 추정된 강성($\hat{k}$)은 제어 모드를 선택하는 사전 정보(prior) 역할을 합니다. 강성이 임계값 $k_{th}$보다 낮은 물체는 변형 가능한 것으로 취급되고, 그보다 높은 물체는 단단한 것으로 취급됩니다.

3. 적응형 파지 제어

제어기는 선택된 모드에 따라 그리퍼 폭($W_t$)을 동적으로 조정합니다:

• 변형 가능한 모드 (Deformable Mode): 그리퍼 폭은 현재의 불일치($D_t$)와 참조 불일치($D_{ref}$) 사이의 차이를 최소화하도록 조정됩니다. $D_{ref}$는 미끄러짐이나 물체의 움직임을 보상하기 위해 스케일링 인자에 따라 동적으로 업데이트됩니다.
• 단단한 모드 (Rigid Mode): 단단한 물체의 경우, 그리퍼 폭은 스케일링 인자($sf_t$)에 의해 직접 조절됩니다. 즉, 물체가 가까워지거나 카메라가 멀어지는 것에 따라 안정적인 파지가 이루어질 때까지 그리퍼 폭을 좁힙니다.

주요 기여

1. 통합 프레임워크: 본 논문은 단안 RGB 입력과 표준 위치 제어형 그리퍼만을 사용하여, 단일 제어 파이프라인 내에서 부드러운/변형 가능한 물체와 단단한 물체를 모두 처리할 수 있는 최초의 시스템을 제시합니다.
2. 순응성을 위한 의미론적 사전 정보: 언어 기반의 의미론적 지식(StiffNET을 통해)이 물체의 재료 강성에 대한 효과적인 물체 수준의 사전 정보를 제공할 수 있음을 입증하였으며, 이를 통해 시스템이 촉각 센싱 없이 접촉 전에 적절한 파지 전략을 선택할 수 있게 합니다.
3. 시각 전용 적응: 본 연구는 시각적 피드백만으로도(특히 변형 가능한 물체를 위한 프로크루스테스 기반 불일치 및 단단한 물체를 위한 스케일링 인자를 통해) 다양한 일상 용품에 대해 안정적이고 적응적인 파지를 지원할 수 있음을 보여줍니다.

실험 결과

프레임워크는 수정된 Franka Hand(3D 프린팅된 폼 쿠션 손가락 장착)가 장착된 Franka Emika Research 3 암과 일반 USB 카메라를 사용하여 검증되었습니다. 실험은 서로 다른 기계적 특성을 가진 물체 데이터셋을 대상으로 수행되었습니다:

• 변형 가능/부드러움: 상추, 생 모짜렐라 치즈, 크로와상, 종이 타월.
• 단단함: 단단한 플라스틱 병.

성능:

• 시스템은 테스트된 모든 물체에 대해 pick-and-place 작업을 성공적으로 완료했습니다.
• 변형 가능한 물체(예: 상추)의 경우, 컨트롤러는 불일치 지표와 스케일링 인자가 안정화되는 것을 통해 입증되었듯이, 물체가 변형됨에 따라 안정적인 파지를 유지하기 위해 그리퍼 폭을 성공적으로 조정했습니다.
• 단단한 물체(예: 플라스키 병)의 경우, 시스템은 스케일링 인자를 기반으로 그리퍼 폭을 효과적으로 조절하여 물체를 들어 올린 후 견고한 파지를 달성했습니다.
• 알고리즘은 4개의 그리드 포인트($k=4$)를 사용하여 Nvidia RTX A4000 GPU에서 30 FPS로 실행되었습니다.
• StiffNET은 다양한 재료(예: 두부, 나무, 강철, PVC)에 대해 실제 값 및 기타 LLM 기반 추정치와 유사한 강성 값을 추정하는 능력을 보여주었습니다.

의의 및 주장

저자들은 이 연구가 식품 취급 및 가사 자동화 분야에서 로봇 조작을 위한 실용적이고, 센서 효율적이며, 일반화 가능한 접근 방식을 제공한다고 주장합니다. 특수 촉각 센서, 복잡한 기계 모델 또는 맞춤형 소프트 그리퍼의 필요성을 제거함으로써, 이 프로토콜은 비정형 환경에 로봇을 배치하는 데 드는 장벽을 낮춥니다.

본 논문은 인간의 조작이 시각과 촉각 피드백의 원활한 통합에 의존하는 반면, 이 시스템은 시각적 피드백만으로도 광범위한 물체의 순응도에 걸쳐 안정적인 파지를 달 achieve 할 수 있음을 증명한다고 강조합니다. 의미론적 사전 정보의 통합은 로봇이 물체의 행동을 "예측"할 수 있게 하여, 고수준의 언어 이해와 저수준의 모터 제어 사이의 간극을 메워줍니다. 저자들은 이를 새로운 작업마다 광범위한 재교정이나 특수 하드웨어를 요구하지 않고도 실제 세계의 다양한 물리적 특성을 다룰 수 있는, 더욱 다재다능한 로봇 비서를 향한 단계로 규정합니다.