기술 요약: BRICKCRAFT

문제 정의

상호 잠금식 벽돌의 자율 로봇 조립은 장기적 조작에서 formidable한 과제를 나타내며, 고수준 작업 추론, 공간적 기반, 그리고 미세한 접촉이 풍부한 조작의 원활한 통합을 요구합니다. 기존 단일 엔드투엔드 제어 패러다임은 장기적 의존성과 복잡한 구조적 제약을 모델링하는 데 필요한 광범위한 데이터 요구 사항에 직면하여 어려움을 겪습니다. 더 나아가, 고수준 의미론적 계획과 저수준 시각운동 실행 간의 간극을 메우는 것은 벽돌 조립에서 특히 어렵습니다. 이는 두 가지 혼란 요인 때문입니다: (1) 주기적인 기하학적 단위와 반복적인 특징으로 인한 시각적 모호성, 그리고 (2) 상호 잠금 인터페이스에 대해 여러 개의 국소적으로 유효하지만 이산적인 조립 자세가 존재하는 공간적 다중 모드성입니다. 현재 솔루션들은 종종 명시적인 운동학적 상태 (지각 노이즈에 취약함) 나 암시적 목표 이미지 (물리적 기반을 두기 어려움) 에 의존하여, 좁은 간격 조립 시나리오에서 로봇에게 강력한 지침을 제공하지 못합니다.

방법론

본 논문은 디지털 벽돌 설계를 물리적 제품으로 변환하기 위해 세 가지 명확한 단계를 거치도록 설계된 구성형 프레임워크인 BRICKCRAFT를 제시합니다.

1. 기술 지향 조립 추론

BRICKCRAFT 는 조립 - 분해 전략을 사용하여 장기적 조립 작업을 실행 가능한 하위 목표의 시퀀스로 분해합니다.

• 상대적 형식화: 절대적 자세 대신, 각 조립 단계는 기존 부분 구조 내에서 기준 벽돌 ($b_{ref}$) 에 목표 벽돌 ($b_{tgt}$) 을 부착하는 튜플 $(b_{ref}, b_{tgt}, \tau)$로 정의됩니다.
• 기하학적 작업 인코딩: 상대적 공간 관계는 스타드 단위의 이산적 공간 오프셋과 상대적 평면 방향을 나타내는 4 차원 벡터 $\tau = [\tau_x, \tau_y, \tau_z, \tau_\theta]$로 매개변수화됩니다. 이 형식화는 다양한 조립 작업을 재사용 가능한 원시 기술의 유한 집합으로 추상화합니다.
• 검색 알고리즘: 깊이 우선 탐색 (DFS) 은 목표 상태에서 실행 가능한 분해 경로를 탐색하며, 네 가지 기준인 연결성 ($C_{con}$), 가시성 ($C_{obs}$), 조작 가능성 ($C_{op}$), 그리고 안정성 ($C_{stab}$) 에 대해 후보 움직임을 검증합니다.

2. 조립 의도 기반화 (현장 매뉴얼)

상징적 계획과 물리적 실행 간의 간극을 메우기 위해, 이 프레임워크는 **현장 매뉴얼 (situated manuals)**을 도입합니다. 이 전략은 추상적인 조립 의도를 실시간 로봇 관측에 투영하여 명시적인 공간적 지침을 제공합니다.

• 시각적 참조 생성: 시뮬레이션 엔진 (Blender) 은 조립의 예상 상태를 렌더링하여 전체 구조와 특정 기준 벽돌에 대한 사실적인 이미지와 의미론적 마스크를 생성합니다.
• 물리적 엔티티 분할: 미세 조정된 YOLOv8-seg 모델이 물리적 작업 공간을 분할하여 조립된 구조, 그리퍼, 그리고 목표 벽돌을 식별합니다.
• 마스크 정렬 및 추적: 아핀 변환이 시뮬레이션된 참조 마스크를 물리적 관측과 정렬합니다. 추적 모듈 (SAM 2) 은 이러한 마스크의 시간적 일관성을 유지합니다.
• 시각적 증강: 시스템은 추적된 참조 마스크를 원시 카메라 피드에 오버레이하여 "현장 매뉴얼"을 생성합니다. 활성 마스크 외부의 영역은 그라데이션 전환으로 어둡게 처리되어 (밝기를 25% 로 감쇠), 작업 관련 엔티티를 강조하고 시각적 방해 요소를 억제하는 스포트라이트 효과를 만듭니다.

3. 구성형 시각운동 실행

실행 파이프라인은 현장 매뉴얼의 지침 하에 학습된 시각운동 기술을 연결합니다.

• 정책 아키텍처: 조립 기술은 현장 매뉴얼로 증강된 듀얼 뷰 시각 관측, 고유 감각 상태, 그리고 작업 인코딩 $\tau$에 조건부인 **확산 정책 (Diffusion Policy)**으로 형식화됩니다.
• 입력 모드: 관측에는 작업 공간 및 손목 카메라 뷰, 엔드 이펙터 자세, 그리퍼 상태, 그리고 접촉 인식을 향상시키기 위해 관절 토크에서 추정된 3D 외부 힘이 포함됩니다.
• 기술 연결: 장기적 작업은 집기와 조립 기술의 시퀀스로 실행됩니다: $\{S^{(1)}_{pick} \rightarrow S^{(1)}_{asm} \rightarrow \dots \rightarrow S^{(N)}_{asm}\}$.
• 검증: 사전 및 사후 조건은 물리적 상태와 상징적 계획 간의 가시성, 운동학적 실현 가능성, 그리고 기하학적 일관성을 검증하여 오류의 누적을 방지합니다.

주요 기여

1. BRICKCRAFT 프레임워크: 작업 추론과 실행을 분리하는 장기적 상호 잠금식 벽돌 조립을 위한 구성형 프레임워크.
2. 상대적 작업 형식화: 상대적 기하학적 인코딩을 통해 단계를 기준 벽돌에 고정함으로써 다양한 조립 작업을 원시 기술의 유한 집합에 매핑하는 새로운 접근법.
3. 현장 매뉴얼: 작업 관련 엔티티를 분할하고 강조함으로써 상징적 의도를 실시간 관측에 기반화하여 시각적 모호성을 효과적으로 해결하고 명시적인 공간적 지침을 제공하는 전략.
4. 경험적 검증: 보지 못한 구조에 대한 강력한 구성 일반화를 입증한 포괄적인 실세계 실험.

실험 결과

이 프레임워크는 LEGO Duplo 벽돌을 사용하여 Robotiq 그리퍼가 장착된 Kinova Gen3 암에서 평가되었습니다.

• 데이터셋: 현장 매뉴얼 파이프라인으로 증강된 60 개 이상의 구성에 걸친 692 개의 데모 궤적.
• 단일 단계 성능: BRICKCRAFT 는 48 개의 서로 다른 구조 (24 개 학습, 24 개 미학습) 에 대한 240 회 시뮬레이션에서 86.25% 의 성공률을 달성했습니다.
  • 이는 목표 이미지 조건부 확산 정책 (GI-DP) 과 목표 이미지 조건부 $\pi_0.5$(GI-$\pi_0.5$) 와 같은 베이스라인을 크게 능가했습니다.
  • GI-DP 는 보지 못한 구조에서 12.5~15.0% 의 성능 저하를 겪었으며, GI-$\pi_0.5$는 50% 미만의 성공률에 갇혀 있었습니다.
  • EigenCAM 시각화는 현장 매뉴얼이 시각적 주의를 기하학적 관계에 집중시키는 반면, 베이스라인은 방해 요인에 취약한 분산된 활성화를 보임을 확인했습니다.
• 장기적 성능: 시스템은 피라미드, 계단, 집, 성 등 네 가지 서로 다른 구조의 조립 작업을 성공적으로 완료했으며, 훈련 중 전혀 보지 못했던 "성"을 포함했습니다.
  • 완전히 지지된 구조 (피라미드, 계단) 에서는 완료율이 높았으나, 지지되지 않은 중간 영역을 가진 구조 (집, 성) 에서는 누적 오류와 구조적 변형으로 인해 약간 감소했습니다.
• 절대 연구: 현장 매뉴얼을 위한 배경 감쇠 전략은 10~12.5% 더 높은 성능을 보이며, 부드러운 전환이 인공적인 가장자리보다 기하학적 윤곽을 더 잘 보존함을 시사했습니다.

중요성 및 주장

본 논문은 BRICKCRAFT 가 복잡한 조립 작업에서 고수준 의미론적 추론을 물리적 실행에 기반화하는 중요한 병목 현상을 해결한다고 주장합니다. 현장 매뉴얼을 도입함으로써, 이 프레임워크는 반복적인 기하학적 구조에 내재된 시각적 모호성을 효과적으로 해결하여 로봇이 제한된 데모에서 학습하고 새로운 보지 못한 구성으로 일반화할 수 있게 합니다.

저자들은 개별 기술이 숙련되어 있더라도 구성형 실행 파이프라인이 장기적 신뢰성에 필수적임을 강조합니다. 이 프레임워크는 복잡한 작업을 상대적이고 재사용 가능한 원시 기술로 분해하고 명시적인 공간적 지침과 결합하는 것이 복잡하고 실세계 환경에서 작동하는 지능형 구체 시스템으로 나아가는 실현 가능한 길임을 보여줍니다. 이 연구는 상징적 추론과 공간적으로 기반화된 원자적 기술을 연결하는 것이 더 넓은 조작 시나리오에서 강력한 에이전트를 배포하기 위한 유망한 방향임을 시사하지만, 현재 시스템은 상호 잠금식 벽돌 조립으로 제한되어 있으며 실패 복구를 위한 반응형 자기 수정 기능이 부족합니다.