🤖 AI

Manual2Skill++: Connector-Aware General Robotic Assembly from Instruction Manuals via Vision-Language Models

이 논문은 조립 매뉴얼의 시각적 및 텍스트 정보를 비전 - 언어 모델을 통해 추출하여 조립의 핵심인 '연결 (connector)'을 명시적으로 모델링하는 계층적 그래프를 구축하고, 이를 통해 로봇이 복잡한 조립 작업을 성공적으로 수행할 수 있도록 하는 'Manual2Skill++' 프레임워크를 제안합니다.

원저자: Chenrui Tie, Shengxiang Sun, Yudi Lin, Yanbo Wang, Zhongrui Li, Zhouhan Zhong, Jinxuan Zhu, Yiman Pang, Haonan Chen, Junting Chen, Ruihai Wu, Lin Shao

게시일 2026-03-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chenrui Tie, Shengxiang Sun, Yudi Lin, Yanbo Wang, Zhongrui Li, Zhouhan Zhong, Jinxuan Zhu, Yiman Pang, Haonan Chen, Junting Chen, Ruihai Wu, Lin Shao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧩 문제: 로봇은 '조립'보다 '맞춤'에만 집중했습니다

기존의 로봇 조립 기술은 마치 "퍼즐 조각 모양만 보고 끼워 넣는" 방식이었습니다.

기존 방식: "이 다리가 구멍에 들어갈까? 모양이 비슷하니 끼워보자!" (기하학적 모양만 보고 판단)
한계: 하지만 실제 생활에서는 모양만 비슷하다고 해서 다 들어가는 게 아닙니다. 나사로 꽉 조여야 할지, 못을 박아야 할지, 아니면 접착제를 발라야 할지를 구분하지 못하면 로봇은 실패합니다. 마치 레고 블록을 끼울 때, "나사"가 필요한데 그냥 억지로 끼우려다 부러뜨리는 것과 같습니다.

💡 해결책: Manual2Skill++ (설명서에서 배우는 로봇)

이 연구팀은 로봇에게 **"인간이 설명서를 보는 방식"**을 가르쳤습니다. 이름은 **Manual2Skill++**입니다.

1. 설명서를 '지도'로 바꿉니다 (시각 - 언어 모델)

인간은 IKEA 가구나 레고 설명서를 볼 때, 그림을 보고 "아, 이 다리와 이 판을 나사 2 개로 연결해야 구멍이 딱 맞는구나!"라고 이해합니다.

로봇의 변화: 이 연구팀은 최신 AI(시각 - 언어 모델) 를 이용해 로봇이 설명서의 그림과 글자를 읽게 했습니다.
비유: 로봇이 설명서를 볼 때, 단순히 "이것과 저것을 붙여라"가 아니라, **"이 나사 (Connector) 를 어디에 몇 개나, 어떤 각도로 꽉 조여야 하는지"**를 상세한 **지도 (Hierarchical Graph)**로 그려냅니다.

2. '연결'을 가장 중요한 요소로 만듭니다

기존에는 연결 부품을 '부수적인 것'으로 여겼지만, 이 기술은 **연결 부품을 '주인공'**으로 만듭니다.

비유: 요리를 할 때, "재료만 섞으면 돼"가 아니라 **"소금, 후추, 식초를 언제, 얼마나 넣어야 맛있는지"**를 정확히 아는 것과 같습니다. 로봇은 이제 나사, 못, 도우 (목재 말뚝) 같은 연결 부품을 정확히 식별하고, 그 부품의 특징에 따라 조립 방식을 바꿉니다.

3. 미터 단위가 아닌 '밀리미터' 단위의 정밀함

설명서에서 얻은 정보를 바탕으로 로봇은 두 부품을 만났을 때, **"나사 구멍이 딱 1 밀리미터 차이도 없이 맞춰져야 한다"**는 것을 계산합니다.

결과: 기존 기술은 수 센티미터의 오차가 있어 나사를 못 조였지만, 이 기술은 밀리미터 단위로 정확히 맞춰서 나사를 돌리거나 못을 박을 수 있게 됩니다.

🏆 실제 성과: 복잡한 조립도 척척

연구팀은 이 기술을 시뮬레이션에서 테스트했습니다.

테스트 대상: IKEA 의자, 신발장, 비행기 모델, 레고 인형 등 4 가지 복잡한 조립 작업.
결과: 로봇이 설명서를 보고 나사 조임, 못 박기, 끼우기 등을 스스로 판단하여 성공적으로 조립했습니다. 특히 **나사 조임 (Screwing)**이나 정밀 끼우기 (Dowel) 같은 어려운 작업에서도 성공률이 매우 높았습니다.

🌟 요약: 왜 이것이 중요한가요?

이 연구는 로봇이 "눈으로 보고, 설명서를 읽고, 인간처럼 연결 부품을 이해하여" 복잡한 물건을 조립할 수 있는 길을 열었습니다.

과거: 로봇은 "모양이 비슷하면 끼워라" (실패 확률 높음)
현재 (Manual2Skill++): 로봇은 "이건 나사 2 개로 꽉 조여야 해, 구멍 위치는 여기야" (정밀한 성공)

마치 초보 요리사가 레시피를 보고 재료를 정확히 섞어 맛있는 요리를 만드는 것처럼, 이제 로봇도 설명서를 보고 가구나 장난감을 완벽하게 조립할 수 있게 된 것입니다. 이는 앞으로 로봇이 우리 집이나 공장에서 더 복잡하고 정밀한 작업을 스스로 해낼 수 있는 토대가 됩니다.

1. 문제 정의 (Problem Definition)

기존의 로봇 조립 연구는 주로 부품의 기하학적 정렬 (Pose Estimation) 과 운동 계획 (Motion Planning) 에 집중해 왔습니다. 그러나 실제 조립 작업 (가구 조립, 산업 제조 등) 에서 성공의 핵심은 **부품 간의 물리적 연결 (Connections)**을 어떻게 정확하게 구현하느냐에 달려 있습니다.

기존 접근법의 한계: 대부분의 방법은 연결 관계를 사전에 정의되거나 부차적인 문제로 간주하여, 실제 조립에 필수적인 커넥터 (나사, 도우, 치목 등) 의 종류, 수량, 위치를 명시적으로 고려하지 못했습니다.
핵심 과제: 조립 매뉴얼 (Instruction Manuals) 에 포함된 추상적인 스케치와 심볼을 해석하여, 구체적인 커넥터 정보와 부품 간의 연결 관계를 추출하고, 이를 로봇이 정밀하게 실행할 수 있는 물리적 제약 조건으로 변환하는 것입니다.

2. 방법론 (Methodology)

이 논문은 **Manual2Skill++**라는 비전 - 언어 모델 (VLM) 기반 프레임워크를 제안하며, 조립 매뉴얼에서 구조화된 연결 정보를 추출하여 로봇 실행까지 이어지는 파이프라인을 구축합니다.

A. 연결 중심 계층적 그래프 표현 (Connection-Enriched Hierarchical Graph)

조립 작업을 단순한 부품 나열이 아닌, 연결 관계가 명시된 계층적 그래프로 표현합니다.

노드 (Nodes): 원자 부품 (Leaf nodes), 중간 조립체 (Intermediate nodes), 최종 제품 (Root node) 을 나타냅니다.
엣지 (Edges):
- 구성 엣지 (Composition Edge): 부모 - 자식 노드 간의 조립 관계를 나타냅니다.
- 동치 엣지 (Equivalence Edge): 동일한 부품 (예: 테이블 다리 4 개) 간의 관계를 나타냅니다.
- 연결 엣지 (Connection Edge): 핵심 혁신 요소로, 물리적으로 결합되어야 하는 부품 쌍과 이를 연결하는 커넥터 (타입, 수량, 부착 위치) 정보를 인코딩합니다.

B. VLM 기반 그래프 생성 (VLM-Guided Graph Generation)

조립 매뉴얼의 이미지와 텍스트를 분석하여 위 그래프를 자동 생성합니다.

2 단계 프롬프팅 전략:
1. 1 단계 (커넥터 식별): 매뉴얼 이미지를 분석하여 각 단계에서 필요한 커넥터의 종류와 수량을 추론합니다.
2. 2 단계 (부착점 매칭): 고해상도 3D 렌더링 이미지와 매뉴얼 스케치를 비교하여, 각 커넥터가 연결해야 할 정확한 부착점 (Attachment Points) 쌍을 식별합니다.
VLM 의 역할: 추상적인 도면과 실제 3D 모델 간의 시각적 - 공간적 추론을 수행하여, 수천 개의 후보 부착점 중에서 올바른 쌍을 선택합니다.

C. 연결 매칭을 통한 정밀 포즈 정렬 (Connection-Matching Pose Alignment)

추출된 연결 제약 조건을 기반으로 부품의 상대적 포즈를 계산합니다.

기하학적 최적화: 커넥터가 연결될 부착점의 위치와 법선 벡터가 일치하도록 회전 ( $R$ ) 과 이동 ( $t$ ) 을 최적화합니다.
정밀도: 기존 학습 기반 포즈 추정 방법보다 훨씬 높은 밀리미터 (mm) 단위의 정밀도를 달성하여, 로봇이 실제 조립 (삽입, 나사 조임) 을 수행할 수 있는 정확한 기준을 제공합니다.

D. 시뮬레이션 벤치마크 (Isaac Lab Benchmark)

다양한 커넥터 유형 (치목, 도우, 나사) 을 포함한 4 가지 복잡한 장기 조립 작업 (IKEA 의자, 신발장, 비행기 모델, 레고 인형) 을 Isaac Lab 환경에서 구현하여 평가했습니다.

3. 주요 기여 (Key Contributions)

명시적 연결 모델링: 조립 작업의 복잡성을 포착하고 부품 포즈를 직접 계산할 수 있도록, 커넥터 관계를 명시적으로 모델링하는 그래프 표현을 제안했습니다.
Manual2Skill++ 프레임워크: 조립 매뉴얼에서 구조화된 표현을 추출하는 자동화 시스템을 개발하고, 이를 검증하기 위해 20 개 이상의 다양한 조립 작업 (가구, 장난감, 산업 부품) 과 정밀한 3D 모델, 주석이 달린 커넥터 정보를 포함한 데이터셋을 구축했습니다.
실제적인 시뮬레이션 벤치마크: 단순한 객체가 아닌, 실제 조립과 유사한 다양한 커넥터 모달리티 (치목, 나사 등) 와 긴 시간 범위 (Long-horizon) 의 작업을 포함하는 평가 환경을 제공했습니다.

4. 실험 결과 (Results)

그래프 추출 정확도: 제안된 방법 (VLM 기반) 은 무작위 샘플링이나 기하학적 매칭 (Geometric Matching) 기반 방법보다 월등히 높은 성능을 보였습니다.
- Pair Matching (연결 쌍 정확도): F1 점수 63.42%, 성공률 49.41% (기존 기하학적 방법은 0% 에 가까움).
- 불완전한 매뉴얼 상황에서도: 일부 단계가 누락된 경우에도 VLM 의 추론 능력을 통해 연결 정보를 성공적으로 복원하여 견고성을 입증했습니다.
포즈 정렬 정밀도:
- 기존 방법 (SingleImage, Manual2Skill) 은 센티미터 (cm) 수준의 오차를 보인 반면, 제안된 방법은 **밀리미터 (mm) 수준 (RMSE 0.0013)**의 정밀도를 달성했습니다. 이는 실제 조립 성공에 필수적인 수준입니다.
조립 실행 성공률:
- 제안된 정밀 포즈 정보를 기반으로 한 힘 - 위치 하이브리드 (Force-Position Hybrid) 전략을 사용할 때, 모든 작업에서 **73.7% ~ 81.6%**의 높은 연결 성공률을 기록했습니다.
- 단순 무작위 탐색은 거의 실패했으나, 제안된 방법의 정밀한 포즈 기반 탐색은 안정적인 실행을 가능하게 했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 조립 분야에서 **"연결 (Connection)"**을 단순한 부수적 요소가 아닌, 작업 계획의 핵심 요소로 재정의했습니다.

이론적 기여: 비정형적인 조립 매뉴얼을 로봇이 이해할 수 있는 구조화된 물리 제약 조건으로 변환하는 새로운 패러다임을 제시했습니다.
실용적 가치: 가구 조립부터 산업 부품 조립까지, 다양한 커넥터 유형을 처리할 수 있는 일반화된 시스템을 제공하며, 실제 환경에서의 로봇 자동화 가능성을 크게 높였습니다.
향후 전망: Multimodal Task Understanding 과 Connector-Aware Manipulation 기술의 발전에 기초를 마련하며, 복잡한 물리적 상호작용이 필요한 로봇 작업의 범위를 확장합니다.

요약하자면, **Manual2Skill++**는 인간의 조립 매뉴얼 해석 능력을 AI 에게 부여하여, 커넥터의 종류와 위치를 정밀하게 파악하고 이를 바탕으로 로봇이 실패 없이 복잡한 조립 작업을 수행할 수 있게 하는 획기적인 프레임워크입니다.