기술 요약: Articraft: 확장 가능한 관절형 3D 자산 생성을 위한 에이전트 시스템

문제 제기

관절형 3D 객체 (예: 캐비닛, 도구, 차량) 를 이해하고 시뮬레이션하는 학습 과정에서 주요 병목 현상은 대규모, 다양성, 고품질의 데이터셋 부재입니다. PartNet-Mobility 및 AKB-48 와 같은 기존 데이터셋은 카테고리 범위가 제한적이며, 종종 수동 큐레이션이나 실제 세계 스캔에 의존하고 불균일한 품질을 보입니다. 결과적으로 학습 기반 방법들은 사용 가능한 데이터에 과적합되어 새로운 객체 카테고리로 일반화하지 못합니다. 합성 생성이 해결책을 제시할 수 있지만, 관절형 자산을 생성하는 것은 기하학뿐만 아니라 부분 계층 구조, 조인트, 운동 범위까지 모델링해야 하므로 복잡합니다. 기존 접근 방식은 종종 시각적 피드백을 위해 무거운 외부 그래픽 소프트웨어 (예: Blender) 에 의존하거나 제한된 라이브러리에서 부분을 검색하여 다양성과 확장성을 제약합니다.

방법론

저자들은 Articraft를 제안합니다. 이는 객체를 구성하는 프로그램을 작성하는 문제로 문제를 정의함으로써 대규모로 관절형 3D 자산을 생성하는 에이전트 시스템입니다. 이 시스템은 재학습 없이 기성 Large Language Models(LLM) 을 활용하며, 두 가지 핵심 구성 요소에 의해 안내됩니다:

1. Articraft SDK(소프트웨어 개발 키트)

SDK 는 관절형 객체를 정의하기 위한 도메인 특화형 LLM 친화적 Python 인터페이스를 제공합니다.

• 프로그래밍 인터페이스: LLM 은 ArticulatedObject를 구성하는 단일 Python 파일 (model.py) 을 작성합니다.
• 기하학 및 부분: SDK 는 부분 기하학을 정의하기 위해 저수준 원시 요소 (예: 원통, 상자) 와 고수준 추상화 (예: 경첩, 바퀴, 그릴) 를 모두 제공합니다. 복잡한 형태를 위해 CadQuery 를 통한 CAD 유사 도구를 지원합니다.
• 관절 정의: SDK 는 명시적인 시작점, 축, 운동 한계를 가진 조인트 (회전, 미끄럼, 연속, 고정) 의 지정을 허용하여 출력이 구조화된 운동학적 표현 (URDF) 이 되도록 보장합니다.
• 자기 검증: SDK 는 run_tests() 진입점을 포함하며, 여기서 에이전트는 기본 검사 이상의 구조적 무결성을 검증하기 위해 객체별 테스트 (예: 접촉, 간격, 포함 여부 확인) 를 작성할 수 있습니다.

2. Articraft 하네스

하네스는 LLM 을 일회성 생성기가 아닌 반복적 에이전트로 변환하는 제한된 실행 환경 역할을 합니다.

• 제한된 작업 공간: 에이전트는 오직 하나의 쓰기 가능 파일 (model.py) 과 SDK 문서 및 큐레이션된 예제에 대한 읽기 전용 액세스만 있는 샌드박스에서 작동합니다. 임의의 셸 명령을 실행하거나 복잡한 파일 시스템을 관리할 수 없습니다.
• 제한된 행동 공간: 에이전트는 read_file, edit_code(패치 적용), find_examples, compile_model, probe_model과 같은 소수의 도구를 사용합니다.
• 반복적 정제 루프: 이 과정은 추론 - 행동 - 관찰 패턴을 따릅니다:
  1. LLM 이 model.py를 편집합니다.
  2. 하네스가 코드를 실행하여 자산을 내보내고 검증을 수행합니다.
  3. 하네스는 런타임 오류, 기하학적 중첩, 연결되지 않은 부분 또는 실패한 테스트와 관련된 구조화된 피드백 (실패, 경고, 메모) 을 반환합니다.
  4. LLM 은 이 피드백을 사용하여 코드를 수정합니다.
• 이미지 조건부 생성: 참조 이미지가 제공되면 편집 - 실행 - 수리 루프 전반에 걸쳐 기하학과 비율에 대한 주요 기준 (ground truth) 으로 작용합니다. 시스템은 이후 PBR 재질을 이미지와 일치하도록 정제할 수 있습니다.

주요 기여

1. Articraft 시스템: 무거운 시각적 피드백 루프나 외부 그래픽 소프트웨어의 필요성을 피하고 특수화된 SDK 에 대한 코드 작성을 통해 관절형 3D 자산을 생성하는 새로운 에이전트 프레임워크.
2. Articraft-10K 데이터셋: 245 개 객체 카테고리에 걸친 10,000 개 이상의 관절형 3D 자산으로 구성된 큐레이션된 데이터셋. 각 자산에는 URDF 파일, 소스 model.py 프로그램, 전체 에이전트 추론 흔적이 포함됩니다.
3. 확장 가능하고 경량화된 설계: 이미지 기반 렌더링 및 검사가 아닌 코드 실행과 구조화된 피드백에 의존함으로써, 시스템은 자산당 낮은 추론 비용을 달성하여 CPU 워커에서 대규모 생성을 가능하게 합니다.
4. 성능 검증: 이 시스템은 도메인 특화 프로그래밍 인터페이스가 범용 코딩 에이전트 및 기존 관절형 자산 생성기보다 훨씬 우수함을 입증했습니다.

결과

• 데이터셋 품질: 약 10,909 개의 생성 시도 중 10,018 개 자산 (91.8%) 이 수동 큐레이션 기준 (현실성, 예상 관절, 물리적 제약) 을 통과했습니다.
• 사용자 연구: 최첨단 방법 (Articulate-Anything, PhysX-Anything, URDF-Anything+, Codex) 과의 비교에서 Articraft(GPT-5.5 기반) 는 가장 높은 사용자 선호도를 보였으며, 비교의 37% 에서 1 위를 차지했습니다. 특히 Articraft 하네스 없이 동일한 LLM(GPT-5.5) 을 사용한 경우 순위가 현저히 낮아 (하위 2 위) 전문화된 인터페이스의 중요성을 강조했습니다.
• 하류 유틸리티:
  • 모델 학습: Particulate(순방향 3D 관절 추정 모델) 의 학습 데이터를 Articraft-10K 로 보강한 결과, 특히 원래 학습 분포 밖의 카테고리에서 상당한 성능 향상이 이루어졌습니다.
  • 시뮬레이션 및 VR: 생성된 자산은 로봇 조작 (예: 서랍 열기) 을 위한 NVIDIA Isaac Sim 과 자연스러운 사용자 상호작용을 위한 VR 환경에서 성공적으로 배포되어 시뮬레이션 준비 상태를 확인했습니다.
• 비용 효율성: 유지된 자산당 평균 API 비용은 약 1.13 달러였으며, 객체당 평균 15~17 턴이 소요되어 대규모 데이터셋 생성의 경제적 타당성을 입증했습니다.

의의

이 논문은 확장 가능한 관절형 자산 생성의 열쇠는 시각 중심 파이프라인에서 프로그래밍적, 코드 기반 루프로의 전환에 있다고 주장합니다. 에이전트를 작업 특화 SDK 와 최소 실행 하네스로 제한함으로써 Articraft 는 LLM 의 코딩 능력과 세계 지식을 효과적으로 활용하여 고품질의 구조화된 3D 자산을 생산합니다. 이 접근 방식은 관절형 객체에 대한 데이터 부족 문제를 해결할 뿐만 아니라 하류 3D 지각 모델의 일반화를 개선하는 학습 데이터를 생성하는 경로를 제공합니다. Articraft-10K 와 소스 코드 및 에이전트 흔적의 공개는 로봇공학, 가상현실, 그리고 embodied AI 분야의 추가 연구를 촉진하는 것을 목표로 합니다.