기술 요약: SR-Platform

문제 제기

로봇 학습의 확장에는 다양하고 물리적으로 타당한 시뮬레이션 환경의 대규모 컬렉션이 필요합니다. 그러나 이러한 환경을 구축하는 것은 여전히 중요한 병목 현상입니다. 훈련 준비가 된 MuJoCo 장면을 생성하려면 일반적으로 3D 애셋 모델링, MJCF 명세, 공간 배치, 충돌 회피, 로봇 모델 통합에 대한 전문 지식이 필요합니다. 대규모 언어 모델 (LLM) 은 의미 추론과 코드 생성에서 유망한 결과를 보여 왔지만, 기존 접근 방식은 종종 고정된 오브젝트 라이브러리에 의존하거나 상징적 설명에서 멈추거나 실행 전에 수동 개입이 필요합니다. 결과적으로, 제약 없는 자연어 프롬프트를 물리적으로 유효하고 시뮬레이터 준비가 된 로봇 장면으로 변환하는 엔드 투 엔드 문제는 여전히 충분히 해결되지 않았습니다.

방법론: SR-Platform

SR-Platform 은 자유 형식의 자연어 설명으로부터 실행 가능한 MuJoCo 환경을 합성하도록 설계된 프로덕션 배포형 에이전트 시스템입니다. 단일 모놀리식 LLM 에 의존하는 대신, 이 시스템은 PipelineCoordinator 가 조정하는 4 계층, 타입 지정 및 감사 가능한 파이프라인을 사용합니다. 아키텍처는 WebSocket 스트리밍, 메시 저장용 MinIO, 의미 검색용 Qdrant, 상태 관리용 Redis, 원격 측정용 InfluxDB 를 활용하는 9 개 서비스 Docker 스택으로 배포됩니다.

파이프라인은 네 가지 명확한 단계로 구성됩니다:

1. L1: 오케스트레이터
   이 단계는 사용자의 자연어 프롬프트 (예: "컨베이어와 로봇 팔이 있는 조립 라인") 를 구조화된 JSON 장면 계획으로 변환합니다. 이는 방의 치수, 오브젝트 목록, 의미 레이블, 선택된 로봇 식별자 및 이상 매개변수를 정의합니다. LangGraph 워크플로우로 구현되어 기하학적 생성과 의미 계획을 분리하여 LLM 복잡성을 줄이고 실패를 국소화합니다.

2. L2: 애셋 포지 (Asset Forge)
   애셋 포지는 오브젝트 레이블을 시뮬레이터 호환 3D 메시 (STL) 로 해결합니다. 이는 캐시 우선 전략을 사용합니다:

   • 의미 검색: 오브젝트 레이블이 임베딩되어 Qdrant 벡터 데이터베이스에 쿼리됩니다. 높은 유사도의 캐시된 애셋이 존재하면 STL 이 MinIO 에서 로드됩니다.
   • LLM-to-CadQuery 합성: 캐시 히트가 발생하지 않으면 LLM 이 새로운 기하학을 합성하기 위해 CadQuery 코드를 생성합니다. 이 코드가 실행되어 STL 메시를 생성한 후, 향후 재사용을 위해 저장 및 인덱싱됩니다.
   • 견고성: 시스템에는 유효성 검사 및 자동 재시도 메커니즘이 포함되어 있습니다. 생성된 코드가 잘못되었거나 기하학이 유효하지 않은 경우, 시스템은 재생성을 시도하거나 전체 작업 실패를 방지하기 위해 단순화된 기하학으로 대체합니다.

3. L3: 레이아웃 아키텍트
   이 단계는 모든 해결된 오브젝트에 공간 포즈 (위치 및 회전) 를 할당합니다. 의미상 타당성 (예: 바닥에 있는 테이블) 과 물리적으로 일관성 (중첩 없음) 이 있는 배치를 제안하기 위해 LLM 기반 레이아웃 모델을 사용합니다. 중요한 점은 전기 간격, 화재 안전 대피로, 기계 안전 거리, 환기 간격과 같은 제약 조건을 확인하는 IndustryRulesChecker 를 통합한다는 것입니다. 위반 사항은 구조화된 항목으로 반환되어 재샘플링 또는 이상 레이블링을 가능하게 합니다.

4. L4: 브리지 및 MJCF 조립
   최종 단계는 배치된 장면 계획을 실행 가능한 MuJoCo XML (MJCF) 파일로 변환합니다. 이는 바닥, 벽 및 오브젝트 본체를 구성하고, 계산된 포즈와 함께 검색되거나 생성된 STL 메시를 삽입합니다. RobotMerger 는 선택된 로봇 모델 (UR5, Franka Panda 등 카탈로그 포함) 을 장면과 통합하여 좌표계 일관성을 보장합니다. 이 단계는 결정적이며 LLM 을 호출하지 않습니다.

주요 기여

본 논문은 네 가지 주요 기여를 요약합니다:

1. 엔드 투 엔드 에이전트 파이프라인: 자연어 작업 공간 설명을 로봇 모델, 메시 애셋, 오브젝트 포즈 및 스폰 좌표를 포함하는 실행 가능한 MuJoCo 장면으로 변환하는 시스템.
2. 캐시 인식 애셋 포지: 이전에 생성된 오브젝트 유형의 불필요한 LLM 호출을 줄이는 의미 검색과 LLM-to-CadQuery 생성을 결합한 메커니즘.
3. 산업 레이아웃 검증: MJCF 조립 전에 장면 합성 프로세스에 제약 조건 확인 (간격, 안전, 대피로) 을 통합.
4. 프로덕션 원격 측정: 611 건의 성공적인 LLM 호출을 포함한 30 일간의 프로덕션 데이터 보고로, 단계별 지연 시간, 재시도 동작 및 처리량 한계를 상세히 기술.

실험 결과

시스템은 30 일 배포 기간의 프로덕션 원격 측정을 사용하여 평가되었습니다.

• 지연 시간: 모든 오브젝트가 캐시를 miss 하는 5 개 오브젝트 장면의 경우, 중앙값 엔드 투 엔드 지연 시간은 약 50 초입니다. 오브젝트가 캐시에서 검색될 때 지연 시간은 30~40 초로 감소합니다.
• 단계 성능: L2 애셋 포지가 주요 지연 시간 기여자입니다. 첫 번째 시도 CadQuery 생성 (skill_generator) 의 중앙값 지연 시간은 17.9 초입니다 (p95: 65.4 초). 재시도 호출은 더 느려 중앙값이 24.4 초입니다.
• 신뢰성: 애셋 포지는 11.3% 의 첫 번째 시도 재시도율을 보입니다. 실패는 주로 잘못된 CadQuery 코드 또는 유효하지 않은 기하학 때문입니다. 자동 재시도 및 대체 메커니즘을 통해 시스템은 전체 장면 생성을 중단하지 않고 복구할 수 있습니다.
• 처리량: 시스템은 5 개의 동시 생성 작업을 지원합니다. 처리량은 L2 애셋 생성에 의해 제한되지만, 아키텍처가 상태 비저장 서비스 (Redis, MinIO, Qdrant) 를 공유하므로 워커를 추가하여 수평적으로 확장할 수 있습니다.
• 모델 성능: 기계식 CAD 및 자유 형식 애셋에 대한 벤치마크에 따르면 claude-opus-4-6-fast 가 기계 부품에 대해 가장 높은 기하학적 정확도를 달성하는 반면, qwen3-coder-480b 는 속도와 비용의 강력한 균형을 제공합니다.

중요성 및 주장

본 논문은 SR-Platform 을 로봇 시뮬레이션 환경 생성을 더 확장 가능하고 접근하기 쉽게 만드는 한 걸음으로 위치시킵니다. 사용자가 단순한 영어 프롬프트로 1 분 미만 내에 실행 가능한 MuJoCo 장면을 생성할 수 있게 함으로써, 시스템은 다양한 훈련 환경을 구축하는 데 필요한 수동 노력을 줄입니다.

저자들은 시스템의 가치가 프로덕션 지향적 설계에 있다고 강조합니다. 이는 단순한 연구 프로토타입이 아니라 실시간 진행 스트리밍, 비동기 작업 실행, 의미 애셋 검색 및 사용자별 상태 격리를 갖춘 배포된 서비스입니다. 논문은 의미 계획, 애셋 생성, 레이아웃 추론, 시뮬레이터 조립을 분리하는 이러한 에이전트 접근 방식이 단일 엔드 투 엔드 LLM 프롬프트보다 더 나은 캐싱, 디버깅 및 검증을 가능하게 한다고 주장합니다. 또한 산업 제약 조건 확인의 포함은 시각적으로 타당한 장면과 물리적으로 유효하며 배포 준비가 된 환경 간의 격차를 해소하는 것을 목표로 합니다.

저자들은 겸손하게 한계를 지적하며, 현재 시스템은 실내 산업 및 반구조화 환경을 대상으로 하며, LLM 생성 CAD 코드는 복구 가능하지만 아직 보장된 결정적 컴파일러는 아니라고 인정합니다. 향후 작업으로는 이미지-to-3D 생성, 더 높은 충실도의 물리 백엔드, 그리고 로봇 학습 데이터셋 형식으로의 직접 내보내기가 제안됩니다.