Test-Driven Agentic Framework for Reliable Robot Controller

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 로봇 공학에서 운동 계획 (Motion Planning) 은 중요하지만, 실제 실행 (Execution) 단계에서 센서의 해상도 제한, 작동기의 한계, 환경적 제약 등으로 인해 이론적 계획과 실제 수행 사이에 큰 격차가 존재합니다. 전통적으로 이 격차를 메우기 위해 수동 파라미터 튜닝과 디버깅이 필요했으나, 이는 시간 소모적이고 확장성이 낮습니다.
• 문제점: 최근 대규모 언어 모델 (LLM) 을 활용한 제어기 생성이 시도되고 있으나, 단일 회차 (One-shot) 생성은 다음과 같은 한계를 가집니다.
  • 구문 오류, 런타임 충돌, 안전 위반 등 코드 실패가 빈번함.
  • 프롬프트가 불완전할 경우 (예: 로봇 동역학, 단위 변환, API 계약 생략), LLM 이 실제 하드웨어 환경과 맞지 않는 '환각 (Hallucination)'된 가정을 바탕으로 취약한 코드를 생성함.
  • 실행 시 LLM 에 의존하는 방식은 지연 시간과 확률적 실패를 초래함.

2. 제안 방법론 (Methodology)

저자들은 테스트 주도 (Test-Driven) 에이전트 워크플로우를 제안하여, 고수준 지시사항을 실행 가능한 저수준 로봇 제어기로 변환하고 검증하는 폐루프 (Closed-loop) 시스템을 구축했습니다.

핵심 아키텍처

1. 이중 계층 수리 전략 (Dual-tier Repair Strategy):
   • 생성된 코드가 테스트에 실패할 경우, 두 가지 방식으로 반복적으로 개선합니다.
   • 코드 레벨 수리 (Code-level repair): 진단 피드백을 바탕으로 controller.py 코드를 직접 수정합니다. (일정 횟수 시도 후 실패 시 전환)
   • 프롬프트 레벨 수리 (Prompt-level repair): 코드 수정으로 해결되지 않을 경우, 실패 원인을 분석하여 LLM 의 프롬프트 (prompt.py) 를 업데이트하고 새로운 코드를 생성합니다.
2. 워크플로우 단계:
   • 생성 (Generate): LLM 이 환경 컨텍스트 (지도, 로봇 사양) 와 프롬프트를 기반으로 제어기 코드를 생성합니다.
   • 검증 (Verify): 구조화된 PyTest 테스트 스위트가 생성된 코드를 실행하여 기능적 정확성과 안전성 (충돌 회피 등) 을 평가합니다.
   • 수정 (Repair): 테스트 실패 시 진단 리포트를 생성하여 LLM 에게 피드백하고, 이를 통해 코드를 수정하거나 프롬프트를 개선합니다.
   • 반복: 모든 테스트가 통과되거나 최대 반복 횟수에 도달할 때까지 이 루프를 반복합니다.

구현 환경

• 2D 지도 기반 환경:
  • 사용자의 RGB 지도 이미지를 이진 점유 그리드 (Occupancy Grid) 로 변환하는 전처리 파이프라인을 제공합니다.
  • Otsu 임계값, 모폴로지 연산, 팽창 (Inflation) 등을 자동 최적화하여 장애물과 자유 공간을 식별합니다.
• 3D 시뮬레이션 환경 (Webots):
  • Webots 시뮬레이터에서 e-puck 로봇 (적외선 센서, 차동 구동) 을 대상으로 합니다.
  • 지도 전처리가 필요 없으며, 시뮬레이션 세계 파일 (envt.wbt) 과 로봇 사양을 직접 LLM 에게 제공하여 제어기를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 불완전한 지시사항을 위한 에이전트 워크플로우: 고수준의 불완전한 지시사항으로부터 자동화된 테스트 주도 반복 루프를 통해 신뢰할 수 있는 제어기를 합성하는 새로운 프레임워크를 제안했습니다.
2. 통합된 합성 방법론:
   • 2D 지도 기반 항법 (이미지 -> 점유 그리드 변환 파이프라인).
   • 3D 시뮬레이션 환경 (Webots 메타데이터 기반 제어기 합성) 에 대한 두 가지 대표적 설정을 모두 지원합니다.
3. 검증된 실행 가능성: 수동 구현에서 자동화된 워크플로우로 패러다임을 전환하여, 배포 전까지 안전성과 성능 요구사항을 충족하는 독립 실행형 제어기를 보장합니다.

4. 실험 결과 (Results)

연구진은 2D 항법과 3D Webots 시뮬레이션 환경에서 다양한 LLM (GPT-4o, GPT-4.1, GPT-5.2, Claude-Sonnet-4.5, Claude-Opus-4.5 등) 을 사용하여 실험을 수행했습니다.

• 성공률 (Success Rate, SR):
  • 2D 환경: 단일 회차 생성보다 반복적 개선이 훨씬 효과적이었습니다. GPT-5.2 와 Sonnet-4.5 가 약 45% 의 성공률을 보였으며, GPT-4o 는 14% 에 그쳤습니다.
  • 3D 환경: Claude-Opus-5.2 가 71% 의 높은 성공률을 기록했으며, GPT-5.2(39%), GPT-4.1(35%), GPT-4o(21%) 보다 우월한 성능을 보였습니다.
• 누적 성공 (Cumulative Success, CS):
  • 단일 회차 (One-shot) 방식에서는 많은 모델이 첫 시도에서 실패했으나, 제안된 반복적 프레임워크를 적용하면 **모든 모델이 2~15 회 이내의 반복으로 100% 성공 (CS=1)**에 도달했습니다.
  • 특히 3D 환경에서는 2D 환경보다 더 빠르게 수렴하는 경향을 보였습니다 (환경 정보가 더 명확하여).
• 결론: 제안된 프레임워크는 초기 프롬프트가 불완전할 때 특히 강력하며, 일회성 생성 방식에 비해 제어기의 신뢰성과 견고성을 크게 향상시킵니다.

5. 의의 및 결론 (Significance)

• 로봇 공학 엔지니어링의 자동화: 수동 디버깅과 튜닝에 의존하던 기존 방식을 탈피하여, LLM 과 자동화된 테스트를 결합한 폐루프 시스템을 통해 신뢰할 수 있는 제어기를 자동으로 생성하는 새로운 패러다임을 제시했습니다.
• 배포 가능성: 최종 생성된 제어기는 추가적인 LLM 개입 없이도 로봇에 직접 배포 (Deploy) 가능한 독립 실행형 코드입니다.
• 향후 과제: 정적 장애물이 아닌 **동적 환경 (움직이는 장애물)**으로의 확장을 통해 실시간 적응 능력을 검증하는 것을 향후 연구 목표로 설정했습니다.

이 논문은 LLM 을 로봇 제어에 적용할 때 발생하는 신뢰성 문제를 해결하기 위해, **테스트 기반의 반복적 개선 (Iterative Refinement)**이 필수적임을 실증적으로 증명했습니다.