Vision Language Model-based Testing of Industrial Autonomous Mobile Robots

본 논문은 PAL Robotics 의 산업용 자율 이동 로봇 (AMR) 의 안전성을 확보하기 위해 인간 행동의 불확실성을 시뮬레이션하고 요구사항 위반 시나리오를 생성하는 비전 언어 모델 (VLM) 기반의 RVSG 테스트 방법을 제안하고 그 유효성을 입증합니다.

핵심

🤖 1. 문제: 로봇은 왜 '깜빡'할까요?

상상해 보세요. 대형 물류 창고에서 로봇이 박스를 나르며 사람들과 함께 일하고 있습니다. 로봇은 정해진 길을 따라 움직이지만, 사람은 예측할 수 없습니다. 갑자기 뛰어들거나, 이상한 행동을 하거나, 로봇이 예상하지 못한 곳에서 멈출 수도 있죠.

기존에는 이런 '예상치 못한 상황'을 테스트하기 위해 실제 사람과 로봇을 창고에 데려와야 했습니다. 하지만 이는 비용도 많이 들고, 위험하기도 하며, 사람이 특정 행동을 하도록 지시하는 것도 비현실적입니다. (예: "저기서 갑자기 뛰어보세요"라고 시키는 건 위험하죠.)

🎨 2. 해결책: "눈과 언어를 가진 AI" (VLM) 의 등장

저자들은 **시각 언어 모델 (VLM, Vision Language Model)**이라는 최신 AI 기술을 활용했습니다. 이 AI 는 눈 (이미지) 으로 환경을 보고, 언어 (텍스트) 로 상황을 이해할 수 있습니다.

이 기술을 RVSG라는 이름의 시스템에 적용했는데, 마치 "로봇을 위한 극본 작가이자 감독" 같은 역할을 합니다.

🎭 비유: 로봇을 위한 '악역'을 만드는 극본 작가

일반적인 테스트는 로봇이 잘하는 상황만 반복합니다. 하지만 RVSG 는 로봇이 실패할 만한 '악역' (사람) 을 만들어냅니다.

1. 환경 분석 (눈): AI 가 창고 지도 사진을 보고 "여기는 선반이 많고 좁은 통로야"라고 이해합니다.
2. 시나리오 구상 (상상력): "이 좁은 통로에서 사람이 갑자기 박스를 들고 뛰어오면 로봇이 어떻게 할까?"라고 상상합니다.
3. 극본 작성 (언어): AI 는 "사람 A 는 3 번 선반 앞에서 박스를 떨어뜨리고, 사람 B 는 로봇 앞을 가로막고 서 있다"는 구체적인 행동 지침을 작성합니다.
4. 연습 (시뮬레이션): 실제 로봇을 쓰지 않고, 컴퓨터 안의 가상 창고 (시뮬레이터) 에서 이 시나리오대로 로봇과 '가상 사람'을 움직여 봅니다.

🔄 3. 작동 원리: 피드백을 통한 '연기' 향상

이 시스템의 가장 멋진 점은 배우 (AI) 가 연습을 하며 점점 더 훌륭한 '악역'을 연기한다는 것입니다.

• 1 차 연습: AI 가 만든 시나리오로 로봇을 테스트합니다.
• 비평 (피드백): "아, 로봇이 너무 부드럽게 피해서 실패했네. 더 급하게 뛰어야 해!"라고 결과를 분석합니다.
• 재연기 (메모리 활용): AI 는 이전 실패 경험을 기억하고, "이번엔 더 위험하게, 더 예측 불가능하게 움직여보자"라고 극본을 수정합니다.
• 결과: 점점 더 치명적이고 다양한 '실수 상황'을 만들어내어, 로봇이 진짜 위험한 상황에서도 어떻게 반응하는지 찾아냅니다.

📊 4. 실험 결과: 무엇이 달라졌나요?

저자들은 스페인의 팔 로보틱스 (PAL Robotics) 사의 최신 로봇을 이용해 이 방법을 테스트했습니다.

• 기존 방법 vs RVSG: 무작위로 사람을 움직이는 기존 방법보다, AI 가 만든 시나리오가 로봇의 안전 거리 위반, 불안정한 움직임, 도착 지연 등을 훨씬 더 잘 찾아냈습니다.
• 다양성: AI 는 같은 상황이라도 매번 조금씩 다른 방식으로 사람을 움직여, 로봇이 겪을 수 있는 예상치 못한 다양한 반응을 끌어냈습니다.
• 길의 중요성: 로봇이 가는 길 (직선인지, 복잡한 통로인지) 에 따라 테스트 결과가 크게 달라졌습니다. 복잡한 길일수록 로봇의 약점이 더 잘 드러났습니다.

💡 5. 핵심 교훈 (Lessons Learned)

이 연구에서 얻은 중요한 통찰은 다음과 같습니다.

1. 규칙을 알려줘야 한다: AI 에게 "무작위하게 움직여"라고 하기보다, "안전 규칙을 위반하는 상황을 만들어줘"라고 구체적으로 지시해야 더 좋은 테스트가 나온다.
2. 현실감은 중요하다: 로봇의 물리적 움직임만 중요한 게 아니라, 사람의 행동이 얼마나 현실적인지가 테스트의 성패를 좌우한다.
3. 피드백이 핵심: 한 번의 테스트로 끝내지 않고, 실패 경험을 기억하고 다음 시나리오에 반영해야 더 강력한 테스트가 된다.
4. 현장감 있는 길: 로봇이 실제로 다니는 복잡한 길 (선반 사이, 좁은 통로) 을 시뮬레이션에 포함해야 진짜 위험을 찾을 수 있다.

🚀 결론

이 논문은 **"로봇이 사람과 함께 일할 때, AI 가 가상의 '악역'을 만들어 로봇을 혹사시켜 약점을 찾아내는 방법"**을 제시합니다. 이는 실제 사고가 나기 전에 미리 로봇을 단련시켜, 더 안전하고 똑똑한 로봇을 만드는 데 큰 도움을 줄 것입니다.

마치 비행 시뮬레이터가 조종사에게 위험한 상황을 미리 경험하게 하여 실제 사고를 막는 것과 같은 원리입니다. 다만, 이번에는 그 시뮬레이터가 **AI 가 직접 만들어낸 가장 현실적인 '사람의 행동'**으로 채워졌다는 점이 혁신적입니다.

기술 요약

1. 문제 정의 (Problem)

• 예측 불가능한 인간 행동: 산업용 자율 이동 로봇 (AMR) 은 창고, 소매점, 사무실 등 인간과 함께 작업하는 환경에 배포됩니다. 인간의 행동은 예측 불가능하며, 로봇이 모든 가능한 불확실한 상황을 학습하기는 어렵습니다.
• 안전성 검증의 중요성: 인간과 로봇 간의 상호작용에서 안전을 보장하기 위해 다양한 인간 행동 하에서 AMR 을 광범위하게 테스트해야 합니다.
• 실제 환경 테스트의 한계: 실제 로봇과 인간을 이용한 테스트는 비용이 많이 들고, 비현실적이며 (특정 행동을 인간에게 요구하기 어려움), 충돌로 인한 인명 피해나 로봇 손상과 같은 안전 위험이 존재합니다.
• 시뮬레이션의 현실성 부족: 기존 시뮬레이션 기반 테스트는 비용과 안전 측면에서 유리하지만, 환경에 맞는 현실적이고 논리적인 인간 행동을 생성하는 데에는 여전히 큰 어려움이 있습니다. 기존 방법 (예: 검색 알고리즘) 은 환경 맥락에 맞는 인간 행동을 생성하는 데 한계가 있습니다.

2. 제안 방법론: RVSG (Methodology)

저자들은 PAL Robotics 와 협력하여 RVSG(Requirement-driven Vision Language Model-based Test Scenario Generation) 라는 새로운 테스트 시나리오 생성 방법을 제안했습니다. 이는 비전 언어 모델 (VLM) 을 활용하여 기능 및 안전 (F&S) 요구사항을 위반하는 다양한 인간 행동을 생성합니다.

RVSG 는 크게 두 단계로 구성됩니다:

1 단계: 환경 전처리 (Environment Preprocessing)

• 맵 이미지 전처리: 시뮬레이션 세계의 상단 뷰 (top-down view) 이미지를 캡처하고, 영역별로 경계 상자 (bounding box) 를 그려 레이블을 지정합니다.
• 그리드 맵 생성: 레이블이 지정된 이미지를 기반으로 정밀한 웨이포인트가 포함된 그리드 맵을 생성합니다.
• 환경 설명 생성 (VLM 활용): VLM 에게 레이블이 지정된 맵 이미지와 그리드 이미지를 입력하여 환경의 레이아웃, 구조, 내비게이션 정보를 자연어 (JSON 형식) 로 추출하고 설명을 생성합니다.

2 단계: 테스트 시나리오 생성 (Test Scenario Generation)

• 다중 턴 대화 (Multi-turn Conversation): 프롬프트 생성기 (Prompt Generator) 가 미리 정의된 템플릿을 사용하여 VLM 과 다중 턴 대화를 수행합니다.
• 5 가지 핵심 추론 단계:
  1. 테스트 시나리오 설명 생성: 환경 분석을 바탕으로 인간 활동이 포함된 현실적인 시나리오 텍스트 생성.
  2. 고수준 인간 작업 생성: 시나리오에 따른 구체적인 인간 작업 (Workflow) 및 관련 영역 할당.
  3. 저수준 인간 웨이포인트 경로 생성: 작업 흐름에 따라 유효한 그리드 웨이포인트를 선택하여 인간 이동 경로 구성.
  4. 구성 유효성 검사 및 수정: 생성된 구성의 논리적 일관성 (작업과 경로의 일치 등) 을 VLM 이 자가 점검하고 수정.
  5. JSON 형식 인간 구성 생성: 실행 가능한 JSON 포맷의 최종 인간 에이전트 설정 출력.
• 피드백 및 메모리 루프:
  • 생성된 시나리오를 Gazebo 시뮬레이터에서 실행 (HuNavSim 에이전트 사용) 하여 결과를 수집합니다.
  • 피드백 (Feedback): 시뮬레이션 결과 (충돌, 거리, 시간 등) 를 VLM 에게 피드백하여 동일한 시나리오 설명 하에서 더 효과적인 인간 구성을 최적화합니다.
  • 메모리 (Memory): 과거 생성된 시나리오와 결과를 저장하여, 새로운 시나리오 생성 시 '다양성 (Diversity)'을 확보하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. AMR 을 위한 요구사항 기반 VLM 테스트 생성 방법: 기능 및 안전 요구사항을 위반하는 시나리오를 생성하는 새로운 RVSG 방법론 제시.
2. 동적 프롬프트 템플릿 시스템: 환경 이해, 시나리오 생성, 인간 구성, 시뮬레이션 피드백 및 역사적 정보를 통합하여 시나리오 품질을 지속적으로 개선하는 프롬프트 템플릿 세트 개발.
3. 실제 산업용 로봇에 대한 포괄적 평가: PAL Robotics 의 최신 AMR(TIAGo OMNI Base) 과 Gazebo 시뮬레이터를 사용하여 다양한 요구사항과 내비게이션 경로에 대해 RVSG 를 평가하고 그 유효성을 입증.

4. 실험 결과 (Results)

• 실험 설정: PAL Robotics 의 TIAGo OMNI Base 로봇, Gazebo 시뮬레이터, 3 가지 요구사항 (충돌 회피, 안정성, 효율성), 5 가지 내비게이션 경로 사용.
• 비교 대상: RVSG 와 피드백/메모리 기능이 제거된 베이스라인 (RVSGR, 무방향 생성) 비교.
• 주요 결과:
  • 요구사항 위반 효과: RVSG 는 RVSGR 보다 충돌 회피 (DTO), 안정성 (Jerk), 효율성 (TRG) 요구사항을 위반하는 시나리오를 훨씬 효과적으로 생성했습니다.
  • 로봇 행동의 변동성 증가: RVSG 가 생성한 시나리오에서 로봇의 경로 변경 (CHC), 정지 시간 (TNM) 등 행동의 변동성이 크게 증가하여 로봇의 불확실한 행동을 더 잘 드러냈습니다.
  • 다양성: 시나리오 설명 (SDD) 과 고수준 작업 (HTD) 측면에서 RVSG 는 RVSGR 보다 높은 다양성을 보였습니다.
  • 경로 영향: 내비게이션 경로 (예: 선형 경로 vs 복잡한 선반 근처 경로) 가 시나리오의 성능과 실행 안정성에 큰 영향을 미쳤습니다. 복잡한 경로일수록 요구사항 위반과 행동 불안정성이 더 많이 관찰되었습니다.
  • 최적/최악 시나리오 분석: RVSG 가 생성한 '최악'의 시나리오 (RVSGB) 는 '최적' 시나리오 (RVSGW) 에 비해 로봇의 행동이 더 불안정하고 예측 불가능한 경향을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전한 테스트 환경 제공: 실제 위험을 감수하지 않고도 인간 - 로봇 상호작용의 다양한 위험 시나리오를 안전하고 저렴하게 생성할 수 있습니다.
• 맥락 인식형 시나리오 생성: VLM 의 상식 추론 능력을 활용하여 특정 환경 (창고, 사무실 등) 에 적합한 논리적인 인간 행동을 생성함으로써 시뮬레이션의 현실성 (Fidelity) 을 크게 향상시켰습니다.
• MAPLE-K 루프 지원: 본 연구는 PAL Robotics 의 자기 적응 (Self-adaptation) 시스템인 MAPLE-K 루프의 'Plan', 'Legitimate', 'Knowledge' 단계를 지원하여, 로봇이 예기치 않은 상황에서 안전하게 적응할 수 있도록 돕는 도구로 활용될 수 있습니다.
• 산업적 적용 가능성: 자동화된 테스트 생성과 전문가의 검증 (Human-in-the-loop) 을 결합하여 산업 현장에서의 신뢰할 수 있는 테스트 프로세스를 구축할 수 있음을 시사합니다.

이 연구는 비전 언어 모델을 로봇 테스트에 적용한 선구적인 사례로, 복잡한 인간 - 로봇 상호작용 환경에서 로봇의 안전성과 견고성을 검증하는 새로운 패러다임을 제시합니다.