Req2Road: SDV 테스트 아티팩트 생성 및 차량 내 실행을 위한 GenAI 파이프라인

이 논문은 소프트웨어 정의 차량 (SDV, Software-Defined Vehicles) 의 테스트 자동화를 위해 자연어 요구사항과 비정형 스펙을 실행 가능한 테스트 시나리오로 변환하는 Req2Road라는 생성형 AI (GenAI) 파이프라인을 제안합니다. 저자들은 이 접근 방식을 안전 관련 시스템인 '아동 감지 시스템 (CPDS, Child Presence Detection System)'을 통해 시뮬레이션 및 실제 차량 환경에서 검증했습니다.

1. 문제 정의 (Problem)

SDV 로의 전환은 소프트웨어 복잡성을 증가시켜 테스트 부하와 변동성을 높였으나, 기존 테스트 프로세스는 다음과 같은 한계를 겪고 있습니다:

• 비정형 입력: 요구사항이 자연어, 표, 다이어그램 등 이질적인 형식으로 작성되어 있어 자동화 추출이 어렵습니다.
• 도구 체인의 단절: 테스트 자산이 다양한 이기종 도구 체인에 분산되어 있으며, 신호 정의가 일관되지 않아 테스트 벤치 간 이식성이 낮습니다.
• 수동 작업 의존: ASPICE 등 표준이 있음에도 불구하고 테스트 계획은 여전히 수동적이고 비효율적이며, 진화하는 요구사항과의 정렬이 부족합니다.
• 신호 매핑의 어려움: 자연어 요구사항에서 구체적인 차량 신호 (Vehicle Signals) 를 추출하고 이를 실행 가능한 코드로 매핑하는 과정이 복잡합니다.

2. 방법론 (Methodology)

Req2Road 는 요구사항을 실행 가능한 테스트 아티팩트로 변환하는 4 단계 GenAI 파이프라인을 제시합니다.

2.1 파이프라인 단계

1. 초기 Gherkin 시나리오 생성: 자연어 요구사항과 행동 다이어그램 (UML 등) 을 입력받아 LLM 과 VLM(Vision-Language Model) 을 사용하여 초기 Gherkin 시나리오를 생성합니다.
2. VSS 신호 매핑 (RAG 기반):
   • 문제 해결: 전체 차량 신호 스펙 (VSS, Vehicle Signal Specification) 카탈로그 (약 982 개) 를 직접 입력하면 할루시네이션 (허위 정보) 이 발생합니다.
   • 해결책: **검색 증강 생성 (RAG)**을 도입하여 시나리오와 관련된 신호 후보군 (예: 16 개) 만을 먼저 선별 (Retrieval) 한 후, LLM 에게 이 짧은 목록에서 정확한 신호를 선택하도록 지시합니다.
3. 정제된 Gherkin 생성: 매핑된 VSS 신호 경로를 Gherkin 시나리오에 주입하여 시맨틱 정합성을 확보합니다.
4. 코드 생성: 정제된 Gherkin 시나리오와 Python 템플릿 (KUKSA API, Behave 프레임워크) 을 입력받아 실행 가능한 Python 테스트 스크립트를 생성합니다.

2.2 사용된 모델 및 기술

• LLM/VLM: GPT-4o-mini, GPT-5, GPT-4.1, Qwen 2.5 VL 72B(로컬), Gemini 2.5 Pro 등.
• 표준: VSS(Vehicle Signal Specification) 를 사용하여 하드웨어 추상화를 구현하고 테스트의 이식성을 보장합니다.
• 실행 환경:
  • SiL (Software-in-the-Loop): digital.auto 플레이그라운드에서 시뮬레이션 실행.
  • ViL (Vehicle-in-the-Loop): 실제 차량 (NVIDIA Jetson 기반) 에서 생성된 테스트 스크립트 실행.

3. 주요 기여 (Key Contributions)

1. 종단 간 (End-to-End) 파이프라인 아키텍처: 자연어 요구사항, 다이어그램, 표 등 이질적인 입력을 VSS 기반의 실행 가능한 테스트로 변환하는 통합 아키텍처를 제시했습니다.
2. RAG 기반 신호 매핑 전략: 대규모 VSS 카탈로그에서 할루시네이션을 줄이기 위해 RAG 를 활용한 신호 선별 (Prefiltering) 기법을 도입하여 매핑 정확도를 크게 향상시켰습니다.
3. SiL 및 ViL 환경에서의 검증: 생성된 테스트 아티팩트가 시뮬레이션 환경뿐만 아니라 실제 차량에서도 변경 없이 (신호 엔드포인트 설정 제외) 실행 가능함을 입증했습니다.
4. 안전 관련 시스템 적용: 안전이 중요한 CPDS(아동 감지 시스템) 의 복잡한 에스컬레이션 로직 (HVAC 제어, 경고, 비상 연락 등) 을 대상으로 한 성공적인 사례 연구를 제공했습니다.

4. 결과 (Results)

• 요구사항 변환 성공률: 36 개 요구사항 중 **32 개 (89%)**가 수정 없이 실행 가능한 Gherkin 시나리오로 변환되었습니다. 나머지 4 개는 모호한 엣지 케이스나 OR 조건 불명확성으로 인해 수동 조정이 필요했습니다.
• 모델 성능 비교:
  • 신호 매핑: 후보군을 16 개로 제한했을 때 GPT-4o-mini 는 4/4 정답을 기록했으나, 전체 카탈로그 (982 개) 를 사용할 경우 성능이 저하되었습니다. 이는 RAG 기반 선별의 중요성을 입증합니다.
  • 코드 생성: 단일 요구사항 시나리오에서는 모든 모델이 높은 정확도를 보였으나, 3 개 요구사항이 결합된 복잡한 시나리오에서는 GPT-4.1 만 pass@3에서 1.0 을 달성했습니다. 다른 모델들은 구문 오류나 시맨틱 논리 오류를 범했습니다.
• 실행 검증: 생성된 테스트 스크립트는 digital.auto 시뮬레이션과 실제 차량 (ViL) 환경 모두에서 성공적으로 실행되어 HVAC 조정 및 에스컬레이션 로직을 검증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: Req2Road 는 SDV 테스트 자동화에서 자연어 요구사항과 실행 가능한 코드 간의 간극을 해소하는 실용적인 아키텍처를 보여줍니다.
• 인간-AI 협업: 완전 자동화보다는 Human-in-the-Loop 접근 방식이 필수적임을 강조합니다. 특히 복잡한 논리 조합이나 모호한 요구사항의 경우 인간의 검토와 표적 수정이 필요합니다.
• 확장성과 한계:
  • 장점: VSS 표준화를 통해 테스트 자산의 재사용성과 이식성을 높였습니다.
  • 한계: 대규모 요구사항 세트나 매우 복잡한 시나리오에서는 생성된 코드의 정확도가 떨어질 수 있으며, 안전 관련 테스트의 경우 생성된 코드의 검증 (Oracle) 과 승인 절차가 강화되어야 합니다.
  • 향후 과제: 더 큰 규모의 요구사항 세트에 대한 확장성 검증, 생성된 테스트의 결함 탐지 능력 평가, 그리고 안전 기준에 부합하는 툴 자격 인증 (Tool Qualification) 연구가 필요합니다.

결론적으로, 이 연구는 GenAI 를 활용하여 SDV 테스트 프로세스의 효율성을 높일 수 있는 가능성을 입증했으나, 안전 임계 시스템에서는 여전히 인간의 감독과 체계적인 검증 프로세스가 병행되어야 함을 강조합니다.