Using Large Language Models for Black-Box Testing of FMU-Based Simulations

다음은 "FMU 기반 시뮬레이션의 블랙박스 테스트를 위한 대규모 언어 모델 활용" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

현대 공학 시스템은 시뮬레이션 및 공동 시뮬레이션을 위해 기능적 모의 단위 (Functional Mock-up Units, FMU) 를 활용한 모델 기반 설계에 크게 의존합니다. FMU 는 모델 바이너리와 설명을 캡슐화하지만 내부 방정식 및 솔버 세부 사항을 숨기므로, 전통적인 화이트박스 테스트는 불가능합니다. 따라서 검증은 오직 기능 명세와 인터페이스 설명에 기반하여 복잡한 테스트 시나리오를 정의해야 하는 블랙박스 테스트에 의존해야 합니다.

• 과제: 동적 시스템에 대해 다양한 테스트 시나리오, 입력 시계열, 그리고 기대 출력 동작 (오라클) 을 수동으로 정의하는 것은 노동 집약적이며 오류가 발생하기 쉽고 확장하기 어렵습니다.
• 격차: 기존 자동화 테스트 방법들은 종종 내부 모델 구조 (예: Simulink 내부) 에 대한 접근이 필요하거나, 블랙박스 FMU 를 위한 인간이 읽을 수 있고 도메인 특화된 테스트 목표를 생성할 수 있는 메커니즘이 부족합니다.

2. 방법론

저자들은 대규모 언어 모델 (LLM) 을 활용하여 블랙박스 테스트 시나리오 생성을 자동화하는 Human-in-the-Loop (HITL) 프레임워크를 제안합니다. 이 접근법은 의도 (목표) $\rightarrow$ 템플릿 (계획) $\rightarrow$ 실행 가능한 시계열 (시나리오) 의 3 단계 추상화 계층을 따릅니다.

A. 워크플로우 개요

1. 입력: FMI 준수 FMU (특히 modelDescription.xml) 와 기능 명세서 문서.
2. LLM 추출: LLM 이 메타데이터에서 I/O 제약 조건 (변수 이름, 단위, 범위) 을 추출합니다.
3. 시나리오 생성 (반복적 단계):
   • 1 단계: 목표 생성: LLM 이 Given-When-Then (GWT) 형식 (Gherkin 구문) 으로 고수준 테스트 목표를 생성합니다. 이러한 목표는 정성적 전제 조건, 교란, 그리고 기대되는 동작 경향 (예: "단조 증가", "설정값에 수렴") 을 설명합니다.
   • 2 단계: 계획 생성: 승인된 목표는 구체적인 시나리오 계획으로 변환됩니다. LLM 은 특정 입력 패턴 (상수, 스텝, 램프), 크기, 타이밍, 그리고 제약 조건에서 유도된 수치 임계값을 가진 공식적인 /assertion 오라클 (예: bounded, crosses_above, settles_to) 을 정의합니다.
   • 3 단계: 시나리오 인스턴스화: 계획은 결정론적 생성과 중복 제거를 보장하기 위해 고정된 무작위 시드를 사용한 라틴 초입자 샘플링 (Latin Hypercube Sampling, LHS) 을 통해 실행 가능한 시계열로 변환됩니다.
4. Human-in-the-Loop: 도메인 전문가가 각 단계에서 목표와 계획을 검토하여 실행 전에 실현 가능성, 안전성, 도메인 논리를 검증합니다.
5. 실행 및 평가: 생성된 입력을 사용하여 FMU 를 시뮬레이션합니다. 기록된 출력에 대해 어설션을 평가하여 통과/실패 판정을 생성합니다.

B. 주요 기술 메커니즘

• 프롬프트 엔지니어링: 시스템은 구조화되고 기계가 읽을 수 있는 출력을 보장하기 위해 엄격한 JSON 스키마, 퓨샷 예시 (few-shot exemplars), 역할 정의를 갖춘 스키마 우선 프롬프팅 (schema-first prompting) 을 사용합니다.
• 온도 제어: 분할 온도 전략이 사용됩니다.
  • 높은 온도 (0.7): 목표 생성 시 다양성과 창의성을 극대화하기 위해 사용.
  • 낮은 온도 (0.2): 계획 생성 시 수치 값의 결정론과 정밀도를 보장하기 위해 사용.
• 오라클 정의: 동적 시스템의 경우 정확한 수치 값을 예측하는 것은 어렵기 때문에, LLM 은 "출력이 허용 오차 $t$ 내에서 목표에 수렴한다"와 같은 경향을 설명하는 일반적 오라클을 생성합니다.
• 중복 제거: 효율성을 최적화하기 위해 해싱 메커니즘을 사용하여 실행 간에 중복된 목표, 계획, 시나리오를 감지하고 제거합니다.

3. 주요 기여

1. FMU 를 위한 HITL 프레임워크: 캡슐화된 시뮬레이션 모델의 블랙박스 테스트를 위해 LLM 과 도메인 전문가 검토를 통합한 새로운 워크플로우.
2. 구조화된 시나리오 생성: 프롬프트 엔지니어링과 스키마 제약을 사용하여 비구조화된 FMU 메타데이터를 구조화된 GWT 목표와 실행 가능한 시계열 계획으로 변환하는 방법.
3. 돌연변이 기반 적합성 평가: 저자들은 생성된 시나리오의 품질을 평가하기 위해 맞춤형 돌연변이 분석 (mutation analysis) 방법을 도입했습니다. 내부 코드를 사용할 수 없으므로, FMU 의 출력 시계열을 변형 (예: 거울 반전, 무작위 균일, 교차, 다항식 돌연변이) 하여 "돌연변이체"를 생성하고, 생성된 테스트 세트가 몇 개의 돌연변이체를 "사망 (검출)"시켰는지 측정합니다.
4. 실용적 구현: 윤활유 냉각 (LOC) 시스템에 대한 테스트 시나리오 생성, 실행, 로깅을 보여주는 완전한 툴체인.

4. 결과

이 접근법은 윤활유 냉각 (LOC) 시스템 FMU 에서 평가되었습니다.

• 정확도: 인간 검토 없이 LLM 이 생성한 시나리오의 평균 정확도는 할루시네이션과 비현실적인 제약 조건으로 인해 47% 였습니다. 도메인 전문가 검증을 거친 후 정확도는 거의 100% 로 상승했습니다.
• 고장 감지 능력:
  • 돌연변이 점수: LLM 이 생성한 시나리오들은 0.67의 돌연변이 점수를 달성했습니다 (70 개의 돌연변이체 중 47 개를 사망시킴).
  • 비교: 이는 수동으로 생성된 시나리오와 비교 가능한 점수인 0.685(48 개 돌연변이체 사망) 입니다.
  • 결론: LLM 지원 접근법은 수동 테스트와 동등한 고장 감지 능력을 가진 시나리오를 생성합니다.
• 효율성: 8~10 개의 시나리오 배치에 대한 엔드 - 투 - 엔드 생성 과정 (제약 조건, 목표, 계획) 은 실행당 1 분 미만이 소요되었습니다.
• 커버리지: 이 접근법은 인간 전문가가 수동으로 생성한 것 이상의 추가적이고 다양한 시나리오를 생성하여 다른 동작 변형을 포괄했습니다.

5. 의의 및 향후 작업

• 의의: 이 연구는 LLM 이 블랙박스 시뮬레이션 모델의 고수준 기능 명세와 저수준 실행 가능한 테스트 케이스 사이의 격차를 효과적으로 메울 수 있음을 보여줍니다. 인간 감독을 통한 높은 테스트 품질을 유지하면서 수동 노력을 크게 줄입니다.
• 한계:
  • 비결정론: 고정된 시드라도 실행 간 LLM 출력이 달라질 수 있어 강력한 중복 제거가 필요합니다.
  • 할루시네이션: 모델은 여전히 비현실적인 매개변수 범위를 생성할 수 있어 인간 검토가 필요합니다.
  • 오라클 신뢰: 정성적 오라클의 유효성은 LLM 의 시스템 동역학 이해도에 의존하며, 잘못된 임계값은 오탐지/미탐지로 이어질 수 있습니다.
• 향후 방향: 이 접근법을 공동 시뮬레이션 (다중 FMU 설정) 으로 확장하고, 시뮬레이션 실패에 기반하여 LLM 이 자체적으로 프롬프트를 다시 생성하여 향후 테스트 케이스를 정제하는 능동적 학습 루프를 구현하는 것.

요약하자면, 이 논문은 복잡한 공학 시뮬레이션 테스트 자동화를 위한 견고하고 실용적인 방법론을 제시하며, 엄격한 프롬프팅과 인간 전문성에 의해 안내될 때 LLM 이 블랙박스 시스템의 검증 및 유효성 확인에서 강력한 보조 도구 역할을 할 수 있음을 입증합니다.