Exploring the Potential of Large Language Models in Simulink-Stateflow Mutant Generation

논문 개요

이 논문은 사이버 - 물리 시스템 (CPS) 의 안전성 검증에 널리 사용되는 Simulink-Stateflow 모델을 대상으로, 대규모 언어 모델 (LLM) 을 활용한 **변이 생성 (Mutant Generation)**의 잠재력을 탐구합니다. 기존의 규칙 기반 변이 생성 방식이 가진 중복성, 동등 변이 (equivalent mutants), 그리고 실행 불가능한 변이 생성 등의 한계를 극복하고, LLM 을 통해 고품질이고 도메인 특화적인 변이를 효율적으로 생성하는 방법을 제안합니다.

1. 문제 정의 (Problem)

• 배경: 변이 분석 (Mutation Analysis) 은 테스트 세트의 적절성을 평가하는 강력한 기법이지만, 기존 방식은 수동으로 설계된 변이 연산자 (Mutation Operators) 에 의존합니다.
• Simulink-Stateflow 의 특수성: Simulink-Stateflow 모델은 연속 동역학과 이산 이벤트 행동을 통합하며 계층적 구조를 가집니다. 단순한 구문 변경만으로는 모델의 의미론적 일관성을 해치거나 실제 개발자가 저지르는 오류를 모사하지 못하는 경우가 많습니다.
• 기존 접근법의 한계:
  • 규칙 기반: 많은 중복 변이와 동등 변이를 생성하여 계산 비용을 증가시킵니다.
  • 기존 머신러닝: 훈련 데이터 부족과 확장성 문제로 인해 비현실적이거나 구문 오류가 있는 변이를 생성하는 경향이 있습니다.
  • 수동 생성: 도메인 전문 지식과 비용이 많이 듭니다.
• 핵심 문제: Simulink-Stateflow 모델의 복잡한 구조와 의미론을 고려하여, 구문적으로 유효하고, 의미론적으로 일관되며, 실제 오류를 잘 모사하는 고품질 변이를 자동으로 생성하는 것은 여전히 어려운 과제입니다.

2. 제안 방법론 (Methodology)

저자들은 Simulink-Stateflow 모델을 LLM 이 처리할 수 있도록 변환하고 변이를 생성하는 자동화 파이프라인을 개발했습니다.

• 자동화 파이프라인:
  1. 모델 파싱: Simulink-Stateflow 모델을 구조화된 JSON 형식으로 변환합니다 (States, Transitions, Junctions 등 포함).
  2. 프롬프트 생성: JSON 표현과 사전 정의된 템플릿을 기반으로 프롬프트를 생성합니다.
     • 입력: 모델 요소 (State, Transition 등) 와 생성할 변이 수.
     • 출력 요구사항: JSON 형식, 변이 금지 항목 (Name, Position 등) 명시.
  3. LLM 추론: 생성된 프롬프트를 LLM 에 전달하여 변이 JSON 을 생성합니다.
  4. 변이 파싱: LLM 이 생성한 JSON 을 다시 Simulink 모델로 변환합니다.
• 변화 전략 (Mutation Strategies):
  • Global Mutation: LLM 이 전체 모델에 접근하여 임의의 요소를 수정합니다.
  • Local Mutation: 특정 상태, 전이, 또는 조인트 (Junction) 를 명시적으로 선택하여 해당 영역 내에서만 변이를 적용합니다.
• 프롬프트 전략: Zero-shot(예시 없음) 과 Few-shot(실제 변이 예시 포함) 전략을 비교 평가했습니다.
• 실험 설정:
  • 대상 모델: 4 개의 Simulink-Stateflow 모델 (Door, Fridge, Elevator, Pacemaker).
  • 평가 대상 LLM: 8 개 모델 (GPT-3.5-Turbo, GPT-4o, GPT-4o-mini, Mistral-Small, Deepseek-Coder-v2, Llama 3, Gemma 2, Hermes).
  • 데이터 규모: 총 38,400 개의 변이 생성 (모델 4 개 × LLM 8 개 × 전략 및 온도 설정 등 다양한 조합).

3. 주요 기여 (Key Contributions)

1. LLM 기반 변이 생성 체계적 평가: 8 개의 최신 LLM 을 대상으로 Simulink-Stateflow 변이 생성 성능을 광범위하게 평가했습니다.
2. 전략 비교 분석: 변이 전략 (Global vs Local) 과 프롬프트 전략 (Zero-shot vs Few-shot), 그리고 온도 (Temperature) 설정이 성능에 미치는 영향을 규명했습니다.
3. 오픈 소스 도구 및 데이터셋: 제안된 방법론을 구현한 프로토타입 도구와 생성된 변이 데이터셋을 GitHub 에서 오픈 소스로 공개하여 재현성을 보장했습니다.
4. 실패 원인 분석: 생성 및 컴파일 실패의 주요 원인 (잘못된 참조, 잘못된 전이, 정의되지 않은 변수, 구문 오류) 을 식별하고 이를 해결하기 위한 검증 메커니즘의 필요성을 강조했습니다.

4. 실험 결과 (Results)

• 효율성 (RQ1):
  • LLM 은 수동 설계된 기준선 (Baseline) 대비 최대 13 배 빠른 속도로 변이를 생성했습니다.
  • 비용 측면에서 오픈 소스 모델은 로컬 실행 시 하드웨어 비용이 발생할 수 있으나, API 비용이 없는 GPT-4o-mini 등도 경쟁력 있었습니다.
• 효과성 및 품질 (RQ1, RQ2, RQ3):
  • 중복 및 동등 변이 감소: LLM 은 기준선 대비 중복 변이 (Duplication) 와 동등 변이 (Equivalent) 를 현저히 줄였습니다 (예: Door 모델에서 중복률 0.67 → 0.31, 동등률 0.085 → 0.013).
  • 전략별 차이:
    • Global Mutation: 구문적 유효성 (Generability) 과 컴파일 성공률 (Compilability) 이 가장 높았습니다.
    • Local Mutation: 변이의 다양성과 품질을 높이고 중복/동등 변이를 줄이는 데 효과적이었습니다.
    • Few-shot Prompting: Zero-shot 보다 일관되게 우수한 성능을 보였으며, 특히 Global 전략과 결합 시 가장 높은 유효성을 보였습니다.
  • 온도 (Temperature) 영향: 낮은 온도 (0.20.4) 가 가장 신뢰할 수 있고 고품질의 변이를 생성했으나, 중간 온도 (0.60.7) 도 실용적인 성능을 보였습니다. 높은 온도는 다양성을 높이지만 구문 오류를 증가시켰습니다.
• 오류 분석 (RQ5):
  • 생성 실패의 주요 원인은 모델 요소에 대한 잘못된 참조, 전이 (Transition) 의 소스/목적지 오류, 정의되지 않은 변수 사용, 구문 오류였습니다.

5. 의의 및 결론 (Significance)

• 도메인 특화적 접근: Simulink-Stateflow 와 같은 복잡한 모델링 언어에 LLM 을 적용한 최초의 체계적인 연구 중 하나로, 기존 소스 코드 중심의 변이 생성 연구의 범위를 확장했습니다.
• 실용적 가치: LLM 을 활용하면 기존 방식의 단점인 '중복된 변이'와 '동등 변이' 문제를 해결하면서도, 개발자의 실제 실수를 더 잘 모사하는 고품질의 테스트 대상 변이를 빠르게 생성할 수 있음을 입증했습니다.
• 미래 연구 방향: LLM 기반 변이 생성 시 구조적 및 의미론적 검증 (Validation) 메커니즘의 중요성을 강조하며, 향후 CPS 및 안전 임계 시스템의 테스트 자동화 분야에서 LLM 의 역할을 확대할 수 있는 기반을 마련했습니다.

결론적으로, 이 연구는 LLM 이 Simulink-Stateflow 모델의 변이 생성에서 기존 방법론보다 13 배 빠르면서도 중복과 동등 변이는 줄이고 품질은 높이는 효율적이고 효과적인 대안임을 입증했습니다.