💻 컴퓨터 과학

Automated Test Case Generation for Airborne Software Using a VAE–Transformer Model

본 논문은 구조화된 이벤트-필드 행렬 표현과 상태-의미 벡터를 결합한 VAE-Transformer 기반 프레임워크를 제안하며, 이는 기존 방식과 비교하여 안전 필수 항공 소프트웨어 퍼징에서 커버리지와 효율성을 크게 향상시키면서 다양하고 고품질인 테스트 케이스를 생성한다.

원저자: Wenguang Xie, Xiaoxue Zeng, Jie Bai, Kenian Wang, Kun Yang

게시일 2026-10-26

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Wenguang Xie, Xiaoxue Zeng, Jie Bai, Kenian Wang, Kun Yang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 항공기는 비행 제어부터 임무 계획에 이르기까지 모든 것을 관리하기 위해 소프트웨어에 의존합니다. 이 코드는 안전이 매우 중요하며, 단 하나의 오류만으로도 치명적인 결과를 초래할 수 있습니다. 이 때문에 엔지니어들은 프로그램이 가능한 모든 조건에서 올바르게 작동하는지 확인하기 위해 엄격하게 테스트해야 합니다. 이 테스트의 주요 과제는 소프트웨어가 복잡하고 변화하는 상태(state) 내에서 작동한다는 점입니다. 예를 들어, 비행 모드를 변경하라는 명령은 항공기가 특정 무장(armed) 상태에 있고 배터리 잔량이 충분할 때만 유효할 수 있습니다. 전통적인 테스트 방법은 입력 데이터를 단순한 무작위 변화의 흐름으로 취급하기 때문에 여기서 어려움을 겪는 경우가 많습니다. 이러한 무작위 변화가 구조화된 데이터에 적용되면, 데이터 형식을 위반하거나 시스템의 현재 상태를 무시하게 되어, 버그가 숨어 있을 수 있는 깊고 은밀한 경로에 도달하기도 전에 테스트가 실패하게 됩니다.

북서공업대학교(Northwestern Polytechnical University)와 중국민용항공대학교(Civil Aviation University of China)의 연구진은 이 문제를 해결하기 위해 새로운 접근 방식을 개발했습니다. 그들은 항공용 소프트웨어에 특화되어 설계된 고품질 테스트 케이스를 생성하기 위해 인공지능을 사용하는 시스템을 만들었습니다. 데이터를 맹목적으로 변형하는 대신, 그들의 방법은 먼저 입력의 구조와 항공기 시스템의 현재 상태를 이해합니다. 그런 다음, 두 가지 서로 다른 유형의 머신러닝 모델을 결합하여 구조적으로 유효하면서도 문맥적으로 적절한 새로운 테스트 시나리오를 생성합니다. 연구진은 이 시스템을 실제 비행 제어 시스템의 6가지 서로 다른 모듈에 대해 테스트했습니다. 그 결과, 그들의 방법이 표준 테스트 도구보다 더 많은 숨겨진 실행 경로를 발견하고 더 많은 코드를 커버하는 동시에, 더 적은 컴퓨터 자원을 사용한다는 것을 발견했습니다.

이 새로운 방법의 핵심은 데이터를 표현하는 방식에 있습니다. 항공용 소프트웨어 입력은 단순히 무작위 숫자의 나열이 아닙니다. 이는 특정 블록으로 구성됩니다. 예를 들어, 각 행은 시퀀스의 한 단계를 나타내고, 각 열은 명령, 모드 설정 또는 센서 판독값과 같은 특정 정보를 나타내는 격자(grid) 형태입니다. 연구진은 테스트 데이터를 이 격자 형식으로 정리했습니다. 또한, 시스템이 무장되었는지, 어떤 모드에 있는지, 또는 활성화된 결함이 있는지와 같은 항공기의 운용 상태 요약본을 추출하여 이를 압축된 정보 벡터로 변환했습니다. 이 벡터는 생성 과정에서 규칙이나 제약 조건 역할을 하여, 생성된 모든 새로운 테스트 케이스가 시스템의 현재 상태를 준수하도록 보장합니다.

새로운 테스트 케이스를 생성하기 위해 이 시스템은 2부 구조를 채택합니다. 첫 번째 부분은 다양성의 생성기 역할을 하는 변이형 오토인코더(variational autoencoder, VAE)입니다. 이는 관찰된 데이터로부터 성공적인 테스트 케이스의 기저 패턴을 학습합니다. 단순히 기존 사례를 복사하는 것이 아니라, 새로운 변형을 샘플링할 수 있는 연속적인 가능성의 공간을 만들어냅니다. 결정적으로, 이 모델은 운용 상태 벡터를 일정하게 유지한 채 작업을 수행합니다. 즉, "무장 및 순항 모드"와 같이 특정 상태 조건 내에 있는 상태에서 다양한 구조적 변형을 생성할 수 있습니다. 이를 통해 시스템은 소프트웨어가 요구하는 상태 규칙을 실수로 깨뜨리지 않으면서도 다양한 경로를 탐색할 수 있습니다.

두 번째 부분은 시퀀스의 서로 다른 부분 간의 관계를 이해하는 데 탁월한 신경망인 트랜스포머(Transformer) 모델입니다. 이 모델은 이벤트의 전체 격자를 동시에 살펴봅니다. 이는 시퀀스 시작 부분에 전송된 명령이 시퀀스 끝에 설정된 상태 플래그와 호환되어야 함을 이해하는 것과 같습니다. 시스템은 첫 번째 부분의 상태 제약 조건과 두 번째 부분의 다양한 변형을 혼합하기 위해 특수한 게이팅(gating) 메커니즘을 사용합니다. 이를 통해 최종 출력물이 모든 필드가 서로 연관되어 있고 전체적인 상태와도 부합하는 완전하고 일관된 테스트 케이스가 되도록 보장합니다. 모델은 데이터를 한 바이트씩 추측하는 것이 아니라 전체 테스트 케이스를 병렬로 생성하여, 데이터의 구조적 무결성을 유지하는 데 도움을 줍니다.

연구진은 널리 사용되는 오픈 소스 오토파일럿인 PX4 비행 제어 시스템의 커맨더(commander) 모듈을 사용하여 이 방법을 평가했습니다. 그들은 이 접근 방식을 무작위 변형에 의존하는 표준 커버리지 가이드 퍼저(coverage-guided fuzzer) 및 데이터 생성에 자주 사용되는 또 다른 AI 모델인 생성적 적대 신경망(GAN)과 비교했습니다. 결과에 따르면, 그들의 VAE-Transformer 방식이 다른 방식들을 지속적으로 능가했습니다. 커맨더 모듈에서 이 방식은 표준 퍼저에 비해 엣지 커버리지(edge coverage)를 약 4.9 퍼센트 포인트, 라인 커버리지(line coverage)를 5.1 퍼센트 포인트, 브랜치 커버리지(branch coverage)를 4.6 퍼센트 포인트 증가시켰습니다. 더 중요한 것은, 이 방식이 소프트웨어 실행 횟수로 측정되는 계산 노력(computational effort)을 약 9.6 퍼센트 적게 사용하면서도 더 높은 커버리지 수준에 도달했다는 점입니다.

이러한 장점은 단일 모듈에 국한되지 않았습니다. 연구팀은 미션 관리, 상태 모니터링, 안전 회복 시스템을 포함한 6가지 서로 다른 제어 로직 모듈에 대해 시스템을 테스트했습니다. 6가지 대상 모두에서 새로운 방법은 비교 대상 방법들보다 훨씬 더 많은 고유한 실행 경로를 발견하고 더 많은 코드 라인을 커버했습니다. 예를 들어, 미션 매니저 모듈에서는 차순위 방법보다 77개나 더 많은 고유 경로를 찾아냈습니다. 또한, 이 시스템은 새로운 경로를 발견하는 능력이 시간이 지남에 따라 일관되게 나타난 반면, 다른 방법들은 새로운 코드를 발견하지 못하고 정체기에 도달하는 경향을 보였습니다. 연구진은 이 방법이 특히 타이밍, 값, 그리고 시스템 상태의 정밀한 조합에 따라 입력의 유효성이 결정되는 비행 제어 소프트웨어의 복잡한 상태 의존성을 탐색하는 데 효과적이라고 언급했습니다.

또한 연구에는 어떤 부분이 시스템에서 가장 중요한지를 결정하기 위한 실험이 포함되었습니다. 연구진이 변이형 오토인코더나 트랜스포머 구성 요소를 제거했을 때 성능이 하락했는데, 이는 두 부분 모두 최상의 결과를 위해 필요함을 나타냅니다. 마찬가지로, 적응형 게이팅 메커니즘을 더 단순한 정보 결합 방식으로 대체했을 때 시스템은 새로운 경로를 찾는 효율성이 떨어졌습니다. 이는 모델이 상태 제약 조건과 무작위 다양성 사이의 균형을 맞추는 구체적인 방식이 성공의 핵심 요소임을 시사합니다. 연구진은 자신들의 접근 방식이 고신뢰성 소프트웨어의 테스트를 자동화하여 테스트의 철저함과 효율성을 모두 개선할 수 있는 실행 가능한 방안을 제공한다고 결론지었습니다.

결과는 유망하지만, 저자들은 이 방법이 많은 비행 제어 시스템에서 흔히 볼 수 있는, 명확한 필드 경계가 있는 고정 길이 입력을 대상으로 설계되었다는 점을 인정했습니다. 그들은 향에 대한 연구가 가변 길이 프로토콜과 더 복잡한 상호작용 제약을 다루어야 할 것이라고 제안했습니다. 그럼에도 불구하고, 이 연구는 시스템 상태에 대한 이해와 고급 생성 모델을 결합함으로써 전통적인 무작위 방식보다 숨겨진 결함을 찾아내는 데 훨씬 더 효과적인 테스트 케이스를 생성할 수 있음을 보여줍니다. 이 접근 방식은 현대 항공기를 비행하게 하는 소프트웨어의 안전성과 신뢰성을 보장하기 위한 새로운 도구를 제공합니다.

기술 요약: VAE–Transformer 모델을 이용한 항공용 소프트웨어의 자동 테스트 케이스 생성

문제 정의

항공용 소프트웨어는 엄격한 입력 형식, 복잡한 운영 상태, 그리고 깊은 상태 의존적 실행 경로를 특징으로 하는 안전 필수(safety-critical) 시스템이다. 기존의 커버리지 가이드형 퍼징(예: AFL, AFL++)은 무작위 바이트 수준 변이(mutation)에 의존하여 경로를 탐색한다. 그러나 항공용 소프트웨어의 경우, 이러한 무작위 변이는 구조화된 입력 형식(필드 경계 및 이벤트 순서 파괴)을 손상시키거나 복잡한 상태 제약 조건을 충족하지 못하는 경우가 많다. 결과적으로 변이된 입력들이 파싱이나 상태 검증 단계에서 거부되어, 깊은 실행 경로에 도달할 수 있는 고품질 테스트 케이스를 생성하기 어렵다. 딥러닝이 텍스트 프로토콜이나 파일 형식 퍼징에는 적용되어 왔으나, 고정 길이의 명시적 구조를 가지며 강력한 상태 의존성을 띠는 바이너리 입력(항공용 상태 머신의 전형적인 형태)에 대해 구조적 유효성과 상태 시맨틱(semantics)을 모두 보존할 수 있는 생성 모델에 대한 체계적인 연구는 부족한 실정이다.

방법론

본 논문은 구조적 유효성과 상태 시맨틱 제약을 통합하도록 설계된 VAE–Transformer 프레임워크 기반의 자동 테스트 케이스 생성을 제안한다. 이 프레임워크는 다음 네 가지 단계로 작동한다.

1. 구조적 입력 표현 및 상태 시맨틱 추출

이벤트–필드 행렬(Event–Field Matrix): 고정 길이의 바이너리 입력을 $m \times n$ 이벤트–필드 행렬로 재구성한다. 여기서 행은 이벤트 스텝을, 열은 필드 차원(예: tick, command, mode, flags)을 나타낸다. 이는 로컬 필드 시맨틱과 글로벌 이벤트 순서를 보존한다.
상태-시맨틱 컨디셔닝 벡터 ( $c$ ): 타겟 프로그램에 대해 과거의 시드(seed)들을 실행함으로써 런타임 상태 요약(시스템 모드, 암킹(arming) 상태, 페일세이프 레벨, 거부 통계 포함)을 추출한다. 이들은 명시적으로 운영 상태 문맥을 인코딩하는 $s$ -차원 벡터( $c$ )로 정규화된다.

2. 시맨틱 추출 기반 VAE 잠재 모델링

특정 상태 제약 조건 하에서 고가치(high-value) 테스트 케이스의 잠재 분포를 학습하기 위해 **조건부 변이 오토인코더(Conditional VAE)**를 사용한다.

컨디셔닝(Conditioning): 운영 상태 벡터 $c$ 가 컨디셔닝 입력 역할을 한다.
잠재 공간(Latent Space): 인코더는 $c$ 를 잠재 변수 $z$ 에 대한 확률 분포로 매핑한다.
재매개변수화(Reparameterization): 잠재 변수 $z$ 는 재매개변수화 기법( $z = \mu + \sigma \odot \varepsilon$ )을 사용하여 샘플링된다. 이를 통해 모델은 불연속적인 무작위 비트 플립에 의존하는 대신, 연속적인 잠재 공간 내에서 확률적 섭동(stochastic perturbation)을 도입함으로써 동일한 상태 조건 하에서도 다양한 후보를 생성할 수 있다.
관심사의 분리(Separation of Concerns): 이 설계는 상태-시맨틱 제약( $c$ 에 의해 제공됨)과 샘플 다양성의 원천( $z$ 에 의해 제공됨)을 명시적으로 분리한다.

3. 이벤트 인지 게이트형 트랜스포머 생성

트랜스포머 인코더는 제약 조건과 다양성의 균형을 맞추기 위해 **이벤트 인지 게이트 퓨전 메커니즘(event-aware gated fusion mechanism)**을 활용하여 실제 테스트 케이스 구조를 생성한다.

게이트 퓨전(Gated Fusion): 컨디셔닝 표현( $H_c$ )과 잠재 표현( $H_z$ )을 공통 은닉 공간으로 투영한다. 적응형 게이팅 메커니즘은 각 이벤트 위치에서 이 표현들을 융합하기 위한 가중치를 계산한다: $H_{fuse} = G \odot H_c + (1 - G) \odot H_z$ . 이를 통해 모델은 상태 제약과 확률적 변이를 동적으로 조정할 수 있다.
양방향 모델링(Bidirectional Modeling): 트랜스포머 인코더는 모든 이벤트 간의 양방향 의존성을 모델링하기 위해 멀티 헤드 셀프 어텐션(multi-head self-attention)을 적용하며, 이를 통해 장거리 관계(예: 결함 주입이 이후의 복구 상태에 미치는 영향)를 포착한다.
병렬 생성(Parallel Generation): 자기회귀(autoregressive) 방식의 바이트 단위 생성과 달리, 모델은 타임 디스트리뷰티드 완전 연결 계층(time-distributed fully connected layer)을 통해 전체 $m \times n$ 행렬을 병렬로 출력하여 구조적 일관성을 보장한다.

4. 평가 루프

생성된 테스트 케이스는 후처리(역정규화 및 유효 바이트 범위로 클리핑) 과정을 거친 후 **AFL++**의 초기 코퍼스(corpus)로 사용된다. 이 단계에서 생성 모델의 파라미터는 고정되며, AFL++는 커버리지 피드백을 제공하지만 VAE-Transformer 모델을 업데이트하지는 않는다.

주요 기여

본 논문은 두 가지 핵심적인 기여를 식별한다.

시맨틱 추출 기반 VAE 잠재 모델링: 원시 바이너리 입력을 이벤트–필드 행렬로 재구성하고 명시적인 운영 상태 시맨틱 벡터를 추출한다. 조건부 VAE는 이러한 제약 조건 하에서 고가치 입력의 잠재 분포를 학습하며, 재매개변수화된 샘플링을 사용하여 제어된 다양성을 제공한다. 이 설계는 상태-시맨십 제약과 샘플 다양성의 원천을 분리한다.
이벤트 인지 게이트형 트랜스포머 생성: 이벤트 인지 게이팅 메커니즘은 각 이벤트 위치에서 컨디셔닝 시맨틱 벡터와 확률적 잠재 변수의 균형을 적응적으로 조절한다. 이후 트랜스포머 인코더는 양방향 의존성을 모델링하여 구조적으로 유효한 완전한 테스트 케이스를 병렬로 생성하며, 이는 구조적 유효성과 깊은 경로 탐색을 모두 지원한다.

실험 결과

PX4 비행 제어 시스템(예: commander, mission manager, health monitor)의 6가지 대표 제어 로직 모듈을 대상으로 AFL++ 베이스라인, GAN 기반 접근 방식, 그리고 제안된 VAE–Transformer를 사용하여 실험을 수행하였다.

커버리지 개선: commander 타겟의 경우, 제안된 방법은 AFL++ 베이스라인 대비 에지 커버리지(edge coverage) 약 4.9 퍼센트 포인트, 라인 커버리지(line coverage) 약 5.1 퍼센트 포인트, 브랜치 커버리지(branch coverage) 약 4.6 퍼센트 포인트를 향상시켰다.
효율성: commander 타겟에서 목표 커버리지에 도달하는 데 필요한 실행 예산(실행 횟수)이 약 9.6% 감소하였다. 6개 타겟 전체에서 평균 실행 예산은 약 9.4% 감소하였다.
일반화: VAE–Transformer는 에지, 브랜치, 라인 커버리지 측면에서 모든 6개 모듈에 대해 AFL++와 GAN을 지속적으로 능가하였다. 또한 다른 방법들이 정체되는 중간 커버리지 정체 구간(plateau)을 극복하는 능력을 보여주었다.
절제 연구(Ablation Studies): 실험을 통해 VAE 분포 모델링, 트랜스포머 문맥 모델링, 그리고 적응형 게이트 퓨전 메커니즘의 조합이 최적의 성능을 위해 필수적임을 확인하였다. 구성 요소를 제거하거나 더 단순한 퓨전 전략(예: 덧셈 또는 결합)을 사용할 경우 커버리지가 낮아지고 실행 예산이 증가하였다.

의의 및 주장

본 논문은 구조화되고 상태 의존적인 환경에서 무작위 변이의 한계를 해결함으로써, 고신뢰성 항공용 소프트웨어의 자동 테스트를 위한 실현 가능한 접근 방식을 제공한다고 주장한다. 상태 시맨틱을 명시적으로 모델링하고 생성 모델을 사용하여 유효한 입력의 잠재 공간을 탐색함으로써, 이 방법은 퍼징의 커버리지 폭/깊이와 효율성을 모두 개선한다.

저자들은 현재의 연구가 명확한 필드 경계를 가진 고정 길이 구조적 입력에 집중하고 있음을 언급한다. 또한 가변 길이 프로토콜, 깊게 중첩된 입력, 그리고 더 복적인 상호작용 제약 조건에 대한 적용 가능성은 추가적인 연구가 필요하다고 밝히고 있다. 본 방법은 퍼징 엔진 자체를 대체하기보다는 기존 퍼징 워크플로우(특히 AFL++의 시드 생성기로서)를 강화하는 방식으로 제시된다.