PICKLES: a Natural Language Framework for Requirement Specification and Model-Based Testing

"PICKLES: 요구사항 명세 및 모델 기반 테스트를 위한 자연어 프레임워크" 논문에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기

이 논문은 안전-중요 시스템 (safety-critical systems) 을 포함한 산업용 소프트웨어 테스트에서 발생하는 치명적인 긴장 관계를 다룹니다:

• 모델 기반 테스트 (MBT) 의 한계: MBT 는 형식 모델을 통해 엄격하고 체계적이며 높은 커버리지를 가진 테스트를 제공하지만, 이러한 모델을 정의하고 유지하는 어려움으로 인해 채택이 저해됩니다. 모델은 종종 전문 지식을 요구하며, 비기술적 이해관계자에게는 가독성이 부족하고 의사소통 장벽을 만듭니다.
• 행위 주도 개발 (BDD) 의 한계: BDD 는 인간이 읽을 수 있는 자연어 시나리오 (Given-When-Then) 를 사용하여 협업을 촉진합니다. 그러나 BDD 는 구체적인 예시에 의존하며, 이는 종종 다음과 같은 문제를 초래합니다:
  • 모호성과 불완전성: 자연어는 모호할 수 있습니다.
  • 낮은 커버리지: 고립된 예시를 테스트하는 것은 엣지 케이스와 복잡한 상호작용 시퀀스를 놓치는 경우가 많습니다.
  • 유지보수 비용: 방대한 양의 구체적인 테스트 케이스는 유지 및 업데이트 비용이 많이 듭니다.

핵심 과제: 실무자가 두 가지 방법 중 하나를 선택하도록 강요하지 않으면서, MBT 의 정밀성과 높은 커버리지를 달성함과 동시에 BDD 의 접근성, 가독성, 이해관계자 협업이라는 이점을 유지하는 방법은 무엇인가?

2. 방법론: PICKLES 프레임워크

저자들은 PICKLES(테스트 시나리오를 위한 정밀 입력 및 제어 흐름 키워드 기반 언어) 를 제안합니다. 이는 양방향 번역 파이프라인을 통해 BDD 와 MBT 를 연결하는 프레임워크입니다.

A. 도메인 특화 언어 (PicklesDSL)

Pickles 는 모호성을 제거하기 위해 형식적 구성 요소를 추가하여 표준 Gherkin 구문 (Given-When-Then) 을 확장합니다:

• 변수 설정: 변수가 명시적으로 타입 (예: 정수, 부울, 배열, 구조체) 이 지정되고 도메인/범위 (예: [1, 3], {AV, PART_AV}) 가 할당되는 프롤로그 블록입니다.
• 매개변수화: 단계는 변수를 참조할 수 있으며, 논리 연산자 (AND, OR) 와 양화사 (최소, 최대, 정확히) 를 사용하여 가드 블록(조건) 을 포함할 수 있습니다.
• 구조:
  • Given: 사전 조건과 초기 상태 가드를 정의합니다.
  • When: 매개변수와 가드가 포함된 입력 상호작용을 정의합니다.
  • Then: 예상 출력과 유효성 검사 가드를 정의합니다.

B. 형식 의미론: 심볼릭 전이 시스템 (STS)

이 프레임워크는 PicklesDSL 명세를 **심볼릭 전이 시스템 (STS)**으로 번역합니다. STS 는 데이터 구성 요소를 확장한 Labelled Transition Systems 의 형식화입니다.

• 번역 (명세 $\to$ STS):
  • 각 Pickles 시나리오는 부분 STS 에 매핑됩니다.
  • Given 절은 초기 가드가 됩니다.
  • When 절은 입력 스위치 (전이) 가 됩니다.
  • Then 절은 출력 스위치가 됩니다.
  • 변수와 가드는 STS 매개변수, 위치 변수, 논리 술어로 매핑됩니다.
• 모델 구성:
  • 개별 시나리오 STS 는 마스터 모델로 구성됩니다.
  • 선택 구성 ($\bowtie$): 여러 시나리오의 초기 상태를 병합하여 어떤 시나리오든 시작할 수 있도록 합니다.
  • 순차 구성 ($\triangleright$): 하나의 STS 의 싱크 (종료) 상태를 다른 STS 의 초기 상태에 연결하여 여러 시나리오를 결합한 긴 실행 흔적을 생성할 수 있게 합니다.

C. 테스트 생성 및 역번역

• 테스트 생성: 마스터 모델에 표준 MBT 알고리즘 (특히 100% 스위치 커버리지를 목표로 함) 을 적용하여 형식 테스트 케이스 (특정 매개변수 값을 가진 스위치 시퀀스) 를 생성합니다.
• 역번역 (STS $\to$ Pickles): 형식 테스트 케이스를 PicklesDSL 구문으로 다시 번역합니다.
  • 입력 값은 When 단계에 명시적으로 정의됩니다.
  • 출력 값은 시스템 under test (SUT) 의 동작을 검증하기 위해 원래의 Then 가드로 대체됩니다.
  • 결과는 표준 BDD 도구 (예: Cucumber) 와 호환 가능한 실행 가능한 인간 가독성 테스트 케이스가 됩니다.

3. 주요 기여

1. PicklesDSL: Gherkin 구조를 유지하면서 명시적인 변수 타입 지정, 도메인 정의, 제어 흐름 제약을 추가하여 모호하지 않은 명세를 보장하는 새로운 도메인 특화 언어입니다.
2. 양방향 번역: 인간이 읽을 수 있는 요구사항과 형식 모델 간 원활한 이동을 가능하게 하는 PicklesDSL 과 심볼릭 전이 시스템 (STS) 간의 형식적 매핑입니다.
3. 마스터 모델 구성: 개별 시나리오에서 부분 STS 를 자동으로 구성하여 통합된 마스터 모델로 만드는 방법으로, 고립된 시나리오에서는 놓치는 복잡한 상호작용 버그를 발견할 수 있게 합니다.
4. 프로토타입 구현: 번역, 구성, 역번역 과정을 자동화하는 Lark 파서를 사용한 Python 기반 도구입니다.
5. 산업적 검증: Technolution 사의 실제 교통 관리 구성 요소에 대한 프레임워크 적용입니다.

4. 결과

이 프레임워크는 교통 관리 시스템 구성 요소를 포함한 사례 연구를 통해 평가되었습니다. 결과는 동일한 수동 정의 시나리오 세트를 사용한 전통적인 BDD 접근법보다 상당한 개선을 보여주었습니다:

• 전이 커버리지:
  • 전통적 BDD: 고립된 시나리오를 실행한 결과 가능한 시스템 전이의 약 **30%**만 커버되었습니다.
  • Pickles: 시나리오를 구성하고 마스터 모델에서 테스트를 생성함으로써 커버리지가 **100%**로 증가했습니다. 이는 70 퍼센트 포인트의 개선을 의미합니다.
• 입력 커버리지:
  • 하드코딩된 값을 사용하는 전통적 BDD 는 가능한 입력의 극히 일부만 테스트합니다.
  • Pickles 는 변수 도메인과 경계 분석을 활용하여 단일 시나리오 (시나리오 02) 에 대해 112 개의 서로 다른 입력 가능성을 표현했습니다. 이는 수백 개의 수동 테스트 케이스가 필요했을 것입니다. 연구는 구체적인 BDD 예제 대비 98.5% 의 입력 커버리지 개선을 기록했습니다.
• 효율성: 100% 전이 커버리지를 수동으로 달성하려면 최소 7 개의 서로 다른 테스트 흔적이 필요했을 것입니다. Pickles 는 단 4 개의 입력 시나리오로 이를 달성하여 수동 노력과 유지보수 비용을 크게 줄였습니다.

5. 의의

PICKLES 프레임워크는 산업 실무자에게 모델 기반 테스트를 접근 가능하게 만드는 중요한 진전을 나타냅니다:

• 격차 해소: 가독성과 정밀성 간의 트레이드오프를 성공적으로 제거합니다. 이해관계자는 자연어로 요구사항에 협력할 수 있으며, 시스템은 자동으로 형식적 엄밀성을 보장합니다.
• 테스트 왼쪽 이동 (Shift-Left Testing): 시나리오의 자동 구성을 가능하게 함으로써 개발 수명주기의 초기 단계에서 통합 및 시스템 수준 테스트를 수행할 수 있게 하여, 고립된 단위 테스트가 놓치는 상호작용 버그를 탐지합니다.
• 유지보수성: 요구사항 변경 (예: 변수 범위) 은 생성된 모든 테스트 케이스에 자동으로 전파되어 대규모 BDD 스위트와 관련된 유지보수 부담을 줄입니다.
• 설명 가능성: 블랙박스 형식 모델과 달리, 생성된 테스트 케이스는 인간이 읽을 수 있는 Pickles 형식으로 유지되므로 비기술적 관리자 및 감사자에게 테스트 결과를 설명하기가 더 쉽습니다.

결론적으로, PICKLES 는 자연어 명세를 형식 의미론에 기반하고 자동화된 모델 구성을 활용함으로써, 조직이 BDD 의 협업적 이점을 희생하지 않으면서 MBT 의 높은 신뢰성을 달성할 수 있음을 보여줍니다.