기술 요약: 실패로부터 정렬로: 머신러닝 시스템을 위한 요구사항 공학 프레임워크

문제 정의

머신러닝 시스템(MLS)을 개발하는 조직들은 이러한 시스템이 신뢰할 수 있고 이해관계자의 니즈와 정렬(alignment)되도록 보장하는 데 있어 상당한 어려움을 겪고 있다. 전통적인 소프트웨어와 달리, MLS의 동작은 명시적으로 프로그래밍되는 것이 아니라 데이터로부터 학습되므로, 성능이 데이터 분포에 의존적이며 일반화 및 불확실성으로 인해 실패가 내재되어 있다. 현재의 요구사항 공학(RE) 관행은 다음과 같은 이유로 MLS 요구사항을 체계적으로 모델링하고 추론하는 데 어려움을 겪고 있다:

1. 미지정(Underspecification): 운영 도메인이 개방적(open-ended)이어서, 사전에 완전한 명세를 작성하는 것은 비현실적이다.
2. 암묵적 가정(Implicit Assumptions): 도메인 가정(예: 데이터 커버리지, 센싱 한계)이 종종 암묵적으로 존재하며, 이는 실패 발생 시 이해관계자의 목표, 도ما인 가정, 그리고 시스템 동작 사이의 불일치를 초래한다.
3. 통합의 부재: 실패 탐지는 ML 테스트에서 흔히 사용되지만, 실패 발견을 요구사항 정제(refinement)를 위한 동력으로 활용하는 RE 프로세스에 체계적으로 통합하는 데에는 간극이 존재한다. 기존 방식은 실패를 요구사항과 도메인 가정을 정제하기 위한 진단적 증거가 아닌, 단순한 테스트 산출물이나 디버깅 이슈로 취급하는 경우가 많다.

본 논문은 세 가지 연구 질문(RQ)을 다룬다:

• RQ1: MLS를 위해 요구사항에 대한 추론을 어떻게 실행 가능하게(operationalise) 만들 수 있는가?
• RQ2: 실패 발견과 완화를 RE 프로세스에 어떻게 체계적으로 통합할 수 있는가?
• RQ3: 실패 기반의 교차 계층 적응(cross-layer adaptation)이 요구사항 만족도를 어느 정도까지 실질적으로 개선하는가?

방법론: REAL 프레임워크

저자들은 실패를 '일급 객체(first-class construct)'로 취급하는 모델 기반 프레임워크인 REAL(Requirements Engineering for mAchines that Learn - and Fail)을 제안한다. REAL은 세 가지 핵심 원칙, 즉 데이터·모델·시스템 요구사항의 엮음(weaving), 대안적 요구사항 탐색을 위한 실패 활용, 그리고 반복적이고 추적 가능한 정제를 기반으로 작동한다.

이 프레임워크는 세 단계로 구성된 반복적인 정렬 루프를 구축한다:

1. 시나리오 탐색을 통한 실패 식별

균일한 요구사항 만족을 가정하는 대신, REAL은 도메인을 매개변수화된 시나리오 공간 $D(\theta)$로 구체화한다.

• 문법 유도 생성(Grammar-Guided Generation): 형식 문법으로 정의된 도메인 특화 언어(DSL)와 함께 문법 진화(Grammatical Evolution, GE)를 사용하여 구조화된 시나리오(액터, 환경, 행동)를 자동으로 생성한다.
• 적격성 필터링(Admissibility Filtering): 프레임워크는 유효한 실패(적격한 도메인 가정 내에서 발생하는 실패)와 가짜 실패(범위를 벗어난 시나리오에 의해 트리거되는 실패)를 구분한다. $D(\theta), S \not\models R$ 이고 적격성 제약 조건이 충족되는 유효한 실패만이 분석 단계로 전달된다.

2. 장애 분석을 통한 실패 분석

실패는 KAOS 스타일의 목표 모델에서 **장애(obstacle)**로 재해석된다.

• 반례 해석(Counterexample Interpretation): 실패 트레이스는 만족 관계에 대한 반례(counterexample)로 취operatorname 된다.
• 장애 도출(Obstacle Derivation): 실패들을 클러스터링하여 반복되는 패턴을 식별하고, 경험적인 반례를 명시적인 장애 조건($O$)으로 격상시킨다 ($O \Rightarrow \neg R$). 이는 이해관계자의 목표, 도메인 가정, 시스템 동작 사이의 불일치를 진단한다.

3. 다계층 적응을 통한 실패 완화

REAL은 만족 관계($D, S \models R$)를 복구하기 위해 네 가지 적응 계층을 구분한다:

• 데이터 계층(Data-level): 분포적 격차를 해결하기 위해 학습 분포를 증강하거나 클래스 균형을 재조정한다.
• 모델 계층(Model-level): 학습된 결정 경계(decision boundary)를 재형성하기 위해 아키텍처, 하이퍼파라미터 또는 결정 임계값을 조정한다.
• 시스템 계층(System-level): 학습된 모델을 수정하지 않고도 신뢰도 기반 제어 로직, 페일 세이프(fail-safe) 동작 또는 중복성을 도입한다.
• 요구사항 계층(Requirement-level): 실패가 미지정된 니즈나 비현실적인 가정을 드러낼 때, 요구사항($R$)이나 도메인 가정($D$) 자체를 정제한다 (예: 운전 설계 영역(ODD)의 범위 설정).

이 과정은 반복적이다. 새로운 적응이 새로운 위반을 노출할 수 있으므로, 삼중항 $(D, S, R)$에 대한 추가적인 정제가 필요할 수 있다.

주요 기여

본 논문은 네 가지 주요 기여를 한다:

1. 운영적 연결(Operational Linkage): 이해관계자의 요구사항을 실행 가능한 도메인 가변성과 연결하여, 요구사항 관련 반례를 체계적으로 발견할 수 있게 한다.
2. 장애 기반 해석(Obstacle-Based Interpretation): 경험적 실패를 목표 모델의 장애로 재해석함으로써, 불일치를 진단하는 원칙적인 메커니즘을 제공한다.
3. 다계층 완화 전략(Multi-Layer Mitigation Strategy): 데이터, 모델, 시스템, 요구사항 계층 간의 협력적 적응을 정의하고 평가하며, 완화 결정이 요구사항 만족에 미치는 영향을 명시적으로 보여준다.
4. 자율 주행 데몬스트레이터(Autonomous Driving Demonstrator): CARLA, Scenic, 그리고 진화적 시나리오 생성을 사용하여 프레임워크를 자동 제동 시스템에 적용한 공개 재현 패키지를 제공한다.

실험 결과

프레임워크는 보행자 탐지 컴포넌트(YOLOv5)와 결정론적 제동 컨트롤러를 갖춘 자동 제동 시스템을 통해 평가되었다.

실험 설정:

• 환경: 시나리오 명세를 위한 Scenic이 포함된 CARLA 시뮬레이터.
• 생성기: 시나리오 생성을 위한 GRAPE (Grammatical Evolution).
• 집중 요소: 보행자의 크기, 거리, 방향, 의복, 그리고 날씨(안개)의 체계적 변화.

결과:

• 실패 식별: 프레임워크는 크기 관련(어린이 보행자 미탐지), 낮은 시각적 현저성(의복 대비), 시야 저하(안개 속 성능 저하)와 같은 유효한 요구사항 위반을 성공적으로 식별했다.
• 장애 분석: 실패들은 세 가지 장애 클래스로 그룹화되었다: PedestrianSizeTooSmall(보행자 크기 너무 작음), VisualSaliency(시각적 현저성), AdverseWeather(악천후).
• 완화 효과:
  • 모델 계층 (M1): 더 큰 모델(YOLOv5m)로 교체하여 정확도를 개선(+17%)했으나, 단거리 시나리오에서 지연 시간으로 인한 실패를 유발했다.
  • 데이터 계층 (M2): 어린이 보행자 데이터에 대한 타겟 파인튜닝을 통해 크기 관련 실패를 제거하고 안개 상황에서의 성능을 크게 개선했다 (충돌률이 일반적인 날씨에서 100%에서 0%로 감소).
  • 시스템 계층 (M4): 신뢰도 기반 제동을 구현하여, 모델 재학습 없이 잔여 어린이 충돌률을 100%에서 8%로 줄였다.
  • 요구사항 계층 (M5): 운전 설계 영역(ODD)을 명시적으로 설정하고 정량적 임계값을 정의함으로써 안전 보장의 한계를 명확히 했다.
• 전반적 영향: 교차 계층 적응을 통해 어린이 충돌률을 100%(베이스라인)에서 8%로 낮추고 일반적인 날씨에서의 실패를 제거했다. 연구는 고립된 모델 최적화만으로는 불충분하며, 정렬을 위해서는 데이터, 모델, 시스템, 요구사항 간의 상호작용을 다루어야 함을 입증했다.

의의 및 주장

본 논문은 REAL이 테스트 결과를 RE 산출물로 통합하는 체계적인 프로세스를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 실패에 대한 관점 전환: 실패를 기술적 결함이 아닌, 요구사항, 가정, 구현 사이의 불일치를 나타내는 진단적 증거로 보는 관점의 변화를 가져온다.
• 정렬의 실행 가능화(Operationalizing Alignment): 장애 분석을 통해 고수준의 이해관계자 목표를 저수준의 시스템 동작 및 도메인 가정과 연결하는 구체적인 메커니즘을 제공한다.
• 교차 계층 협력: MLS의 정렬을 복구하려면 고립된 수정이 아닌, 여러 계층(데이터, 모델, 시스템, 요구사항)에 걸친 협력적 적응이 필요함을 보여준다.

저자들은 본 평가가 단순화된 안전 필수 사례에 국한되어 있으며, 프로세스가 모든 경우에 수렴을 보장하는 것은 아니라는 점을 인정하며 신중한 입장을 유지한다. 또한, 프레임워크가 프로세스를 구조화하지만, 실패를 해석하고 완화 전략을 선택하는 데 있어서는 인간의 판단이 여전히 필수적이라고 언급한다. 향-후 연구로는 REAL을 거대 언어 모델(LLM)로 확장하고, 이해관계자의 가치를 더 깊게 반영하며, 반복적인 정렬 루프의 수렴 조건을 조사하는 것을 제안한다.