기술 요약: 실제 인과관계(Actual Causality)를 이용한 사이버-물리 시스템의 실패 설명

문제 정의

자율주행 자동차와 같은 현대의 자율형 사이버-물리 시스템(CPS)은 인지 및 제어를 위해 딥 뉴럴 네트워크(NN)와 같은 "블랙박스" 구성 요소에 점점 더 많이 의존하고 있다. 이러한 시스템은 복잡하고 미지의 환경에서도 견고하게 작동해야 하지만, 그 불투명성으로 인해 배포 전 형식 검증(formal verification)을 수행하는 것은 실행 불가능하다. 결과적으로, 시스템이 명세(specification)를 위반하는 예기치 않은 실패는 불가피하며, 이는 치명적인 결과로 이어질 수 있다.

현재의 실패 설명 방식은 불충식하다. 일반적 또는 '유형(type)' 인과관계 프레임워크는 특정 과거 사건을 설명하기보다는 예측을 목적으로 설계된 전방향적(forward-looking)이고 확률적인 방식이다. 또한, '실제 인과관계'(특정 사건에 대한 후방향적 프레임워크)를 적용한 기존 사례들은 이미지 분류기와 같은 단순한 depth-2 모델에 국한되어 왔다. 이러한 표준 프레임워크를 연속적인 역학, 재귀적 루프, 가변적인 입력 크기를 포함하는 시간적으로 확장된(temporally extended) CPS에 직접 적용하면 잘못된 설명을 도출하게 된다. 구체적으로, 단순한 적용은 다음 사항들을 고려하지 못한다:

1. 전역 환경 파라미터와 지역적 요소 간의 구분.
2. CPS가 실패가 발생하기 전까지 환경의 일부만을 관측한다는 사실.
3. 단순한 이진 성공/실패 지표로는 구분할 수 없는 서로 다른 "실패 유형"(예: 서로 다른 궤적 지점에서의 충돌)의 존재.

방법론

본 논문은 실제 인과관계(actual causality) 이론을 CPS 실패 분석의 특정 제약 조건에 맞게 조정하는 새로운 프레임워크를 제안한다.

1. 실제 인과관계에 대한 이론적 확장

저자들은 원래 분류기를 위해 정의된 표준 실제 인과관계 프레임워크를 CPS에 맞게 확장하기 위해 세 가지 핵심적인 수정 사항을 도입하여 인과 모델 구축을 개선하였다:

• 입력 차별화 (파라미터 vs. 요소): 환경을 파라미터(트랙 형태와 같은 전역적이고 필수적인 변수)와 요소(장애물과 같은 지역적이고 부가적인 변수)로 분리한다. 인과 모델에서 파라미터는 근본적인 실패 유형을 변화시키기 때문에 개입(마스킹) 대상인 내생 변수가 아닌 외생 상수(원래 상태로 고정됨)로 취급된다. 오직 요소만이 개입 대상인 내생 변수로 포함된다.
• 관측 제약 조건: 전체 입력을 한 번에 처리하는 분류기와 달리, CPS는 시간에 따라 환경을 점진적으로 처리한다. 본 프레임워크는 잠재적 설명을 시스템이 실패 전까지 관측한 환경 요소들로만 제한한다. 관측되지 않은 요소는 논리적으로 유효하지 않은 인과관계(예: 자동차가 보지도 못한 장애물을 원인으로 지목하는 것)를 방지하기 위해 설명 집합에서 제외된다.
• 실패 유형 추상화: 미세한 궤적 변화가 인과관계에 필요한 "동일한 출력" 조건을 깨뜨리는 문제를 피하기 위해, 저자들은 연속적인 궤적을 이산적인 "실패 유형"으로 추상화할 것을 제안한다. 결과 변수 $O$는 단순히 이진적인 충돌/비충돌이 아니라, 특정 실패 클래스(예: "장애물 X와의 충돌")로 정의된다. 이를 통해 설명이 관찰된 실패 이벤트의 구체적인 원인을 식별할 수 있도록 보장한다.

2. 설명 도출 알고리즘

본 논문은 충분한 설명(원래의 값을 유지할 경우 실패를 보장하는 관측된 요소의 최소 부분 집합)을 도출하기 위한 두 가지 시스템 불가지론적(system-agnostic) 알고리즘을 제시한다:

• 전수 조사 (Algorithm 1): 이 알고리즘은 모든 관측된 요소의 부분 집합에 대해 브루트 포스(brute-force) 탐색을 수행한다. 요소를 제거하고 재시뮬레이션을 수행하여 실패 유형이 유지되는지 확인함으로써 환경에 개입한다. 최적의(최소한의) 설명을 보장하지만, 시뮬레이션 실행 횟수의 지수적 증가로 인해 복잡한 시나리오에서는 계산적으로 다루기 어렵다(intractable).
• 책임 기반 탐색 (Algorithm 2): 효율성을 해결하기 위해 저자들은 **인과적 책임(causal responsibility)**에 기반한 휴리스틱 알고리즘을 제안한다.
  1. 근사화: 무작위 개입을 샘플링하여 각 관측된 요소가 가지는 책임의 정도(요소 제거가 결과를 변화시키는 빈도 기반)를 추정한다.
  2. 휴리스틱 탐색: 요소들을 책임도에 따라 순위를 매긴다. 알고리즘은 실패 유형이 유지될 때까지 높은 책임도를 가진 요소를 후보 설명에 점진적으로 추가한다.
  3. 최소화 (선택 사항): 결과적인 후보 부분 집합에 대해 전수 조사를 수행하여 최소성을 보장하는 선택적 후처리 단계를 수행한다.

주요 기여

1. 개념적 프레임워크: 본 논문은 실제 인과관계를 CPS 실패 설명에 적용하는 것을 소개하며, 정적 분류기에서 동적이고 시간적으로 확장된 시스템으로 넘어갈 때 발생하는 이론적 격차를 식별하고 해결한다.
2. 정확성 가이드라인: 관측된 요소를 다루는 법과 실패 유형의 추상화를 강조하며, CPS를 위한 인과 모델 구축에 관한 구체적인 가이드라인을 제공한다.
3. 실용적 알고리즘: 정확성과 계산 비용 간의 균형을 맞추는 두 가지 알고리즘, 즉 정확한 최적 설명 도출을 위한 알고리즘과 효율적인 책임 기반 휴리스틱 알고리즘을 제공한다.
4. 경험적 검증: 제안된 접근 방식을 장애물이 있는 트랙을 주행하는 신경망 제어 자율주행 자동차에 대해 평가하여, 설명의 최적성과 도출 효율성 간의 트레이드오프를 입증한다.

실험 결과

저자들은 6, 9, 12, 15개의 장애물을 포함하는 32개의 반증 트레이스(falsifying traces)를 사용하여 LiteRacer 시뮬레이터로 알고리즘을 평가하였다.

• 정확도: **전수 조사(ES)**는 일관되게 최소한의 설명을 생성했다. 책임 기반(RG) 알고리즘은 최소화 과정 없이 사용할 경우 더 큰(정확도가 낮은) 설명을 생성했으며, 장애물 수가 증가함에 따라 오류율이 높아졌다. 그러나 최소화가 포함된 책임 기반(RGM) 변형은 테스트된 모든 케이스에서 정확한 최소 설명을 성공적으로 찾아냈다.
• 효율성: ES는 장애물 수에 따라 지수적으로 증가하는 시뮬레이션 실행 횟수를 요구했다(예: 15개 장애물에 대해 약 1,152회). 반면, RG 및 RGM 변형은 훨씬 적은 횟수의 실행(예: 약 200~400회)을 필요로 했으며, 훨씬 완만하게 확장되었다.
• 트레이드오프: 결과는 명확한 트레이드오프를 보여준다: RG는 높은 효율성을 제공하지만 정확도가 낮고, RGM은 ES에 비해 계산 노력을 크게 줄이면서도 최적에 가까운 정확도를 달성하는 균형 잡힌 접근 방식을 제공한다.

의의 및 주장

본 논문은 실제 인과관계라는 엄격한 수학적 이론에 근거하여 자율형 CPS의 실패를 이해하고 처리하는 새로운 방향을 열었다고 주장한다. 저자들의 주장은 다음과 같다:

• 표준 인과관계 프레임워크는 시간적 확장성과 부분적 관측성 때문에 CPS에 불충분하다.
• 제안된 가이드라인은 올바른 설명을 도출하는 데 필수적이며, 단순한 적용은 논리적으로 유효하지 않은 결과를 초래한다.
• 본 프레임워크는 신경망의 내부 가중치에 접근할 필요가 없는 "시스템 불가지론적" 방법이므로, 독점적인 시스템에도 적용 가능하다.
• 본 연구는 실패 원인의 국지화(localization)와 완화를 위한 새로운 실패 시나리오 생성을 가능하게 함으로써, 설명 가능하고 신뢰할 수 있는 자율 시스템을 향한 기초적인 단계 역할을 한다.

저자들은 현재의 범위에 대해 겸허한 태도를 유지하며, 본 프레임워크가 현재 충분한 설명(실패를 일으키는 최소 집합)을 다루며 depth-2 인과 모델에 의존하고 있음을 언급했다. 향-후 과제로 연속적인 CPS의 특성을 더 깊게 포착하고 필요한(necessary) 설명을 탐구하는 것을 제시하였다.