기술 요약: SETA – 복합 AI 시스템을 위한 통계적 결함 귀속 (Statistical Fault Attribution)

1. 문제 정의

현대적인 AI 시스템은 점차 **복합 AI 시스템(Compound AI Systems, CAS)**으로 설계되고 있습니다. 이는 단일 네트워크가 아니라 특화된 모델, 리트리버(retriever), 그리고 소프트웨어 컴포넌트들로 구성된 복잡한 파이프라인을 의미합니다. 이러한 모듈화는 개발에는 도움이 되지만, 테스트, 디버깅 및 안전성 보장 측면에서 상당한 과제를 안겨줍니다. 상류(upstream) 컴포넌트의 작은 국소적 결함(예: 데이터 드리프트, 모델 미교정)은 파이프라인을 통해 전파되어 치명적인 시스템 수준의 실패를 초래할 수 있습니다.

기존의 강건성 테스트 기법들은 두 가지 주요 한계에 직면해 있습니다:

1. 엔드 투 엔드(End-to-End, E2E) 테스트: 시스템을 블랙박스로 취급합니다. 이는 실패가 발생했다는 사실은 식별할 수 있지만, 특정 내부 컴포넌트로 결함을 귀속시킬 수는 없습니다.
2. 고립된 컴포넌트 테스트(Isolated Component Testing, ICT): 모듈을 개별적으로 테스트하지만, 모듈 간의 동적인 상호작용에서 발생하는 창발적 결함을 탐지하거나 파이프라인을 통해 오류가 어떻게 전파되는지 분석하는 데 실패합니다.

기존 도구들(예: FGSM과 같은 적대적 공격, Reluplex와 같은 형식 검증 도구, 또는 DeepXplore와 같은 커버리지 기반 도구)은 주로 단일 네트워크 모델을 위해 설계되었습니다. 이들은 구성된 파이프라인 내에서 미세한 결함 위치를 찾아내거나, 실행 컨텍스트 내에서 왜 실패가 발생했는지 설명하는 능력이 부족합니다. 또한, 중간 단계 컴포넌트에 대한 정답(ground truth) 없이 정확한 출력값을 정의하기 어려운 "테스트 오라클 문제(test oracle problem)"가 여전히 장벽으로 남아 있습니다.

2. 방법론: SETA 프레임워크

저자들은 **메타모픽 테스팅(Metamorphic Testing, MT)**과 **실행 트레이스 분석(Execution Trace Analysis)**을 결합한 모듈형 프레임워크인 **SETA(Statistical Fault Attribution)**를 제안합니다. SETA는 메타모픽 관계를 통해 행동 사양을 정의함으로써 명시적인 정답 오라클 없이도 작동합니다.

2.1 메타모픽 관계(MR)를 이용한 의사 오라클(Pseudo-Oracles)

SETA는 단일 입력-출력 쌍을 확인하는 대신, 입력 변환에 따른 속성 유지 여부(메타모픽 관계)를 검증함으로써 오라클 문제를 해결합니다.

• 정의: MR은 소스 입력 $x$와 변형된 입력 $\tilde{x} = g(x)$에 대한 시스템 출력 사이의 기대되는 관계를 지정합니다.
• 일반식: 관계는 등치 제약 조건을 위한 크로네커 델타($\delta$)와 부등식 제약 조건을 위한 헤비사이드 계단 함수($H$)를 사용하여 정의됩니다.
• 태스크별 MR: 프레임워크는 네 가지 핵심 비전 태스크를 위한 MR을 정의합니다:
  • 이미지 분류 (Image Classification): 공간적 변환 하에서의 레이블 불변성 또는 확률 분포의 $L_\infty$-노름 차이 제한.
  • 객체 위치 추적 (Object Localization): 예측된 바운딩 박스와 실제 바운딩 박스 간의 IoU(Intersection over Union)에 대한 제약 조건.
  • 객체 탐지 (Object Detection): 탐지된 객체 집합에 적용되는 분류 및 위치 추적 제약 조건의 조합.
  • 이미지 세그멘테이션 (Image Segmentation): 시맨틱 마스크에 대한 픽셀 수준의 등가성 또는 완화된 IoU 기반 중첩 제약 조건.
• 복합 메타모픽 관계 (Composite Metamorphic Relations, CMRs): 복잡한 컴포넌트의 경우, 여러 개별 MR을 논리적 결합(곱 연산자)을 통해 결합하여 단일 복합 점수($S_i$)를 형성합니다. 모든 구성 관계가 성립해야만 해당 컴포넌트가 올바른 것으로 간주됩니다.

2.2 상태 기반 실행 트레이스 분석

SETA는 복합 AI 시스템을 상태(state)가 계산 모듈을 나타내는 상태 전이 시스템으로 모델링합니다.

• 실행 트레이스 트리 ($T(x)$): 추론 과정 중에 프레임워크는 시스템을 인스트루먼테이션(instrumentation)하여 동적 실행 그래프를 기록합니다. 각 입력 $x$와 그 변형 $\tilde{x}$에 대해, 다음을 캡처하는 트리를 구축합니다:
  • 활성화된 모듈들.
  • 입력/출력 텐서.
  • 라우팅 결정 (어떤 다운스트림 모듈이 호출되었는지).
  • 참조 실행과 변형 실행을 비교하는 스코어링 함수 결과 ($S_q$).
• 트레이스 정렬 (Trace Alignment): 프레임워크는 변형된 입력의 트레이스를 참조 트레이스와 정렬하여 활성화 집합의 편차(예: 한쪽에서는 트리거되었으나 다른 쪽에서는 그렇지 않은 모듈)나 출력 불일치를 탐지합니다.

2.3 통계적 결함 귀속 (Statistical Fault Attribution)

첫 번째 실패 지점과 근본 원인(전파된 상류 오류일 수 있음)을 구분하기 위해, SETA는 통계적 귀속 메커니즘을 사용합니다.

• 결함 기여도 (Failure Contribution, FC) 점수: 프레임워크는 모듈 $i$의 편차를 나타내는 확률 변수 $Z_i$를 정의합니다. 모듈 $i$에 대한 FC 점수는 시스템 수준의 실패가 발생했을 때를 조건으로 한 기대 편차입니다:
  $$FC_i = E_{(x, \tilde{x}) \sim D} [Z_i \cdot \mathbb{I}(S(x, \tilde{x}) = 0)]$$
  이는 전체 시스템이 실패했을 때 해당 컴포넌트가 자신의 사양을 위반하는 빈도를 측정합니다.
• 귀속 가중치 (Attribution Weights): 점수는 모든 모듈에 대해 정규화되어, 각 컴포생의 상대적 기여도를 정량화하는 해석 가능한 귀속 가중치($\alpha_i$)를 도출합니다.
• 알고리즘: 이 과정은 데이터셋과 변형 집합을 반복 순회하며 트레이스를 기록하고, 시스템 수준의 점수를 계산하며, 편차를 집계하여 정규화된 귀속 벡터를 생성하는 과정을 포함합니다.

3. 주요 기여

1. 모듈형 프레임워크: 변형 전파를 경험적으로 추적함으로써 복잡한 AI 파이프라인 내의 결함 위치를 식별하기 위해 메타모픽 테스팅과 실행 트레이스 분석을 통합한 SETA를 제안합니다.
2. 오라클 프리 사양 (Oracle-Free Specifications): 메타모픽 관계를 통해 행동 사양을 정의함으로써 블랙박스 모델을 위한 확장 가능하고 테스트 가능한 추상화를 지원합니다.
3. 확장성: 모듈형 설계 덕분에 사용자는 다양한 클래스의 메타모픽 관계를 정의하고 플러그인할 수 있어, 불투명한 시스템에서도 해석 가능성을 지원합니다.
4. 미세 분석: 전통적인 도구들이 실패하는 다단계 파이프라인에서 실패의 기원을 정확히 짚어내고 숨겨진 취약점을 드러내는 능력을 입증합니다.

4. 실험 결과

프레임워크는 두 가지 별개의 시스템에 대해 평가되었습니다:

1. 자율 철도 검사 비전 시스템: 철도 영상을 처리하는 6개의 모듈(1개 객체 탐지기, 5개 분류기)을 가진 실제 시스템입니다.
   • 설정: imagecorruptions 라이브러리의 15가지 이미지 손상 기법(예: 안개, 눈, 모션 블러)을 대상으로 테스트했습니다.
   • 결과: SETA는 객체 탐지 모듈($f_0$)이 안개와 모션 블러에 매우 민감한 반면, 다운스트림 분류기들은 다양한 강건성을 보인다는 점을 성공적으로 식별했습니다. 또한 특정 섭동 상황에서 특정 모듈(예: $f_1, f_3$)을 주요 실패 기여자로 강조하는 귀속 점수($\alpha_i$)를 계산했습니다.
2. 앙상블 분류 모델 (CIFAR-10): CNN 앙상블(ResNet18, VGG16, Custom CNN)을 사용한 샌니티 체크(sanity check)입니다.
   • 결과: SETA가 예측한 개별 모델의 정확도는 실제 정확도와 2~3% 이내의 차이를 보였으며, "Custom CNN"이 가장 성능이 낮은 모델임을 정확히 식별했습니다.
3. OCR 시스템: EasyOCR을 사용하는 텍text 기반 파이프라인입니다.
   • 결과: 프로토콜로서 레벤슈타인 거리(Levenshtein distance)를 메타모픽 관계로 사용하여 프레임워크를 적응시켰습니다. 이는 텍스트 시퀀스 편차를 기반으로 특정 모듈의 강건성을 정량화하고 실패를 귀속시키는 데 성공하여, 비전 파이프라인 이외의 분야에도 적용 가능함을 보여주었습니다.

5. 의의 및 주장

본 논문은 SETA를 복합 AI 시스템의 창발적 실패를 진단하기 위한 **개념 증명(proof-of-concept)**으로 포지셔닝합니다. SETA의 의의는 엔드 투 엔드 테스트와 고립된 컴포넌트 테스트 사이의 간극을 메우는 데 있습니다.

• 진단 정밀도: 단순히 실패가 발생했음을 감지하는 도구와 달리, SETA는 어떤 모듈이 가장 큰 책임이 있는지를 통계적 귀속을 통해 제공하여 엔지니어가 취약한 서브모듈을 찾도록 안내합니다.
• 확장성: 메타모픽 관계를 사용함으로써 정답 오라클의 필요성을 우회하며, 이를 통해 중간 단계의 정답을 알 수 없는 복잡한 실제 파이프라인에도 적용할 수 있게 합니다.
• 한계 및 향후 연구: 저자들은 현재의 귀속 방식이 **인과적(causal)이지 않고 상관적(correlational)**이라는 점을 겸허히 인정합니다. 높은 점수는 실패와의 연관성을 나타내지만, 인과관계를 확정적으로 증명하지는 않습니다. 정밀도는 수작업으로 제작된 메타모픽 관계의 완전성에 달려 있습니다. 향후 연구는 인과 추론, 자동 MR 생성을 위한 프로그램 합성, 그리고 멀티모달 및 강화 학습 시스템으로의 확장을 목표로 합니다.

요약하자면, SETA는 **구성적 테스트(compositional testing)**와 **설명 가능한 결함 위치 식별(explainable fault localization)**을 위한 토대를 마련하며, 복잡하고 다중 컴포넌트로 구성된 AI 시스템의 신뢰성을 보장하기 위한 체계적인 접근 방식을 제공합니다.