🤖 machine learning

Verifying Machine Learning Interpretability Requirements through Provenance

이 논문은 기계학습 모델의 해석 가능성이라는 비기능 요구사항을 검증하기 위해 모델 및 데이터의 기원 (Provenance) 을 기록하여 정량적인 기능 요구사항으로 전환하는 방법을 제안합니다.

원저자: Lynn Vonderhaar, Juan Couder, Daryela Cisneros, Omar Ochoa

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

원저자: Lynn Vonderhaar, Juan Couder, Daryela Cisneros, Omar Ochoa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"인공지능 (AI) 이 왜 그런 결정을 내렸는지, 우리가 어떻게 확실히 증명할 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 AI 개발은 마치 **"요리사가 만든 요리의 맛은 좋지만, 어떤 재료를 썼고 어떤 과정을 거쳤는지 레시피를 남기지 않는 경우"**와 비슷했습니다. 이 논문은 그 레시피를 꼼꼼히 기록하는 '프로베넌스 (Provenance, 출처 기록)' 시스템을 도입하여, AI 의 결정 과정을 투명하게 만들고 검증할 수 있는 방법을 제안합니다.

이 논문의 핵심 내용을 쉽게 풀어서 설명해 드릴게요.

1. 문제점: "블랙박스"의 비밀

우리가 사용하는 AI 모델은 종종 **'블랙박스 (Black Box)'**라고 불립니다. 입력값을 넣으면 결과가 나오는데, 그 중간에 어떤 일이 일어났는지 알 수 없는 상자 같은 거죠.

비유: 식당에 가서 "이 요리는 왜 이렇게 매운가요?"라고 물었을 때, 요리사가 "그냥 그랬어요"라고 답한다면 우리는 그 요리를 신뢰할 수 없겠죠. 특히 의료나 항공 같은 중요한 분야에서는 AI 가 "왜 이 환자를 위험하다고 판단했는지"를 설명할 수 있어야 합니다.

2. 해결책: "디지털 발자국" 남기기 (프로베넌스)

이 논문은 AI 가 결정을 내리기까지의 모든 과정을 **'디지털 발자국'**처럼 꼼꼼히 기록해야 한다고 말합니다. 이를 **프로베넌스 (Provenance)**라고 합니다.

비유: 요리사가 요리를 할 때, **어떤 재료를 사왔는지 (데이터 출처), 얼마나 씻고 다졌는지 (전처리), 어떤 양념을 얼마나 넣었는지 (모델 파라미터), 어떤 냄비를 썼는지 (환경 설정)**를 모두 기록장에 적어두는 것입니다.
이 기록만 있다면, 나중에 다른 사람이 그 기록을 보고 똑같은 요리를 재현해 볼 수 있고, "아, 매운맛은 고추를 많이 넣어서 나온 거구나"라고 이해할 수 있게 됩니다.

3. 방법론: 기록을 통해 검증하기

저자들은 이 '기록'을 단순히 쌓아두는 게 아니라, AI 의 해석 가능성 (Interpretability) 을 검증하는 도구로 사용합니다.

실험 1: 직관적인 모델 (선형 회귀)

상황: 간단한 수학 공식으로 작동하는 모델입니다.
방법: 학습에 쓴 데이터와 공식 (레시피) 을 기록해 둡니다.
결과: 기록된 데이터를 가지고 다시 계산을 해보면, AI 가 처음에 낸 결과와 완전히 똑같은 값이 나옵니다.
의미: "기록대로 다시 계산해 보니 AI 가 한 말이 맞네!"라고 검증한 것입니다.

실험 2: 복잡한 모델 (블랙박스 분류기)

상황: 너무 복잡해서 공식으로 다시 계산할 수 없는 모델입니다.
방법: "만약 이 사람의 나이를 10 살 더 먹게 하면 결과가 어떻게 변할까?"와 같은 **가상의 시나리오 (Counterfactual)**를 기록해 둡니다.
결과: 기록을 통해 "나이가 10 살 더 먹으면 '고소득' 판정을 받을 확률이 높아진다"는 식으로 입력과 결과의 관계를 지도처럼 그려낼 수 있습니다.
의미: 복잡한 모델이라도, 기록된 발자국을 따라가면 "어떤 조건이 바뀌면 결과가 어떻게 달라지는지"를 사람이 이해할 수 있게 됩니다.

4. 핵심 메시지: "기록이 곧 신뢰"

이 논문의 결론은 매우 명확합니다.

"AI 가 얼마나 똑똑한지보다, 어떻게 그 결론에 도달했는지 기록 (프로베넌스) 을 남겼는지가 더 중요하다."

기록을 남기는 것은 단순히 데이터를 저장하는 게 아니라, AI 의 행동을 투명하게 만들어 사람들이 그 결과를 믿고 사용할 수 있게 하는 '신용 카드'와 같은 역할을 합니다.

5. 요약 및 비유

기존 방식: "AI 가 정답을 맞췄으니 믿으세요." (신뢰할 수 없음)
이 논문의 방식: "AI 가 정답을 맞췄고, 여기 그 과정의 모든 레시피와 실험 기록이 있습니다. 여러분이 직접 확인해 보세요." (검증 가능함)

결론적으로, 이 논문은 AI 개발자들에게 "결과만 보고 만족하지 말고, 그 과정의 모든 흔적 (프로베넌스) 을 꼼꼼히 기록하라"고 조언하며, 그 기록을 통해 AI 의 판단을 인간이 이해하고 검증할 수 있는 길을 열었습니다.

1. 문제 정의 (Problem)

머신러닝 (ML) 공학은 소프트웨어 공학 및 요구사항 공학 (RE) 의 원칙을 차용하여 발전하고 있으며, 특히 안전-중요 (safety-critical) 분야에서는 ML 모델의 해석 가능성 (Interpretability) 이 중요한 비기능 요구사항 (NFR) 으로 대두되고 있습니다. 그러나 기존 문헌은 해석 가능성을 정의하고 있지만, 이를 측정하거나 검증하는 명확한 방법론이 부재합니다.

핵심 문제: 해석 가능성은 추상적인 개념으로 남아 있어, 모델이 해석 가능성 요구사항을 충족하는지 여부를 최종적으로 확인 (Verify) 하는 것이 불가능합니다.
필요성: ML 개발의 엄격성을 높이기 위해 해석 가능성을 정량화 가능한 요구사항으로 변환하고 검증할 수 있는 체계가 필요합니다.

2. 방법론 (Methodology)

이 논문은 ML 프로베넌스 (Provenance, 기원/추적 정보) 를 활용하여 해석 가능성 요구사항을 검증하는 새로운 접근법을 제안합니다.

개념적 프레임워크:
- 해석 가능성 (NFR) $\rightarrow$ 프로베넌스 요구사항 $\rightarrow$ 검증 가능한 기능 요구사항 (FRs) 의 계층적 분해 (Decomposition).
- 해석 가능성은 모델의 행동 기원을 추적할 수 있는 데이터 (프로베넌스) 를 저장함으로써 간접적으로 검증됩니다.
프로베넌스 데이터 수집:
- 데이터 프로베넌스: 데이터 소스, 수집 방법, 전처리 단계 (정제, 노이즈 제거, 정규화 등), 라벨링 정보, 특징 선택 (Feature selection) 등.
- 모델 프로베넌스: 아키텍처, 하이퍼파라미터, 학습/검증/테스트 분할, 실행 로그, 환경 설정, 소스 코드 등.
구현 도구:
- 기존 도구 (MLFlow, DVC 등) 는 고유한 전처리 단계 추적에 한계가 있어, yProv4ML 라이브러리를 사용했습니다.
- yProv4ML 은 W3C 의 PROV-O(Provenance Ontology) 표준을 준수하며, 수집된 데이터를 PROV-JSON 형식이나 그래프로 시각화하여 저장합니다.
검증 실험 (Proof of Concept):
- 해석 가능성 방법론의 세 가지 카테고리 (본질적 해석 가능 모델, 대리 모델, 특징 귀속) 중 대표 모델을 선정하여 실험했습니다.
  1. 선형 회귀 (Linear Regression): 본질적으로 해석 가능한 모델. 저장된 프로베넌스 (데이터, 전처리, 함수) 를 기반으로 모델을 재현하고 시뮬레이션하여 행동을 검증.
  2. 반대 설명 (Counterfactual Explanations, CE): 블랙박스 모델의 입력 변화에 따른 출력 변화를 매핑. 특징 선택 데이터와 CE 결과를 저장하여 입력 공간과 예측 간의 관계를 시각화 및 검증.

3. 주요 기여 (Key Contributions)

해석 가능성 요구사항의 프로베넌스 기반 분해: 추상적인 해석 가능성 NFR 을 구체적인 프로베넌스 데이터 저장 요구사항으로 분해하는 체계적인 방법론을 제시했습니다.
기능 요구사항 (FR) 을 통한 검증: 어떤 프로베넌스 데이터를 저장할지 정의함으로써 검증 가능한 FR 을 생성하고, 이를 통해 해석 가능성 NFR 의 충족 여부를 입증했습니다.
구체적인 구현 및 검증: yProv4ML 과 PROV-O 를 활용하여 선형 회귀 및 반대 설명 (Counterfactual) 사례를 통해 제안된 접근법의 유효성을 실험적으로 증명했습니다.

4. 결과 (Results)

선형 회귀 실험: 저장된 프로베넌스 데이터 (학습/테스트 데이터, 전처리 단계, 회귀 함수) 를 사용하여 Excel 에서 모델을 재현한 결과, 원본 Kaggle 예제와 동일한 선형 회귀 함수를 도출하여 모델 행동을 성공적으로 시뮬레이션하고 해석 가능성을 검증했습니다.
반대 설명 (CE) 실험: 블랙박스 모델의 행동을 직접 시뮬레이션할 수는 없었으나, 저장된 특징 선택 및 CE 데이터를 통해 입력 공간에서의 예측 변화 (예: 소득 수준 예측) 를 시각화하고 매핑하여 모델의 의사결정 로직을 인간이 이해할 수 있는 형태로 검증했습니다.
도구 한계 발견: 기존 프로베넌스 추적 도구들이 전처리 단계 (preprocessing steps) 와 같은 특정 데이터를 모델 파라미터로 잘못 분류하는 등 한계가 있음을 확인했습니다.

5. 의의 및 시사점 (Significance)

ML 공학의 엄격성 강화: ML 개발 프로세스에 전통적인 소프트웨어 공학의 요구사항 검증 (V&V) 기법을 적용하여, 해석 가능성을 측정 가능하고 검증 가능한 공학적 요구사항으로 격상시켰습니다.
투명성과 신뢰성 확보: 모델의 학습부터 배포까지의 전체 생명주기 (Lifecycle) 를 추적 가능하게 함으로써, 모델 행동의 투명성을 높이고 이해관계자 (사용자, 규제 기관 등) 의 신뢰를 강화합니다.
미래 연구 방향 제시:
- 해석 가능성 (Interpretability) 과 설명 가능성 (Explainability) 의 개념적 차이를 명확히 하고 각각에 대한 프로베넌스 검증 방법을 확장할 필요성을 제기했습니다.
- 전처리 단계 등 다양한 데이터 유형을 완벽하게 추적할 수 있는 새로운 ML 프로베넌스 추적 도구의 개발 필요성을 강조했습니다.

결론적으로, 이 논문은 ML 모델의 해석 가능성을 "어떻게 설명할 것인가"에 대한 방법론을 넘어, "어떤 데이터를 어떻게 추적하여 검증할 것인가"에 대한 공학적 프레임워크를 제시함으로써 ML 시스템의 품질 보증과 규제 준수에 중요한 기여를 했습니다.