Beyond Reproducible Research: Building a Formal Representation of a Data Analysis

이 논문은 데이터 분석의 재현성을 넘어 분석가의 논리적 추론을 외부화하는 형식적 표현 체계를 제안하고, 이를 통해 데이터 없이도 분석의 질을 평가하고 가설의 민감성을 분석할 수 있음을 보여줍니다.

핵심

이 논문은 **"데이터 분석을 어떻게 하면 단순히 '코드를 보여주는 것'을 넘어, 그 분석의 '논리와 이유'까지 명확하게 증명할 수 있을까?"**라는 질문에서 시작합니다.

저자 로저 펭 (Roger D. Peng) 은 기존의 '재현 가능한 연구 (Reproducible Research)' 방식이 가진 한계를 지적하며, 데이터 분석을 수학적 증명이나 법정에서의 증거 제시처럼 체계적으로 기록하는 새로운 방식을 제안합니다.

이 복잡한 개념을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 문제: "요리 레시피"만으로는 부족합니다

지금까지 데이터 분석을 공유할 때는 보통 **코드 (프로그램)**와 데이터를 함께 공개했습니다.
이를 **'요리 레시피'**에 비유해 볼까요?

• 기존 방식 (코드 공유): "소금 1 큰술, 설탕 2 큰술 넣고 10 분 끓여주세요."라는 레시피를 줍니다.
• 문제점: 만약 이 레시피대로 따라 했는데 맛이 이상하다면, 우리는 "아, 소금 양이 틀렸나?", "불 조절이 잘못됐나?", "아니면 재료가 상했나?"를 알 수 없습니다. 레시피는 **'무엇을 했는지 (What)'**는 알려주지만, **'왜 그렇게 했는지 (Why)'**나 **'어떤 가정을 했는지 (Assumptions)'**는 알려주지 않기 때문입니다.

예를 들어, "이 데이터의 평균은 4.6 입니다"라고 말할 때, 단순히 코드를 보여준다고 해서 그 숫자가 왜 4.6 이 나왔는지, 혹은 데이터에 이상한 값 (결측치나 극단적인 값) 이 숨어있지 않았는지는 알 수 없습니다.

2. 해결책: "수학 증명서"를 작성하자

이 논문은 데이터 분석을 수학 문제 풀이처럼 접근하라고 제안합니다.

• 수학 문제: "삼각형 ABC 의 넓이가 10 입니다"라고 주장한다면, 단순히 답만 적는 게 아니라 **"왜 10 이 나오는지"**에 대한 논리적 증명 과정을 보여줘야 합니다.
  • "밑변이 5 고, 높이가 4 이므로 (가정), 넓이는 10 입니다 (결론)."
  • 여기서 '밑변이 5 고 높이가 4 임'이 **전제 (Premise)**가 되고, 이것이 증명되어야 '넓이가 10 임'이라는 **결론 (Conclusion)**이 성립합니다.

저자는 데이터 분석도 이렇게 결론을 뒷받침하는 전제들 (증거들) 을 계층적으로 연결해야 한다고 말합니다.

3. 새로운 방식: "데이터 분석 증명서" (Formal Representation)

이 논문에서 제안하는 시스템은 마치 법정에서 변호사가 증거를 제출하는 방식과 같습니다.

• 주장 (Statement): "이 데이터의 평균은 4.6 입니다."
• 증거 (Premises):
  1. 이 데이터에 빠진 값 (결측치) 이 없습니다. (그래서 평균 계산이 틀리지 않았습니다.)
  2. 데이터가 너무 치우치지 않고 고르게 분포되어 있습니다. (이상치로 인해 평균이 왜곡되지 않았습니다.)
  3. 데이터의 중앙값도 4.6 에 가깝습니다. (분포가 한쪽으로 쏠리지 않았습니다.)

이 시스템에서는 이 모든 '증거'가 **코드로 작성된 규칙 (Class)**으로 정의됩니다.

• "결측치가 없음"이라는 규칙을 코드로 만들고, 실제 데이터가 이 규칙을 통과해야만 '증거 1'이 성립합니다.
• 이 모든 증거가 통과해야만 최종 결론인 "평균은 4.6 입니다"가 유효한 것으로 인정받습니다.

4. 왜 이것이 더 좋은가요? (장점)

이 방식은 코드를 실행하지 않아도 분석의 질을 판단할 수 있게 해줍니다.

1. 데이터가 없어도 검증 가능: 데이터가 민감하거나 공유할 수 없는 상황에서도, "이 분석의 논리 구조 (증거 체계) 가 올바른가?"만 코드를 보고 확인할 수 있습니다. (마치 수학 공식을 보고 답이 맞는지 논리적으로 따지는 것과 같습니다.)
2. 실수 방지 (Silent Errors): 데이터가 잘못 섞였을 때 코드가 에러 없이 실행되더라도, 우리가 기대한 결과 (예: 3 줄짜리 테이블) 가 나오지 않는다면 시스템이 "틀렸습니다!"라고 경고해 줍니다.
3. 논리 구조 시각화: 복잡한 분석의 전제 조건들을 **나무 가지 (Tree)**처럼 그려서 보여줍니다. "최종 결론을 위해서는 A, B, C 세 가지 조건이 모두 맞아야 한다"는 것을 한눈에 볼 수 있습니다.

5. 요약: "요리사"에서 "검증관"으로

기존의 재현 가능한 연구는 **"이 요리를 따라 해보세요"**라고 하는 것이었다면, 이 논문이 제안하는 방식은 **"이 요리의 맛을 보장하기 위해 우리는 이 세 가지 재료의 신선도를 검증했고, 이 조리법을 사용했습니다"**라고 증명서를 제출하는 것입니다.

• 기존: "코드를 실행하면 결과가 나옵니다." (동적, 실행 필요)
• 제안: "이 논리 구조가 맞다면, 결과는 반드시 이렇습니다." (정적, 논리 검증 가능)

결론적으로, 이 논문은 데이터 분석을 단순히 **'프로그램 실행'**이 아니라, **'논리적 주장과 증거의 연결'**로 바꾸어, 분석의 신뢰성을 훨씬 더 높이고 투명하게 만들자는 혁신적인 아이디어를 담고 있습니다.

기술 요약

1. 문제 제기 (Problem)

현재 데이터 분석의 재현성 (Reproducibility) 은 주로 명령형 프로그래밍 (Imperative Programming) 방식에 의존합니다. 즉, 데이터에 대한 조작 명령 (코드) 과 그 결과물을 공개하는 것이 표준입니다. 하지만 저자 Roger D. Peng 는 이러한 방식이 다음과 같은 한계를 가진다고 지적합니다.

• 추론의 부재: 코드와 데이터만으로는 분석가가 가진 전제 (premises), 기대치 (expectations), 가정 (assumptions) 을 파악하기 어렵습니다. 코드는 "무엇을 했는지 (What)"는 보여줄 뿐, "왜 그렇게 했는지 (Why)"에 대한 논리적 근거를 제공하지 못합니다.
• 검증의 비효율성: 코드를 재실행하여 결과를 확인하는 것은 시간과 자원이 많이 들며, 민감한 데이터의 경우 재현 자체가 불가능할 수 있습니다.
• 오류의 은폐: 코드가 오류 없이 실행되어 합리적인 출력을 생성한다고 해서 분석이 옳다는 보장은 없습니다. 데이터의 숨겨진 특징 (이상치, 편향 등) 이 분석의 전제를 무효화할 수 있기 때문입니다.
• 정적 검증의 부재: 분석의 논리적 구조를 데이터 실행 없이 정적으로 (Static) 평가할 수 있는 체계가 부족합니다.

2. 방법론 (Methodology)

저자는 데이터 분석을 단순한 계산 과정이 아닌, **논리적 구성 (Logical Construction)**으로 재정의하는 새로운 프레임워크를 제안합니다. 이 접근법의 핵심은 R 언어의 S4 클래스 시스템을 활용하여 데이터 분석 명제 (Data Analysis Statements) 를 형식적으로 표현하는 것입니다.

핵심 원칙

1. 데이터 분석 명제로서의 클래스 정의 (Data Analysis Statements as Class Definitions):
   • "데이터 프레임의 첫 번째 열 평균은 4.6 이다"와 같은 명제를 객체 클래스로 정의합니다.
   • 해당 클래스의 객체가 유효 (Valid) 하려면, 정의된 validity 함수가 참이어야 합니다. 즉, 객체의 존재 자체가 명제의 진위를 증명합니다.
2. 전제 (Premises) 의 계층적 확장:
   • 결론 명제를 지지하는 전제들을 별도의 클래스로 정의하고, 이를 결론 클래스의 슬롯 (Slot) 으로 포함시킵니다.
   • 예: "평균이 4.6 이다"라는 명제는 "결측치가 없다", "중위수가 4.6 에 가깝다", "이상치가 없다"는 등의 전제 클래스들을 포함해야만 유효합니다.
3. 명시적 전제와 가정:
   • 분석가는 데이터에 대한 기대치 (예: 결측치 정의, 이상치 기준) 를 코드의 validity 함수 내에 명시적으로 정의해야 합니다.

구현 프로세스

1. 명제 정의: 분석하고자 하는 결론을 S4 클래스로 정의합니다.
2. 전제 식별: 결론을 지지하거나 반증할 수 있는 조건들을 식별하여 별도의 전제 클래스로 정의합니다.
3. 계층화: 전제 클래스를 결론 클래스에 포함시켜 논리적 의존 관계를 형성합니다.
4. 정적 분석: 코드를 실행하지 않고도 클래스 정의와 전제 구조를 분석하여 분석의 타당성을 평가할 수 있습니다.

3. 주요 기여 (Key Contributions)

• 데이터 분석의 형식적 표현 체계 구축: 데이터 분석을 실행 가능한 프로그램이 아닌, 논리적 명제와 증거의 계층 구조로 표현하는 새로운 패러다임을 제시했습니다.
• 정적 분석 (Static Analysis) 가능성: 데이터를 실행하지 않고도 코드의 논리적 구조와 전제를 검토하여 분석의 질을 평가할 수 있는 방법을 제공합니다.
• 시각적 논리 구조화: 클래스의 계층 구조를 트리 (Tree) 형태로 시각화하여, 분석의 논리적 흐름과 전제 관계를 직관적으로 이해할 수 있게 합니다.
• 민감도 분석 (Sensitivity Analysis) 지원: 예상치 못한 데이터 특징 (이상치 등) 이 분석 결론에 미치는 영향을 시뮬레이션하고, 전제 조건이 이를 얼마나 잘 포착하는지 평가할 수 있습니다.
• 소프트웨어 공학 개념의 통계학 적용: 'Propositions as Types' (명제는 타입이다) 개념과 시스템 엔지니어링의 '고장 트리 (Fault Tree)' 개념을 데이터 분석에 적용하여, 성공 조건을 명시적으로 정의하는 방식을 도입했습니다.

4. 결과 및 사례 (Results & Examples)

논문은 R 언어의 S4 시스템을 사용하여 다음과 같은 구체적인 사례를 구현했습니다.

• 결측치 없는 데이터 확인: vector_no_missing 클래스를 정의하여, 데이터가 해당 클래스로 변환될 때 NA 나 특정 결측 코드 (-99) 가 없음을 보장합니다.
• 평균 계산의 논리적 증명: "평균이 4.6 이다"는 명제를 증명하기 위해, (1) 결측치 없음, (2) 중위수가 4.6 에 근접함, (3) 5 수 요약 (Five-number summary) 에 따른 이상치 부재 등을 전제로 하는 계층적 클래스 구조를 구축했습니다.
• 단순 선형 회귀 (Simple Linear Regression): 회귀 계수가 1.79 라는 주장을 뒷받침하기 위해 잔차의 비선형성 부재, 이상치 부재, 잔차 플롯의 적합성 등을 전제로 하는 복잡한 논리 트리를 구성했습니다.
• 잠재적 오류 탐지: 데이터 프레임 병합 (Join) 시 발생할 수 있는 '침묵하는 오류 (Silent Errors)'를 클래스의 유효성 검사 (Validity check) 를 통해 사전에 탐지하고 방지하는 방식을 시연했습니다.

5. 의의 및 의의 (Significance)

• 재현성을 넘어선 투명성: 단순한 코드 재실행을 넘어, 분석가의 **추론 과정 (Reasoning)**을 외부화하고 투명하게 만듭니다. 이는 분석의 질을 평가하고 개선 방향을 제시하는 데 필수적입니다.
• 데이터 없는 검증: 데이터가 민감하거나 접근이 불가능한 상황에서도 분석의 논리적 타당성을 평가할 수 있게 합니다.
• 분석 품질 향상: 분석가가 자신의 가정과 기대치를 명시적으로 정의하도록 강제함으로써, 무의식적인 오류나 편향을 줄이고 분석의 엄격성을 높입니다.
• 미래 지향적 접근: 현재 제안된 S4 기반 구현은 코딩 오버헤드가 크다는 단점이 있으나, 이는 데이터 분석의 논리적 구조를 표준화하고 자동화할 수 있는 중요한 기초를 제공합니다. 이는 향후 R 이나 다른 통계 소프트웨어에 통합될 수 있는 새로운 표준의 시초가 될 수 있습니다.

결론적으로, 이 논문은 데이터 분석을 "계산의 결과"가 아닌 "논리적 증명"으로 재정의함으로써, 재현 가능한 연구 (Reproducible Research) 의 한계를 극복하고 데이터 과학의 엄격성과 투명성을 한 단계 높이는 형식적 프레임워크를 제안합니다.