Towards Automatically Inferring Constraints to Identify Implicit Assumptions in Data Analysis

기술 요약: 데이터 분석의 암묵적 가정을 식별하기 위한 제약 조건 자동 추론을 향하여

문제 정의
R, Python과 같은 고수준 데이터 분석 언어와 Jupyter, Quarto와 같은 노트북 환경은 정규 소프트웨어 공학 교육을 받지 않은 도메인 전문가들에 의해 널리 사용됩니다. 결과적으로, 분석 산출물(스크립트 및 노트북)은 빈번하게 심각한 재현성 및 재사용성 문제를 겪습니다. 연구에 따르면, 분석된 산출물의 65%에서 77%가 누락된 의존성, 잘못된 실행 순서 또는 문서화되지 않은 설정 단계로 인해 실행에 실패합니다. 또한, 공유된 코드 스니펫의 상당 부분이 고유한 로직을 포함하지 않는 복제본(clones)이며, 서로 다른 데이터셋이나 컨텍스트에 적용될 때 실패하는 경우가 많다는 점은 코드 재사용을 저해합니다.

저자들은 이러한 어려움이 단순한 기술적 버그가 아니라, 원작자가 만든 **암묵적 가정(implicit assumptions)**이라고 규정합니다. 이러한 가정은 특정 패키지 버전과 인터프리터 제약부터 예상되는 입력 데이터의 형태 및 수동 설정 단계에 이르기까지 다양합니다. 재현성을 위한 기존 도구들은 특정 증상(예: 환경 재구성 또는 린팅)을 해결하려고 노력하지만, 특히 이들의 상호작용에 관한 암묵적 가정을 식별, 문서화 및 검증하기 위한 통합적이고 체계적인 접근 방식을 제공하는 데는 실패합니다.

방법론
본 논문은 암묵적 가정을 정적 분석을 통해 식별하고 명시적으로 만들 수 있는 **코드 제약 조건(code constraints)**으로 취급하는 통합된 관점을 제안합니다. 핵심 방법론은 다음과 같습니다:

1. 제약 조건 추론 프레임워크: 저자들은 두 가지 분석 시나리오를 구분합니다:

   • 선제적 분석(Preemptive Analysis): 데이터와 의존성을 알고 있는 원래의 실행 환경 내에서 수행됩니다. 목표는 스크ert가 자기 완결적이며 FAIR 원칙을 준수하도록 보장하는 것입니다.
   • 사후적 분석(Retroactive Analysis): 원래의 환경을 알 수 없거나 데이터가 부분적으로만 사용 가능한 경우에 수행됩니다. 목표는 실행 가능한 환경을 재구성하거나(재현, 복제 또는 재사용을 위해) 새로운 컨텍스트에서의 재사용을 검증하기 위해 제약 조건을 추론하는 것입니다.

2. 정적 분석 기법: 이 접근 방식은 코드를 실행하지 않고 값, 타입 및 의존성을 추론하기 위해 추상 해석(abstract interpretation)과 데이터 흐름 분석(dataflow analysis)을 활용합니다. 저자들은 R을 위한 정적 프로그램 분석 프레임워크인 flowR을 개념 증명 구현체로 활용합니다.

3. 3단계 추론 전략:

   • 패키지 버전 추론 (A1–A3): 시스템은 모든 의존성(직접 로드된 라이브러리, ::를 통한 로드, 또는 간접 로드)을 식별하고 함수 시그니처, 클래스 사용 및 전역 객체 초기화를 추적합니다. 이를 가용한 패키지 API 및 의존성 트리와 비교함으로써, 시스템은 패키지 및 인터프리터에 대한 최소 버전 제약 조건을 추론합니다.
   • 스크립트 간 상호 의존성 식별 (A4, A7): 저자들은 명시적인 source 호출을 따르고 전역 변수를 추적하는 각 스크립트에 대한 프로그램 의존성 그래프를 구축할 것을 제안합니다. 이를 통해 시스템은 정의되지 않은 변수를 다른 스크립트의 정의와 연결하고, 파일 읽기/쓰기 의존성을 식별하며, 유효한 위상적 실행 순서를 결정할 수 있습니다.
   • 데이터 형태 기대치 추론 (A5, A6, A8–A10): 새로운 추상 도메인을 사용하여, 시스템은 데이터 프레임의 형태(컬럼 이름, 타입, 개수)가 조작되는 과정을 추적합니다. 시스템은 통계 함수(예: 두 개의 레벨을 가진 요소를 필요로 하는 t-검정)에 대한 기대를 추론하고, 런타임에 데이터 적합성을 검증하기 위해 산출물에 동적 가드(guards, 체크 기능)를 삽입합니다.

주요 기여

• 통합된 관점: 본 논문은 "암묵적 가정"을 데이터 과학의 재현성 과제를 분류하기 위한 포괄적인 프레임워크로 도입하여, 고립된 해결책을 넘어 제약 조건에 대한 총체적인 관점으로 확장했습니다.
• 정적 분석 접근 방식: 암묵적 가정을 자동으로 추론하고 이를 명시적인 코드 제약 조건으로 변환하기 위해 정적 분석(특히 추상 해석)을 사용하는 방식을 제안합니다.
• 개념 증명 구현: 저자들은 flowR을 기반으로 한 탐색적 구현을 제공합니다. 이들은 Zenodo 및 Harvard Dataverse와 같은 저장소에서 스크래핑한 8,160개의 실제 R 프로젝트(33,336개 파일)를 대상으로 이 접근 방식을 평가했습니다.
• 실증적 결과: 평가 결과, 분석된 프로젝트의 **14.6%**가 스크립트 간의 암묵적 상호 의존성을 포함하고 있음이 밝혀졌으며, 이는 본 방법론이 해결하고자 하는 문제의 보편성을 강조합니다.

결과 및 한계
본 논문은 완전히 성숙한 프로덕션 도구라기보다는 "개념 증명"을 제시합니다. 초기 구현은 라이브러리 요청을 추론하고, 데이터 프레임 형태를 추적하며, 스크립트 간 상호 의존성을 식별하는 기능의 타당성을 성공적으로 입증했습니다. 그러나 저자들은 다음과 같은 한계를 명시적으로 인정합니다:

• 라이스 정리(Rice's Theorem): 암묵적 가정의 추론은 본질적으로 라이스 정리에 의해 제한되므로, 보편적인 솔루션은 불가능합니다. 따라서 이 접근 방식은 재현 가능한 산출물과 재현 불가능한 산출물을 분석하여 얻은 휴리스틱에 의존합니다.
• 범위: 현재 구현은 R에 집중되어 있으나, 저자들은 이러한 과제가 언어에 구애받지 않는다고 주장합니다.
• 인간 참여(Human-in-the-Loop): 시스템은 자동으로 해결할 수 없는 가정을 감지할 수 있으며, 이 경우 인간의 개입이 필요합니다.

의의
저자들은 자신들의 연구가 데이터 분석 재현성에 대한 새롭고 통합된 관점을 제공한다고 주장합니다. 암묵적 가정을 명시적인 기계 판독 가능 제약 조건으로 변환함으로써, 이 접근 방식은 다음을 목표로 합니다:

1. 변환 자동화: 필요한 환경 사양을 생성하여 실행 불가능한 스크립트를 실행 가능한 산출물으로 변환합니다.
2. 동적 검증: 실행 전 데이터 및 환경 조건이 충족되는지 확인하기 위한 런타임 체크 역할을 수행합니다.
3. 문서화 강화: 다양한 프로젝트와 데이터셋 전반에서 코드 이해 및 재사용을 지원하는 살아있는 문서 역할을 합니다.

본 논문은 암묵적 가정을 탐지하는 것이 중요한 진전이지만, 향후 연구는 휴리스틱을 정교화하고, 모든 유형의 가정에 대한 범위를 확장하며, 사용자 연구와 데이터셋 퍼징(fuzzing)을 통해 이러한 제약 조건의 유용성을 평가하는 데 집중해야 한다고 결론짓습니다.