Treating Run-time Execution History as a First-Class Citizen: Co-Versioning Run-time Behavior alongside Code

1. 문제 정의 (Problem Statement)

현재 소프트웨어 공학 및 개발 관행에는 행동 (Behavior) 에 대한 버전 관리의 부재라는 근본적인 맹점이 존재합니다.

• 코드와 행동의 불일치: 개발자들은 Git 을 통해 소스 코드를 체계적으로 버전 관리하지만, 런타임 행동 (실행 결과, 성능, 내부 상태 등) 이 어떻게 진화하는지를 영구적으로 저장하거나 조회하는 관행은 거의 없습니다.
• CI/CD 의 한계: 현대의 지속적 통합 (CI) 파이프라인은 방대한 양의 런타임 신호 (출력, 트레이스, 커버리지, 타이밍 등) 를 생성하지만, 이를 대부분 폐기하고 '통과 (Pass)' 또는 '실패 (Fail)'라는 이진 결과로 축소합니다.
• 은폐된 결함:
  • 테스트 오라클 (Test Oracle) 이 불완전하거나 부분적일 경우, 테스트가 통과하더라도 미세한 출력 변화, 플레키 (Flaky) 한 행동, 또는 침묵하는 성능 저하 (Silent Performance Regression) 가 감지되지 않습니다.
  • 소스 코드 변경 없이도 (설정, 의존성, 비결정성 등) 런타임 결과가 변할 수 있으며, 반대로 소스 변경이 테스트 오라클에 포착되지 않는 행동 변화를 초래할 수 있습니다.
• 결과: 소프트웨어 진화 분석과 CI 에서 풍부한 실행 정보가 손실되어, 의미 있는 행동 변화 (Semantic Drift) 를 식별하고 추적할 수 있는 도구가 부재합니다.

2. 제안된 방법론: 행동 공동 버전 관리 (Behavioral Co-Versioning, BeCoV)

저자는 BeCoV라는 새로운 패러다임을 제안합니다. 이는 소스 코드 (텍스트) 의 버전 관리에 런타임 행동 (관측 데이터) 의 버전 관리를 결합하는 개념입니다.

• 핵심 개념:

  • 행동 아카이브 (Behavioral Archive): Git 커밋 히스토리와 연동되는, 순차적으로만 추가되는 (Append-only) 쿼리 가능한 저장소입니다.
  • 데이터 구조: 테스트 실행 중 수집된 선택된 런타임 관측치 (메서드 I/O, 상태 요약, 성능 신호 등) 를 커밋 해시와 테스트 컨텍스트로 인덱싱하여 저장합니다.
  • 동작 원리: Git 이 텍스트 차이를 통해 코드 정의의 변경을 추적한다면, BeCoV 는 관측 데이터를 통해 코드의 현현 (Manifestation) 변화를 추적합니다.

• 기술적 구현 (프로토타입):

  1. 관측 수집 (Ingestion): Python 의 pytest 프레임워크를 확장하여, 테스트 실행 중 특정 메서드의 입력/출력, 예외 발생, 지연 시간 (Latency) 등을 경량화하여 수집합니다.
  2. 정규화 및 핑거프린팅: 실행 환경에 의존적인 식별자 (객체 인스턴스 ID 등) 를 안정된 플레이스홀더로 치환하여 정규화한 후, 이를 기반으로 행동 핑거프린트 (Obs_Hash) 를 생성합니다.
  3. 저장 및 쿼리: 수집된 데이터를 Parquet 형식의 열 지향 (Columnar) 파일로 저장하고, DuckDB를 통해 로컬에서 직접 분석 및 쿼리합니다. 이는 데이터 레이크하우스 (Data Lakehouse) 아키텍처를 차용한 것입니다.
  4. 행동 감지 (Semantic Diffing): 두 커밋 간의 행동 핑거프린트를 비교하여 의미 있는 행동 차이를 식별합니다.

3. 주요 기여 (Key Contributions)

1. 패러다임 전환: CI 실행을 일회성 품질 게이트가 아닌, 재사용 가능한 역사적 데이터 자산으로 재정의합니다. 이를 통해 개발자는 나중에 새로운 오라클이나 질문을 역사적 실행 데이터에 대해 쿼리할 수 있습니다.
2. 행동 인식 변화 분류 (Behavior-aware Change Classification): 코드 변경과 관측 데이터의 조합을 기반으로 4 가지 진단 카테고리를 제시합니다.
   • 관측 행동 보존: 코드는 변경되었으나 행동은 동일 (리팩토링/최적화 후보).
   • 관측 행동 드리프트: 코드와 행동 모두 변경됨 (의도된 변경 또는 회귀 결함).
   • 불안정성/비결정성: 코드는 동일하나 행동이 변경됨 (플레키 테스트, 환경 드리프트).
   • 공진화: 테스트와 코드 모두 변경됨 (직접적인 드리프트 귀인 복잡).
3. 실용적 프로토타입: Python 라이브러리 dateutil 을 대상으로 한 최소 기능 프로토타입을 구현하여, 기존 테스트 워크플로우 내에서 행동 관측을 수집하고 차이를 분석할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

• 실험 환경: dateutil 라이브러리의 최근 100 개 커밋을 재생성하여 실행했습니다.
• 데이터 규모:
  • 28,136 개의 고유 테스트 유닛, 935 개의 핵심 코드 유닛을 대상으로 관측 데이터를 수집했습니다.
  • 생성된 행동 아카이브의 크기는 약 131MB (핵심 유닛 dateutil.parser._parser.parse 만 약 104MB 차지) 였으며, Parquet 형식의 압축 효율이 입증되었습니다.
• 성능: 상용 노트북 환경에서 행동 변화 분류 쿼리 (SQL) 를 실행하는 데 434ms가 소요되어 실시간 분석 가능성이 확인되었습니다.
• 발견: 정적 코드 차이 (Textual Diff) 만으로는 파악되지 않는 행동 변화 (예: 내부 호출 순서 변경, 중간 계산 값 변화 등) 를 아카이브를 통해 식별할 수 있었습니다.

5. 의의 및 의의 (Significance)

• 소프트웨어 진화 분석의 확장: 정적 코드 분석 (MSR) 과 동적 분석을 연결하여, 소스 코드만으로는 보이지 않는 '의미 있는 변화'를 포착할 수 있는 새로운 렌즈를 제공합니다.
• 포렌식 감사 및 회귀 로컬라이제이션: 새로운 보안 취약점이나 규정 준수 요구사항이 발생했을 때, 과거 실행 데이터를 재실행 (Dependency Rot 문제 해결) 하지 않고도 아카이브를 쿼리하여 문제가 언제 처음 발생했는지 추적할 수 있습니다.
• AI 및 도구 발전의 기반: 수집된 행동 아카이브는 결함 예측, 테스트 생성, 오라클 자동화 등 실행 인지형 개발 도구 (Execution-aware Developer Tools) 및 생성형 AI 를 위한 고품질 학습 데이터로 활용될 수 있습니다.
• 연구 방향 제시:
  • 정체성 보존 (Identity Preservation): 리팩토링 시 테스트와 코드 유닛 간의 연결 고리를 유지하는 방법.
  • 표현 (Representation): 비결정성을 처리하고 효율적인 비교를 위한 표준화된 행동 스냅샷 스키마 설계.
  • 확장성 (Scalability): 대규모 시스템에서의 저장 비용과 정밀도 간의 트레이드오프 관리.

결론

이 논문은 런타임 실행 이력을 소스 코드와 동등한 '1 등 시민'으로 대우해야 한다고 주장합니다. BeCoV 는 단순한 모니터링 도구를 넘어, 소프트웨어의 행동 이력을 체계적으로 버전 관리하고 쿼리할 수 있는 인프라를 제안함으로써, 소프트웨어 품질 보증과 진화 분석의 새로운 지평을 엽니다.