Orchestrating Human-AI Software Delivery: A Retrospective Longitudinal Field Study of Three Software Modernization Programs

논문 요약: 인간-AI 소프트웨어 배포 조율에 대한 후향적 종단 현장 연구

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 현재 소프트웨어 공학 분야의 AI 관련 증거는 주로 개별 작업 완료 (코드 생성) 나 저장소 수준의 이슈 해결 (SWE-bench 등) 에 집중되어 있습니다.
• 문제점: 팀 차원의 전체적인 소프트웨어 배포 (Delivery) 와 관련된 증거는 상대적으로 부족합니다. 소프트웨어는 단순한 코드 생성이 아니라, 기술 이해, 계획, 분해, 구현, 검증, 리뷰, 배포 조정 등 복잡한 엔드 - 투 - 엔드 워크플로우를 거칩니다.
• 연구 질문: AI 에이전트가 개별 도구가 아닌, 인간과 협력하는 전체 배포 워크플로우에 내장되었을 때 어떤 변화가 발생하는가? 특히 '조율 (Orchestration)'이 어떻게 속도와 품질에 영향을 미치는가?

2. 연구 방법론 (Methodology)

• 연구 설계: 3 개의 실제 소프트웨어 현대화 프로그램과 5 가지 배포 구성 (Configuration) 을 대상으로 한 **후향적 종단 현장 연구 (Retrospective Longitudinal Field Study)**입니다.
• 대상 시스템 (Chiron): Taller Technologies 에서 개발한 팀 차원의 소프트웨어 배포 플랫폼. 이 플랫폼은 분석, 계획, 구현, 검증 단계를 거쳐 인간과 AI 에이전트를 조율합니다.
• 대상 프로젝트 (3 개):
  1. 은행 애플리케이션: COBOL 백엔드 → Python, 터미널 → Next.js, DB → PostgreSQL (약 30k LOC).
  2. ACAS 회계 플랫폼: 대규모 레거시 회계 시스템 현대화 (약 400k LOC).
  3. 모기지 애플리케이션: .NET 3 → .NET 8, Angular → React, REST → GraphQL (약 30k LOC).
• 비교 구성 (5 가지):
  • 기존 (Traditional Baseline): 전통적인 6 인 팀 (1 아키텍트, 2 백엔드, 1 프론트엔드, 2 QA).
  • V1: 도구 중심의 에이전트 사용 (분석, 문서화, 태스크 실행). 통합 검증이나 저장소 기반 리뷰 부재.
  • V2: CLI 기반 오케스트레이션 파이프라인 도입.
  • V3: 공유 웹 워크스페이스, 태스크 보드, 작업 중심 오케스트레이션, 수용 기준 (Acceptance Criteria) 검증 도입.
  • V4: 저장소 인증, PR 워크플로우, 코드 리뷰, 문서 수집, 하이브리드 인간 - 에이전트 실행 통합.
• 측정 지표:
  • 관측 지표: 단계별 소요 시간 (분석, 계획, 구현, 검증), 작업량 (Task count), 검증 단계 이슈 수, 첫 릴리스 요구사항 커버리지.
  • 모델링 지표: 명시적인 인력 시나리오 (6 인 vs 5 인 AI 운영 팀) 하의 원시 인력일 (Raw person-days) 및 시니어 등가 노력 (Senior-Equivalent Effort, SEE).

3. 주요 기여 (Key Contributions)

1. 측정 프레임워크 정의: 관측된 배포 결과 (지속 시간, 이슈 등) 와 모델링된 인력 시나리오 (노력량) 를 명확히 분리하여 보고합니다.
2. 실증 데이터 제공: 3 개의 실제 현대화 프로그램과 5 가지 배포 구성에 대한 종단적 데이터를 제공합니다.
3. 조율의 중요성 입증: AI 에이전트의 단순 도입이 아닌, **수용 기준 검증, 저장소 기반 리뷰, 하이브리드 실행이 포함된 구조화된 워크플로우 (오케스트레이션)**가 도입되어야만 속도와 품질이 동시에 개선됨을 보여줍니다.

4. 주요 결과 (Results)

기존 기준 (Traditional) 과 최종 버전 (V4) 을 비교한 결과, 다음과 같은 획기적인 개선이 관찰되었습니다.

• 배포 속도 가속화:
  • 포트폴리오 총 소요 시간은 36.0 주에서 9.3 주로 단축 (약 3.87 배 속도 향상, 74.2% 감소).
  • V1 에서 V4 로의 변화만 봐도 (인력 구성은 동일) 3.08 배 속도 향상.
• 노력량 감소 (모델링 기준):
  • 원시 인력일 (Raw person-days): 1080 일 → 232.5 일 (78.5% 감소).
  • 시니어 등가 노력 (SEE-days): 1080 일 → 139.5 일 (87.1% 감소).
• 품질 및 커버리지 향상:
  • 검증 단계 이슈 부하 (Validation-stage issue load): 100 개 작업당 8.03 개 → 2.09 개 (74.0% 감소).
  • 첫 릴리스 커버리지: 77.0% → 90.5% (13.4%p 증가).
• 단계별 변화 패턴:
  • V1/V2: 분석 및 계획 단계는 단축되었으나, 하류 (구현/검증) 품질이 저하되거나 기존 수준을 유지함.
  • V3/V4: 수용 기준 검증과 저장소 기반 리뷰가 추가되면서 속도가 빨라짐과 동시에 하류 이슈가 급감하고 커버리지가 향상됨.
  • 결론: AI 의 효과는 단순한 코드 생성 가속이 아니라, **워크플로우의 구조화 (오케스트레이션)**가 완료되었을 때 극대화됨.

5. 의의 및 시사점 (Significance)

• AI 평가 패러다임의 전환: 개별 코드 생성 작업이나 저장소 수준의 벤치마크 (SWE-bench 등) 중심의 평가에서 벗어나, 조직 차원의 엔드 - 투 - 엔드 배포 워크플로우를 평가해야 함을 시사합니다.
• 오케스트레이션의 핵심 역할: AI 에이전트가 단순히 '도구'로 존재하는 것 (V1) 과 인간과 협력하여 워크플로우를 조율하는 것 (V4) 사이에는 질적인 차이가 큽니다. 후자의 경우 속도와 품질의 트레이드오프 없이 동시 개선을 달성할 수 있습니다.
• 실무적 함의:
  • AI 도입 시 단순한 코드 생성 도구 도입을 넘어, 요구사항 검증, PR 리뷰, 하이브리드 실행 프로세스를 포함한 시스템적 통합이 필수적입니다.
  • 소프트웨어 생산성 측정은 단일 지표가 아닌, 지속 시간, 품질 (이슈), 커버리지, 모델링된 노력량 등 다차원적으로 접근해야 합니다.
• 제한점 및 주의사항:
  • 단일 조직의 후향적 연구이므로 인과관계 (Causality) 를 직접 증명하지는 못함 (기술적 진화, 학습 효과, 모델 성능 향상 등이 복합적으로 작용).
  • 작업 단위 (Task granularity) 의 변화로 인해 '작업당' 지표의 해석에 주의가 필요함.
  • 사후 배포 (Post-release) 신뢰성 데이터는 포함되지 않음.

결론적으로, 이 연구는 AI 기반 소프트웨어 개발의 최대 효과는 AI 를 '고립된 코딩 어시스턴트'가 아닌 '조율된 배포 워크플로우의 핵심 구성 요소'로 통합할 때 나타난다는 것을 실증적으로 보여줍니다.