1. 문제 제기 (Problem Statement)

대형 언어 모델 (LLM) 이 코딩 에이전트로서 소프트웨어 개발을 가속화할 것이라는 기대와 달리, **AI 가 생성한 코드의 재현성 (Reproducibility)**은 아직 충분히 연구되지 않았습니다.

• 재현성 위기: 기존 AI/ML 연구 분야에서 의존성 누락, 환경 사양 불완전 등으로 인한 재현성 위기가 존재합니다. 이제 LLM 이 전체 프로젝트 (소스 코드, 설정 파일, 의존성 명세) 를 생성할 때, 이 문제들이 악화되거나 전파될 위험이 있습니다.
• 핵심 질문: "LLM 이 생성한 코드를 다른 개발자가 제공된 명세 (OS 패키지 외의 추가 정보 없이) 만으로 깨끗한 환경에서 실행할 수 있는가?"
• 현실: 많은 경우 실행이 실패하거나, 명시된 의존성 외에 숨겨진 종속성이 필요하여 수동 디버깅이 필수적입니다. 이는 과학적 검증과 실제 배포에 치명적인 결함입니다.

2. 연구 방법론 (Methodology)

저자들은 300 개의 프로젝트를 대상으로 체계적인 재현성 연구를 수행했습니다.

• 대상 모델 및 데이터셋:
  • 모델: Claude Code, OpenAI Codex, Gemini Code Assist 등 최신 3 가지 LLM 코딩 에이전트.
  • 프로젝트: 각 모델에 대해 동일한 100 개의 프롬프트를 입력하여 총 300 개의 프로젝트 생성 (Python 120 개, JavaScript 105 개, Java 75 개).
  • 프롬프트: "완전한 재현성 (100% reproducible)"을 명시적으로 요구하는 템플릿 사용.
• 실험 환경:
  • AWS EC2(t2.large) 를 사용하여 Ubuntu 22.04 LTS 기반의 **깨끗한 환경 (Clean Environment)**을 구성.
  • 각 프로젝트 테스트 전후로 환경을 초기화하여 잔여 의존성이 결과에 영향을 주지 않도록 통제.
• 평가 지표: 실행 신뢰도 (Executable Reliability)
  • 수동 개입 (디버깅, 의존성 추가) 없이 제공된 의존성만으로 코드가 성공적으로 실행되는 비율.
• 3 계층 종속성 분석 프레임워크 (Three-Layer Dependency Framework):
  1. Claimed Dependencies (Dc): LLM 이 명시적으로 요구사항 파일 (requirements.txt 등) 에 나열한 의존성.
  2. Working Dependencies (Dw): 실행 시도 후 발견된 누락된 의존성 (ImportError 등) 을 포함하여 실제로 실행 가능한 상태가 되기 위해 필요한 의존성.
  3. Runtime Dependencies (Dr): 실제 실행 시 로드되는 모든 전이적 종속성 (Transitive Dependencies) 을 포함한 전체 종속성 트리.
  • 이를 통해 **완전성 격차 (Completeness Gap)**와 **런타임 승수 (Runtime Multiplier)**를 정량화했습니다.

3. 주요 기여 (Key Contributions)

1. 재현성 중심의 평가 지표 도입: 기존 벤치마크 (HumanEval 등) 가 기능적 정확성만 평가하는 것과 달리, "다른 사람이 재현 가능한가?"를 핵심 지표로 삼은 Executable Reliability를 제안했습니다.
2. 3 계층 종속성 프레임워크: LLM 이 생성한 코드의 의존성 문제를 '명시된 것', '작동하는 것', '실제 런타임'으로 구분하여 분석하는 체계적인 방법론을 제시했습니다.
3. 대규모 실증 연구: 300 개의 실제 프로젝트와 3 가지 주요 프로그래밍 언어, 3 가지 최신 LLM 을 비교 분석하여 AI 코딩 에이전트의 재현성 한계를 최초로 정량화했습니다.

4. 주요 결과 (Key Results)

• 전체 재현성 비율:
  • 300 개 프로젝트 중 **68.3% (205 개)**만이 수동 개입 없이 즉시 실행되었습니다.
  • **31.7%**는 실행에 실패하거나 추가 작업이 필요했습니다.
• 언어별 편차:
  • Python: 89.2% (가장 높음, 단순한 의존성 구조 덕분)
  • JavaScript: 61.9%
  • Java: 44.0% (가장 낮음, 복잡한 Maven/전이적 종속성으로 인한 실패율 높음)
• 에이전트별 특성 (Hidden Specializations):
  • Gemini: Python 에서 100% 성공했으나 Java 에서는 28% 로 극심한 편차를 보임.
  • Claude: Java 에서 80% 성공 (타 모델 대비 압도적 우위) 하며 균형 잡힌 성능을 보임.
  • Codex: Python 에 강점이 있으나 Java 와 JavaScript 에서 상대적으로 낮음.
• 종속성 격차 (Dependency Gaps):
  • 완전성 격차: 실패한 프로젝트 중 10.5% 만이 명시적 의존성 누락 (ImportError) 이었으며, 나머지 52.6% 는 코드 생성 오류 (문법, 논리, 파일 경로 등) 때문이었습니다.
  • 런타임 승수 (Runtime Multiplier): LLM 이 명시한 의존성 수 대비 실제 실행 시 로드된 패키지 수의 비율.
    • 평균 13.5 배 증가.
    • 예: Python 프로젝트에서 LLM 이 3 개를 명시했으나, 실제로는 평균 37 개의 패키지가 로드됨.
    • Java 는 9.5 배, JavaScript 는 1.0 배 (의존성 과다 명시 또는 분석 도구의 한계) 를 보임.
• 오류 유형: 실패한 95 개 프로젝트 중 **52.6%**가 코드 자체의 버그 (문법, 비동기 처리, 파일 구조 등) 였으며, 의존성 누락은 10.5% 에 불과했습니다.

5. 의의 및 시사점 (Significance)

• AI 코딩의 숨겨진 비용: "코드를 생성한다"는 것이 "작동하는 코드를 제공한다"는 것을 의미하지 않음. 실패한 프로젝트당 평균 15 분의 수동 디버깅 시간이 소요되며, 이는 조직 차원에서 막대한 생산성 손실로 이어짐.
• 과학적 재현성 위협: 연구자가 LLM 을 사용하여 생성된 분석 스크립트를 사용할 경우, 명시되지 않은 종속성으로 인해 결과 재현이 불가능해질 수 있음.
• 모델 선택의 중요성: 모든 LLM 이 동일한 성능을 내는 것이 아님. 사용하려는 기술 스택 (예: 엔터프라이즈 Java vs 데이터 과학 Python) 에 따라 적합한 모델을 신중하게 선택해야 함.
• 향후 방향:
  • LLM 은 코드 조각이 아닌 완전한 프로젝트와 전체 종속성 체인을 학습해야 함.
  • 생성된 코드를 깨끗한 환경에서 **자가 테스트 (Self-testing)**하여 재현성 오류를 사전에 발견하는 메커니즘이 필요함.
  • 벤치마크는 기능적 정확성뿐만 아니라 **실행 가능성 (Executable Reliability)**을 평가해야 함.

결론적으로, 현재 LLM 기반 코딩 에이전트는 문법적으로 올바른 코드를 생성할 수는 있으나, 실행을 위한 완전한 환경 (종속성 포함) 을 제공하지 못해 재현성 위기를 초래하고 있습니다. 이는 단순한 편의성 문제를 넘어 소프트웨어 개발의 신뢰성과 과학적 엄격성을 위협하는 근본적인 문제입니다.