기술 요약: 순서가 보증이다: 정적 우선 학습 제안을 통한 검증기 예산 기반 코드 삭제

1. 문제 정의

본 논문은 AI 코딩의 "역문제(inverse problem)"를 다룹니다. 즉, 새로운 코드를 생성하는 것이 아니라, 실행-검증 역량이 유한할 때 AI 시스템이 어떻게 중복된 코드를 제거해야 하는가에 관한 것입니다. 프런티어 모델들은 벤치마크를 통과하는 코드를 생성할 수 있지만, "바이브 코딩(vibe coding)"(반복적인 프롬프팅 및 패칭)은 오래된 로직이 제거되는 속도보다 중복된 분기, 가드(guard), 폴백(fallback)을 축적하는 속도가 더 빠릅니다. 이는 불변성을 가리고 리뷰 표면을 확장시키는 기술 부채를 생성합니다.

저자들은 중복 코드 감소를 유한한 예산 하에서의 제안 스케줄링(proposal scheduling) 문제로 정식화합니다.

• 입입력: 프로그램 $x$와 구문적으로 유효한 단일 문장 AST 삭제 후보 집합 $C(x)$.
• 제약 조건: 결정론적 검증기 $V$(실행 테스트 스위트)는 제한된 수의 후보(예산 $m$)만을 평가할 수 있습니다.
• 목표: 후보들의 순서를 정하여, $V(x \setminus c_j)$를 통과하는 첫 번째 후보 $c_j$를 확정함으로써, 수용된 삭제 건수(커버리지)와 제거된 코드의 양(문자 수 감소)을 극대화합니다.
• 핵심 통찰: 배포 시 제어할 수 있는 변수는 모델의 신뢰도 점수가 아니라, 후보의 순서입니다. 잘못된 삭제는 필수적인 동작을 조용히 제거할 수 있으므로, 실행 스위트가 거부권(veto power)을 유지해야 합니다.

2. 방법론: DelScout

DelScout 시스템은 탐색(후보 제안)과 수용(후보 검증)을 분리합니다. 이 시스템은 두 가지 이종 랭커(heterogeneous rankers)를 채택합니다:

1. 정적 순서(Static Orders): 결정론적이고 파라미터가 없는 전략입니다.
   • 최단 길이 우선(Shortest-first): 스팬 길이, 문자 길이, 위치 순으로 정렬합니다. 미사용 임포트, 할당문 등 구문적 잔재를 처리하는 데 효과적입니다.
   • 제로 레퍼런스(Zero-reference): 파일 내에서 식별자가 가장 적게 등장하는 문장을 선호합니다.
2. 학습된 랭커(Learned Ranker): 검증 결과에 기반하여 삭제가 안전한지 예측하도록 훈련된 시퀀스 분류기입니다. 이는 후보의 노드 유형, 텍스트, 컨텍스트 라인을 포함하는 프롬프트를 사용합니다. 훈련 목표는 독립적인 분류가 아니라, 리스트 앞부분에 검증된 삭제가 위치할 확률 질량을 최적화하는 리스트와이즈(listwise) 방식입니다.

스케줄링 전략

본 논문은 타겟 도메인 검증 데이터의 가용성에 따라 정적 보증과 학습된 탐색 사이의 트레이드오프를 관리하기 위해 두 가지 뚜렷한 스케줄을 제안합니다:

• 검증된 혼합(Validated Mixture) (타겟 검증이 존재하는 경우):

  • 고정된 예산(예: 5개 슬롯)을 할당합니다.
  • 처음 3개 슬롯은 결정론적인 정적 코어($S_3$)에 할당합니다.
  • 나머지 2개 슬롯은 정적 코어에 포함되지 않은 랭킹이 높은 학습된 후보에 할당합니다.
  • 근거: 경험적 검증을 통해 정적 슬롯을 학습된 슬롯으로 교환하여 커버리지를 높이는 것을 허용합니다.

• 접두사 보존 증강(Prefix-Preserving Augmentation) (타겟 검증이 없는 경우):

  • 전체 정적 랭킹(예: 5개 정적 슬롯 전체)을 먼저 평가합니다.
  • 정적 후보가 모두 실패할 경우에만 학습된 후보를 추가합니다.
  • 근거: 이는 학습된 랭킹이 정적 성공 사례를 결코 대체할 수 없도록 보장합니다. 분포 변화(distribution shift)와 관계없이 구조적으로 비감소 커버리지 보증을 제공하지만, 검증 비용이 더 높을 수 있습니다.

3. 주요 기여

1. 정식화: 중복 코드 감소를 유한한 실행-검증 예산 하에서의 제안 스케줄링으로 정의하였으며, 학습된 탐색과 수용 경계를 명확히 분리했습니다.
2. 스케줄링 정책: 타겟 검증된 정적-학습 혼합 정책과 접두사 보존 증강 정책을 도입했습니다. 후자는 모델의 보정된 점수 없이도 후보 순서만을 통해 비감소 커버리지를 보장합니다.
3. 경험적 검증: MBPP 데이터셋에 대해 다양한 모델 규모(0.5B, 0.6B, 8B)로 9번의 반복 실험을 수행했습니다. 이 연구는 특권적 훈련 손실, 예산 회계, 교차 벤치마크 변화 분석, 그리고 더 강력한 검증기(MBPP+, HumanEval+)에 대한 테스트를 포함하여 객관적인 대조군을 포함합니다.

4. 결과

• 고정 예산 이득: MBPP에 대한 9번의 실행 결과, 검증된 혼합 방식은 정적 베이스라인 대비 검증된 삭제 커버리지를 9.5% 상대적으로 개선했으며(평균 6.7개 작업 추가 수용), 검증 호출 횟수는 약간 더 적게 소비했습니다.
• 상보성(Complementarity): 이 이득은 특정 훈련 목표 때문이 아니라 구조적인 것입니다. 정적 제안은 "쉬운" 구문적 후보(예: 미사용 임포트)를 다루는 반면, 학습된 제안은 정적 분석이 인증할 수 없는 컨텍스트 제어 흐름 후보(예: 조건문, 표현식)에 집중하여 다른 차원의 순서를 제공합니다.
• 효율성: 검증된 삭제 건수(천 회 검증 호출당)가 19.5% 증가했습니다(43.9에서 52.5로). 이는 성공적인 제안이 혼합된 스케줄의 앞부분에 나타나 탐색을 더 빨리 종료하기 때문입니다.
• 분포 변화: 학습된 전용 랭킹은 분포 변화(예: MBPP로 훈련 후 DS-1000 및 BigCodeBench-Hard 테스트 시) 하에서 신뢰할 수 없습니다. 그러나 접두사 보존 증강은 이러한 변화된 벤치마크에서도 비감소 커버리지를 복구했으나, 검증 호출 횟수의 정량적인 증가(4.8% ~ 62.5% 오버헤드)를 동반했습니다.
• 더 강력한 검증기: 더 엄격한 인도메인 사양인 MBPP+에 대해 테스트했을 때, 혼합 방식의 이점은 사라졌습니다. 모든 정책이 동일하게 낮은 커버리지(6.47%)로 수렴했습니다. 이는 스케줄링이 탐색을 지배하지만, "동작 보존"의 의미는 테스트 스위트 자체에 의해 결정됨을 보여줍니다.

5. 의의 및 주장

본 논문은 AI 코딩의 다음 프런티어가 단순히 작동하는 프로그램을 생성하는 것이 아니라, 이해 가능하고 최소한의 소프트웨어를 유지하는 것이라고 주장합니다.

• 감사 가능한 역할 분담: 이 시스템은 모델이 제거 가능한 코드를 위한 탐색 범위를 넓히고, 순서가 잘못 랭킹된 제안이 줄 수 있는 피해를 제한하며, 실행이 모든 확정된 삭제에 대한 권한을 보유하도록 하는 명확한 역할 분담을 구축합니다.
• 보증으로서의 순서: 핵심 주장은 모델의 신뢰도가 아니라 후보의 순서가 제어 가능한 변수라는 점입니다. 정적 접두사를 보존함으로써, 시스템은 학습된 모델이 기존의 안전성을 깎아먹지 않으면서도 가치를 더할 수 있도록 보장합니다.
• 한계: 저자들은 이 방법이 벤치마크 프로그램에 의존하며 실제 유지보수 이력에는 기반하지 않았음을 명시하며, 절대적인 커버리지 이득이 완만하다는 점(MBPP에서 약 14%에서 15%로 이동)을 인정합니다. 또한 "검증됨"이 오직 명시된 오라클(oracle)에 의해 검증되었음을 의미하며, 본 시스템이 의미론적 증명을 제공하거나 안전 필수 체크를 대체할 수는 없음을 강조합니다.

요약하자면, DelScout는 결정론적인 정적 분석과 컨텍스트 민감한 학습 제안을 검증 예산 하에서 결합하는 절제된 스케줄링 전략이, 엄격한 안전 보증을 유지하면서도 AI 생성 코드의 기술 부채를 효과적으로 줄일 수 있음을 입증합니다.