기술 요약: 추가하는 것은 기계의 일이고, 삭제하는 것은 인간의 일이다

문제 정의

대규모 언어 모델(LLM)이 문제를 해결하고 풀 리퀘스트(PR)를 생성할 수 있는 코딩 에이전트로서 점점 더 많은 기능을 수행하고 있지만, 이들이 생성한 패치가 코드 유지보수성을 저하시킨다는 증거가 나타나고 있다. 본 연구에서 식별된 구체적이고 체계적인 실패 모드는 **삭제 회피(deletion avoidance)**이다. 이는 모델이 의도된 편집 과정에서 제거해야 할 코드를 그대로 유지하려는 경향을 의미한다. 모델은 감산적 편집(subtractive edit)을 수행하는 대신, 쓸모없어진 로직을 보존하고 조건부 가드(guard)나 폴백(fallback)을 사용하여 실행 경로를 우회한다. **가드 앤 고(Guard-and-Go)**라고 명명된 이 동작은 기존 테스트 스위트(코드 제거 여부를 거의 검증하지 않음)를 통과하게 만들면서도, 코드베이스를 비대하게 만들고 유지보수를 어렵게 만든다. 본 논문은 현재의 평가 벤치마크인 SWE-bench Verified가 이러한 비제거 전략에 대해 페널티를 부여하지 못함으로써, 모델의 프로덕션 준비도를 과장하고 있다고 주장한다.

방법론

본 연구는 기존 벤치마크에 대한 경험적 분석, 특화된 진단 벤치마크 구축, 그리고 통제된 사후 학습(post-training) 개입을 결합한 다각적인 접근 방식을 채택한다.

1. SWE-bench Verified의 경험적 분석

저자들은 에이전트 변동성을 제어하기 위해 일관된 OpenHands 스캐폴드를 사용하여 SWE-bench Verified 리더보드의 상위 5개 제출물(GLM-4.6, GPT-5, Kimi-K2, Opus-4.5, Salesforce SAGE)을 분석했다.

• 지표: 개발자 패치와 모델 패치를 비교하여 삭제된 라인의 비율을 측정함으로써 삭제 재현율(deletion recall)을 계산했다.
• 로컬라이제이션 체크: 파일, 범위(함수/클래스/모듈), 정확한 라인 수정 여부를 확인하여 코드를 찾지 못한 것(로컬라이제이션 오류)과 제거하지 못한 것(실행 오류)을 구분했다.
• 전략 분류: LLM 기반 분류기를 사용하여 통과된 패치를 "삭제 및 교체(Delete-and-Replace)", "가드 앤 고(Guard-and-Go, 가드를 사용하여 로직 유지)", 또는 "비참조 대안(Non-reference alternative)"으로 분류했다.

2. 삭제 민감형 리트로핏(Deletion-Sensitive Retrofitting)

통과된 테스트가 실제로 코드 제거를 검증하는지 확인하기 위해, 저자들은 SWE-bench Verified의 34개 삭제 중심 태스크에 새로운 FAIL_TO_PASS (F2P) 테스트를 리트로핏했다. 이 테스트들은 대상 코드가 파일에 남아 있을 경우 명시적으로 실패하도록 설계되어, 제거 요구 사항을 다른 행동 사양으로부터 격리한다.

3. CanItDelete 벤치마크

로컬라이제이션의 난이도나 추가적 코드 필요성과 같은 혼란 변수를 분리하기 위해, 저자들은 CanItDelete를 큐레이션했다.

• 구축: 전체 편집 내용이 '삭제'뿐인(추가 없음) 실제 커밋에서 200개의 태스크를 추출했다. 태스크는 구조적 복잡도(편집 전 크기, 삭제된 라인, 삭제 헌크)에 따라 순위가 매겨진 상위 100개의 스타가 찍힌 Python 및 JavaScript 저장소에서 선정되었다.
• 평가: 대상이 완전히 부재하는지, 관련 없는 구조가 보존되는지, 행동에 영향을 미치는 추가 사항이 도입되지 않았는지를 기준으로 출력값을 점수화하는 결정론적이고 발생 인지적인 평가기를 사용한다.
• 진단 사다리: 실패 지점을 진단하기 위해 네 가지 누적 모드를 활용한다:
  1. Vanilla: 표준 개발자 스타일의 요청.
  2. Explicit Deletion: 가드나 폴백을 금지하는 명시적 명령.
  3. Region Pointer: 관련 함수/영역을 식별.
  4. Exact Lines: 제거할 정확한 범위를 제공.

4. 사후 학습 개입 (개념 증명)

7B 파라미터 모델에 삭제 중심의 사후 학습 혼합물을 증강했다.

• 데이터: 12,821개의 삭제 예시(파일 수준 10,000개, 저장소 수준 2,821개)를 학습 세트에 추가했다. 이 예시들은 15.9B 토큰 혼합물 중 약 0.7%를 차지하는 112.1M 토큰을 구성했다.
• 평형: 타겟 개선 및 잠재적 퇴보를 측정하기 위해 CanItDelete, SWE-bench Verified, CanItEdit, EditBench에서 모델을 테스트했다.

주요 결과

1. 삭제 회피의 보편성

• 낮은 재현율: 5개 모델이 모두 해결한 197개 태스크에서도 삭제 재현율은 65.2%에서 71.7% 사이였다. 모델들은 필수 삭제 내용의 28.3%~34.8%를 남겨두었다.
• 로컬라이제이션 vs 실행: 모델들은 삭제 대상 파일의 92% 이상을 성공적으로 찾았고 포함된 범위(scope)의 약 70%를 찾았으나, 정확한 라인을 제거한 경우는 44.6%~51.6%에 불에 불과했다. 이 격차는 주로 실행 실패에서 기인하며, 로컬라이제이션 실패가 아니다.
• 가드 앤 고의 지배력: 분석된 1,703개의 통과된 태스크-모델 쌍 중 494개(29.0%)가 가드 앤 고 패턴을 따랐다. 이는 모델이 개발자가 제거한 로직을 유지하면서 조건부 우회 코드를 추가한 경우이다. 이러한 패치는 평균적으로 개발자의 패치보다 61.1% 더 컸다.

2. 평가 격차

34개의 삭제 중심 태스크를 삭제 민감형 체크로 재평가했을 때:

• 4개의 프런티어 모델의 해결률이 63.2%에서 41.9%로 하락했다 (21.3 퍼센트 포인트 감소).
• 원래의 테스트 스위트를 통과한 패치의 33.7%가 검증된 삭제 대상을 그대로 유지하고 있었다.

3. CanItDelete 결과

• 성능 편차: 200개의 삭제 전용 태스크에서 성공률은 Claude Opus 4.8의 79.0%부터 소규모 오픈 모델의 18.0%까지 다양했다.
• 실패 모드: 모델 전반에 걸쳐 불완전한 삭제(필요한 코드를 남겨둠)가 실패 원인의 69.8%를 차지했다. 그러나 모델이 타겟을 찾는 능력이 향려됨에 따라 두 번째 실패 모드인 과잉 삭제(over-deletion)(대상 범위를 벗어난 코드 삭제)가 나타났다.
• 가이드의 영향: 정확한 삭제 범위(Exact lines 모드)를 제공하면 5개 모델 중 4개에서 불완전한 삭제가 거의 사라졌으나, 과잉 삭제 문제는 해결되지 않았다. 예를 들어, GPT-5.6 Sol의 성공률은 80.5%로 상승했지만, 여전히 16.5%의 태스크에서 지정된 범위를 넘어 삭제함으로써 실패했다. 이는 모델이 코드를 찾는 능력의 문제가 아니라, 삭제 경계에 대한 제어(control) 능력이 부족함을 시사한다.

4. 사후 학습 개입

7B 모델의 사후 학습 혼합물에 삭제 감독(supervision)을 추가한 결과:

• CanItDelete에서의 불완전한 삭제를 13.9 퍼센트 포인트 감소시켰다 (실패율 80.4%에서 66.5%로).
• SWE-bench Verified를 5.3 포인트, CanItEdit를 1.4 포인트 개선했다.
• 다른 벤치마크에서 유의미한 퇴보를 일으키지 않았다.
• 트레이드오프: 이 개입은 과잉 삭제(유효하지 않은 편집을 동반한 완전한 삭제) 비율을 높였다. 이는 모델이 삭제하는 법은 배웠지만, 어디서 멈춰야 하는지는 여전히 어려워하고 있음을 시사한다.

의의 및 주장

본 논문은 삭제 회피가 현재 LLM의 본질적인 한계라기보다는 체계적이고 덜 학습된 행동이라고 주장한다. 저자들의 주장은 다음과 같다:

1. 현재 벤치마크의 불충분함: 표준 테스트 통과 지표는 "가드 앤 고" 패턴을 은폐하여, 모델의 코드 유지보수 준비도를 과대평가하게 만든다.
2. 제어가 핵심 병목: 모델은 삭제할 코드를 찾는 능력은 갖추고 있으나, 과도한 편집 없이 정밀하고 제한된 삭제를 실행하는 제어 능력이 부족하다.
3. 삭제는 학습 가능하다: 개념 증명 단계의 개입은 타겟팅된 사후 학습이 삭제 회피를 줄이고 광범위한 코드 편집 성능을 향상시킬 수 있음을 보여준다. 이는 결핍이 모델 아키텍처의 문제가 아니라 데이터 표현(학습 데이터의 가산적 편향) 때문임을 시사한다.

저자들은 본 개입이 단일 7B 모델에 대해 테스트되었으며, "과잉 삭제"라는 트레이드오프는 삭제 완료와 경계 제어가 서로 다른 학습 목표이며 이를 대규모에서 동시에 해결하기 위해서는 추가 연구가 필요함을 나타낸다는 점을 언급하며 신중한 태도를 유지했다.