기술 요약: PBT-Bench

문제 정의

기존 코드 생성 벤치마크 (예: SWE-Bench, SWT-Bench) 는 주로 에이전트가 알려진 버그에 대한 패치를 생성하거나 특정 버그 보고서를 기반으로 단위 테스트를 작성하는 능력을 평가합니다. 이러한 벤치마크는 속성 기반 테스트 (Property-Based Testing, PBT) 에 필요한 고유한 인지 기술을 분리해 내지 못합니다. 즉, 추상적인 문서에서 의미 불변식 (semantic invariant) 을 도출하고, 무작위 샘플링을 통해 위반을 유발할 수 있는 정밀한 입력 생성 전략 (검색 전략) 을 구축하는 능력입니다.

현재 벤치마크는 종종 수정 사항에 구체적인 단위 테스트가 포함된 채굴된 버그 보고서에 의존하거나, 에이전트가 유한하고 구체적인 테스트 사례를 작성하도록 요구합니다. 이는 일반적인 코딩 능력과 추상적 명세를 보편적 불변식과 프로그래밍적 입력 분포로 변환하는 특정 PBT 기술을 혼동하게 만듭니다. 또한 많은 실제 버그 (예: UI 렌더링, 데이터베이스 상태 의존성) 는 결정론적 트리거나 문서화된 불변식이 부재하여 PBT 테스트가 불가능합니다. 따라서 문서를 읽고, 불변식을 식별하며, 버그의 트리거 영역에 확률 질량을 집중시키는 Hypothesis @given 전략을 명시하는 PBT 워크플로우를 엄격하게 평가하는 큐레이션된 벤치마크가 필요합니다.

방법론

PBT-Bench 벤치마크

저자들은 40 개의 실제 Python 라이브러리(직렬화, 자료구조, 날짜 - 시간, 수치, 타입 시스템, 상태 머신, 파싱 등) 에 걸쳐 100 개의 큐레이션된 속성 기반 테스트 문제로 구성된 PBT-Bench를 소개합니다.

• 버그 주입: 벤치마크는 365 개의 주입된 의미적 버그를 포함합니다. 이러한 버그는 풀 리퀘스트에서 채굴된 것이 아니라 다음 네 가지 엄격한 PBT 테스트 가능성 기준을 충족하도록 신중하게 설계되었습니다:
  1. 의미적 (Semantic): 버그가 문서화된 불변식이나 계약 (예: 왕복 항등성, 교환법칙, 단조성) 을 위반합니다.
  2. 표현력 (Expressivity): 불변식은 파일, 소켓, 시계 등 외부 효과 없이 Hypothesis @given 속성으로 인코딩될 수 있습니다.
  3. 은밀성 (Stealth): 버그는 짧은 수동 검사로는 쉽게 감지되지 않으며, 일반적으로 테스트가 부족한 코드 경로에 존재합니다.
  4. 결정론적 트리거: 버그가 확률 1(또는 특정 상태 시퀀스) 로 나타나는 잘 정의된 입력 영역이 존재하며, 실제 전략 (ground-truth strategy) 은 해당 영역에 질량을 집중시킵니다.
• 난이도 분류: 문제는 세 가지 수준으로 계층화됩니다:
  • L1 (단일 제약): 경계 버그 또는 단일 입력 제약.
  • L2 (다중 제약): 여러 동시 조건 (값 범위, 구조적 제약, 순서) 을 충족해야 함.
  • L3 (교차 함수/프로토콜): API 호출 시퀀스 또는 여러 연산에 걸친 메타모픽 테스트를 요구함.
• 평가 하네스: 벤치마크는 컨테이너화된 버그 발생 시 실패, 수정 시 통과 (Fail-on-Buggy, Pass-on-Fixed, F→P) 하네스를 사용합니다.
  • 에이전트 컨테이너: 버그가 있는 라이브러리, 문서 (유일한 오라클), 그리고 기존 통과 테스트 스위트가 포함되어 있습니다.
  • 평가 컨테이너: 에이전트가 테스트 파일을 작성한 후, 하네스는 각 주입된 버그를 독립적으로 평가합니다. 버그가 있는 버전을 복원하고 테스트를 실행한 뒤, 특정 버그 패치를 되돌리고 다시 실행합니다. 버그가 있는 버전에서 적어도 하나의 테스트 함수가 실패하고 수정된 버전에서 통과하면 버그가 "발견"된 것으로 간주합니다.
  • 점수 매기기: 단일 문제 파일에 여러 버그가 존재하더라도 버그별로 개별적으로 점수를 매겨, 부분적 성공이 전체 점수에 가려지는 것을 방지합니다.

실험 설정

저자들은 OpenHands 에이전트 스케폴드를 사용하여 8 개의 최신 대규모 언어 모델 (LLM)(Claude Sonnet 4.6, DeepSeek V3.2, Gemini 3 Flash, GLM 5.1, Grok 4.1 Fast, Qwen 3.6 Plus, Qwen 3.5-30B-A3B, Step 3.5 Flash 포함) 을 평가했습니다.

각 모델은 세 번의 독립적인 실행을 반복하여 두 가지 프롬프트 체계 하에서 테스트되었습니다:

1. 베이스라인 (개방형): 라이브러리를 이해하고, 미검증 동작을 찾으며, 실패하는 테스트를 작성하라는 지시. PBT, Hypothesis, 또는 @given 에 대한 언급은 없음.
2. PBT (스케폴딩): Hypothesis 프레임워크를 명시적으로 사용하라는 지시. @given 데코레이터와 특정 속성 분류 (Roundtrip, Model-oracle, Invariant, Boundary) 를 요구함.

주요 기여

1. PBT-Bench: 프로그램 라이브러리의 버그 감지를 위해 PBT 를 사용하는 코딩 에이전트의 능력을 평가하는 최초의 벤치마크. 100 개의 문제와 실제 전략 (ground-truth strategies) 이 있는 365 개의 검증된 버그를 특징으로 함.
2. 자동화된 F→P 하네스: 문제별이 아닌 버그별로 점수를 매기는 컨테이너화된 평가 시스템으로, 단일 파일에 여러 테스트를 작성하는 에이전트의 세밀한 평가를 가능하게 함.
3. 대규모 평가: 2 가지 프롬프트 체계에 걸쳐 8 개 모델을 평가하여 4,800 개의 에이전트 궤적을 생성함.
4. 실증적 발견:
   • 스케폴딩 효과: PBT 스케폴딩은 중간 능력 모델 (예: Qwen 3.6 Plus 의 경우 +24.5%) 에게 상당한 이점을 제공하지만, 가장 강력한 모델 (예: Grok 4.1 Fast 의 경우 -8.0%) 에서는 더 작거나 심지어 부정적인 이득을 낳습니다. 이는 스케폴딩이 약한 모델의 부족한 능력을 대체하는 것이지, 강한 모델의 기존 기술을 보완하는 것이 아님을 시사합니다.
   • 모델 특이성: 단일 모델이 가장 어려운 (L2/L3) 버그를 지배하지 않으며, 서로 다른 아키텍처가 서로 다른 문제에서 실패합니다.
   • 앙상블 잠재력: 모든 모델 - 모드 쌍의 합집합은 99.5% 의 버그 재현율 (recall) 을 달성하여, 다양한 모델이 서로 보완하는 상당한 "여유분 (headroom)"이 있음을 나타냅니다. 365 개 버그 중 단 두 개만이 어떤 구성으로도 신뢰할 수 있게 발견되지 않았습니다.

결과

• 버그 재현율: PBT 유도 프롬프트 하에서 버그 재현율은 42.1%(Grok 4.1 Fast) 에서 83.4%(Claude Sonnet 4.6) 까지 다양했습니다. 개방형 베이스라인 하에서는 재현율이 **31.4%**에서 **76.7%**까지 다양했습니다.
• 프롬프트 영향: PBT 와 베이스라인 성능 간의 격차는 베이스라인이 약한 모델에서 가장 컸습니다. 가장 강력한 모델 (Sonnet 4.6) 의 경우 이득은 +6.7 퍼센트 포인트였으며, Qwen 3.5-30B-A3B 와 같은 약한 모델의 경우 이득은 +22.9 퍼센트 포인트였습니다.
• 실패 모드:
  • 베이스라인 실패는 잘못된 어설션 (Incorrect Assertion)(59%) 과 지나치게 구체적인 테스트 (Overly Concrete Tests)(32%) 가 주를 이루었으며, 에이전트가 잘못된 불변식을 목표로 하거나 하드코딩된 입력을 사용했습니다.
  • PBT 실패는 검색 병리 현상으로 이동했는데, 주로 Assume 오용 (Assume Misuse)(31%, 에이전트가 버그를 유발하는 입력을 필터링하는 hypothesis.assume()을 사용함) 과 잘못된 전략 범위 (Wrong Strategy Range)(31%, 입력 분포가 너무 넓거나 좁음) 가 주를 이루었습니다.
• 앙상블 성능: 16 개 모델 - 모드 구성의 "탐욕적 합집합 (greedy union)"은 **99.5%**의 신뢰할 수 있는 재현율에 도달했습니다. 대부분의 한계 이득은 모델 내 모드 보완성 (예: Sonnet PBT + Sonnet 베이스라인) 에서 비롯되었으며, 이는 프롬프트 전략이 동일한 아키텍처 내에서도 다른 테스트 행동을 이끌어냄을 시사합니다.

중요성과 주장

이 논문은 PBT-Bench 가 현재 코딩 에이전트의 중요한 능력 격차, 즉 문서화된 불변식에서 정밀한 무작위 입력 생성 전략으로의 전환을 분리해 낸다고 주장합니다. 결과는 PBT 스케폴딩이 필요한 구조를 제공함으로써 중간 계층 모델의 성능을 효과적으로 향상시킬 수 있지만, 보편적으로 성능을 개선하지는 않으며 오히려 강력한 모델의 검색 전략을 제한할 수도 있음을 시사합니다.

저자들은 PBT 는 지속적인 능력 격차라고 강조합니다. 가장 강력한 현재 모델 (Sonnet 4.6) 조차도 16.6% 의 버그를 신뢰할 수 있게 찾지 못하며, 모든 모델의 앙상블조차 복잡한 상태 시퀀스가 필요한 두 개의 특정 L3 버그 (BIDC-004 bug_3 및 TMLK-005 bug_1) 를 신뢰할 수 있게 찾지 못합니다.

이 논문은 PBT-Bench 가 PBT 가 의도된 도구인 특정 버그 분포에 대한 깊이를 측정함으로써 기존 채굴 벤치마크 (TESTEXPLORA 및 SWT-Bench 등) 를 보완한다고 결론지었습니다. 저자들은 문서 기반 의미 추론에 대한 후속 작업을 지원하기 위해 벤치마크, 하네스, 평가 코퍼스를 공개했습니다. 또한 큐레이션된 버그에서 인구 충실도와 PBT 테스트 가능성 간의 트레이드오프, 영어 문서로 제한된 Python 만 지원한다는 점, 그리고 max_examples=200 검색 예산이 좁은 트리거 버그에 미칠 수 있는 영향 등 한계를 인정했습니다.