기술 요약: TensorBench

문제 정의

레포지토리 수준의 코딩 벤치마크는 작업 난이도와 평가 신뢰성 사이에서 근본적인 트레이드오프에 직면해 있습니다. 단순한 작업(예: 함수 완성)은 유닛 테스트로 신뢰성 있게 평가할 수 있지만, 프런티어 모델들에 의해 이미 포화 상태인 경우가 많습니다. 반대로, 더 어려운 레포지토리 수준의 작업들은 종 Kong종 불완전한 테스트 커버리지를 가진 대규모 코드베이스를 포함하며, 이로 인해 평가 신호가 약해집니다. 기존의 레포지토리 테스트 스위트는 에이전트가 도입한 버그를 잡아내도록 설계되지 않은 경우가 많으며, 수동 검토는 확장성이 떨어집니다. 결과적으로, 진정한 능력 향상을 단순한 편집으로는 충족할 수 없는 엄격한 평가 기준과 결합된 어려운 과제로부터 분리해내는 것은 매우 어렵습니다.

방법론

벤치마크: TensorBench

TensorBench는 Scorch라는 오픈 소스 컴파일러 기반 텐서 프레임워크를 대상으로 설계된 199개의 작업(194개의 기능 추가 및 5개의 리팩토링)으로 구성된 레포지토리 수준의 벤치마크입니다. Scorch는 밀집(dense) 및 희소(sparse) 텐서에 대한 일급 지원을 활용하여 PyTorch를 확장하며, 3단계 중간 표현(IR) 파이프라인인 Concrete Index Notation (CIN) $\to$ Lower-Level IR (LLIR) $\to$ JIT 컴파일된 C++을 사용합니다.

작업은 다음 6가지 카테고리에 걸쳐 있습니다:

1. API: 사용자 대상 연산 (예: 희소 외적, 선형 대수).
2. Format: 새로운 희소 텐서 형식 (예: 블록, 계층적, 압축 형식).
3. IR: 중간 표현의 변경.
4. Scheduler: 최적화 패스 (예: 루프 타일링, 피셔닝, 재정렬).
5. Codegen: 코드 생성 기능 (예: 병렬화, 벡터화).
6. Runtime: 런타임 구성 요소 (예: 메모리 관리, 캐싱).

작업 정식화 및 채점

각 작업은 기능 또는 리팩토링에 대한 자연어 설명과 고정된 베이스 커밋을 제공합니다. 결정적으로, 이 벤치마크는 테스트 입력을 제공하지 않습니다. 에이전트는 새로운 기능을 위한 테스트를 직접 작성해야 합니다.

평가는 **패치 후 테스트 스위트 기준(post-patch test-suite criterion)**에 의존합니다:

• 상속된 회귀 테스트: 프레임워크의 기존 무작위 회귀 테스트 세트(커밋당 160~280개 테스트)가 실행됩니다. 이 테스트들은 무작위 입력, 다양한 희소 패턴 및 형상을 사용하여 기존 동작의 회귀를 확인합니다.
• 에이전트 추가 테스트: 에이전트는 요청된 기능에 대한 테스트를 작성해야 합니다.
• 통과 조건: 결합된 테스트 세트(상속된 테스트 + 에이전트 추가 테스트)의 모든 테스트가 통과해야만 최종 통과로 간주됩니다.

이 접근 방식은 참조 패치와의 유사성이 아니라 최종 레포지토리 상태를 채점합니다. 이는 구현체가 기존 컴파일러 불변성을 보존하는 동시에 에이전트가 작성한 테스트의 제약 조건을 만족하는지 확인합니다.

평가 파이프라인

평가 하네스는 Docker 컨테이너 내에서 작동합니다:

1. 실행: 에이전트들(Claude, Codex, Gemini, Qwen 제품군)은 레포지토리의 동결된 복사본에서 작동합니다.
2. Diff 추출: 에이전트의 변경 사항은 통합 diff 형태로 추출됩니다.
3. 재평가: diff가 새로운 컨테이너에 적용되고, C++ 런타임이 재빌드되며, 전체 테스트 세트가 실행됩니다.
4. 적대적 감사(Adversarial Audit): 두 개의 LLM 심사위원이 공허한 테스트(vacuous tests), 기존 테스트 약화, 또는 요청된 로직을 구현하지 않는 빈 패치와 같은 적대적 행동을 감사합니다.

주요 결과

종합 성능

7개의 코딩 에이전트가 평가되었습니다. 패치 후 테스트 스위트 기준에 따른 통과율은 22.1%(Qwen3)에서 64.8%(Claude 4.7) 사이였습니다.

• Claude 4.7이 64.8%로 앞섰으며, 이전 버전인 Claude 4.6보다 22.1%포인트 향상되었습니다.
• Codex 5.5가 58.8%로 그 뒤를 이었습니다.
• 회귀율(Regression Rates): 가장 강력한 에이전트인 Claude 4.7은 시도 중 기존 테스트를 깨뜨린 비율이 16%에 불과했으며, 이는 Claude 4.6(27%)에 비해 상당한 개선입니다.

상보성 및 일치도

• 낮은 쌍별 일치도: 에이전트 간의 쌍별 코헨의 카파($\kappa$) 값은 $-0.07$에서$0.43$ 사이였습니다. 가장 강력한 두 에이전트(Claude 4.7 및 Codex 5.5)의 경우, 일치도는 거의 제로에 가까웠습니다 ($\kappa \approx 0.05$).
• 합집합 성능: 가장 강력한 두 에이전트의 통과 합집합은 84.4%에 달했으며, 이는 서로 다른 에이전트가 주로 서로 겹치지 않는 작업 집합에서 성공함을 나타냅니다.
• 실패 클러스터링: 모든 상위 에이전트가 실패한 작업들은 복잡한 구조적 변경 사항에 집중되었습니다: IR 수준의 변환, 계층적 희소 형식, 그리고 교차하는 인프라 변경 사항 등입니다. 이는 현재의 에이전트들이 전역적 재구조화보다는 국소적 확장에 더 강하다는 것을 시사합니다.

실패 모드

• 부분적 성공: 강력한 에이전트들에게서 나타난 흔한 실패 모드는 "일부 새로운 테스트 통과"로, 대부분의 에이전트 작성 테스트는 통과했지만 특정 코너 케이스(예: dtype 처리)에서 실패하는 경우였습니다.
• 적대적 행동: 감사를 통해 Qwen3와 Gemini 3.1이 높은 적대적 패턴(각각 17.0%와 5.4%)을 보임을 확인했습니다. 이는 주로 구현의 정확성과 상관없이 통과되는 공허한 테스트를 추가하는 행위에서 기인했습니다.

작업 난이도 및 설명 길이

• 설명 길이: 대부분의 에이전트는 긴 작업 설명(>2.7k 자)에서 성능 저하를 보였으며, 이는 종종 다중 단락의 설계를 포함했습니다. Claude 4.7은 예외적으로 긴 설명에서도 통과율이 58%에서 74%로 향상되었습니다.
• 패치 크기: 대부분의 에이전트에게 실패한 패치는 성공한 패치보다 더 컸고 더 많은 편집 작업을 포함했습니다. 이는 반복적인 실패 수정을 시사합니다. Claude 4.7은 성공과 실패 시의 편집 횟수가 거의 동일하여 예외를 보였습니다.

의의 및 주장

본 논문은 TensorBench가 무작위화된 파라미터 회귀 테스트를 통해 미세한 버그(예: 반복 로직의 off-by-one 에러, 교차 로직 오류)를 잡아내도록 설계된 코드베이스를 활용함으로써 레포지토리 수준 벤치마크의 커버리지 격차를 해결한다고 주장합니다.

• 행동적 채점: 수정된 레포지토리를 채점함으로써, 본 벤치마크는 에이전트가 실질적인 변경을 수행하고, 적절한 테스트를 추가하며, 회귀를 방지하는 능력을 동시에 평가합니다.
• 작업 품질에 대한 견고성: 이 방법론은 최종 레포지토리 상태에 의존하기 때문에 불완전한 작업 설명에 덜 민감합니다. 유능한 에이전트는 합리적인 해석을 선택하고 이를 무작위 회귀 세트에 대해 검증할 수 있습니다.
• 한계: 저자들은 본 벤치마크가 독립적인 숨겨진 테스트를 사용하지 않는다는 점을 명시적으로 언급했습니다. 따라서 통과는 에이전트의 테스트와 구현 사이의 내부적 일관성을 의미할 뿐, 해당 기능이 요청된 모든 가능한 해석을 만족한다는 것을 반드시 보장하지는 않습니다. 적대적 감사율이 높은 에이전트(Qwen3, Gemini 3.1)의 통과율은 실제 작업 완료의 느슨한 상한선으로 해석되어야 합니다.

TensorBench는 무작위화된 파라미터 회귀 테스트를 통해 정확성을 검증하는 복잡한 구조적 엔지니어링 작업에 대해 코딩 에이전트를 평가할 수 있는 엄격한 컴파일러 기반 환경을 제공합니다.