기술 요약: AuditRepairBench

문제 정의

본 논문은 에이전트 수리 (agent-repair) 리더보드에서 발생하는 특정 실패 모드를 식별합니다: 평가자 - 채널 순위 불안정성. 벤치마크의 불안정성은 종종 일반적인 평가자 노이즈나 LLM-as-judge 의 신뢰성 부족으로 귀결되지만, 저자들은 에이전트 수리 시스템이 내부적인 후보 수리 선택 과정에서 평가자 유도 신호(예: 판사 근거 토큰, 판정 신뢰도, 재순위화 로짓) 를 참조할 때 리더보드 순서 재배열의 측정 가능한 부분이 발생함을 입증합니다.

평가자 구성이 변경될 때 (예: 판사 모델 또는 집계 규칙 교체), 이러한 특정 평가자 출력에 내부 선택기 로직을 결합한 에이전트들은 상당한 순위 이동을 경험합니다. 이는 일반적인 불안정성과 구별되며, 에이전트의 선택기와 평가자 간의 아키텍처적 결합입니다. 현재 벤치마크와 평가 방법론은 이러한 특정 상호작용 채널을 분리하지 못하므로, 진정한 수리 개선과 평가자 특정 신호 누출의 인공물 (artifact) 을 구별하기 어렵습니다.

방법론

저자들은 이 불안정성을 운영화하고 측정하기 위해 AuditRepairBench를 도입했습니다. 이는 쌍을 이루는 실행 추적 (paired-execution trace) 코퍼스와 모듈형 스크리닝 아키텍처로 구성됩니다.

1. 코퍼스 정의

이 리소스는 다음과 같은 데카르트 곱 (Cartesian product) 입니다:

• 60 개 에이전트 시스템: 5 가지 방법론 계열 (계획 - 실행, 셸 - 도구, 반복적 정제, 자율적 탐색, 다중 에이전트 토론) 에 걸쳐 있음.
• 80 개 작업: 8 가지 작업 계열에서 비롯됨.
• 6 개 평가자 계열: 독점 LLM, 오픈 가중치 LLM, 다양한 집계 규칙을 가진 규칙 기반 평가자 포함.
• 개입 (Interventions): 5 개 등록 개입 계열.
• 규모: 576,000 개 등록 추적 셀, 이 중 96,000 개가 쌍을 이룬 추적로 실행됨. 12,000 개 셀의 "Lite" 부분집합이 주요 저비용 진입점으로 활용됨.

2. 운영 목표 및 지표

핵심 지표는 **셀 단위 플립 함수 (cell-level flip functional, $\hat{q}(x)$)**로, 개입 (평가자 - 선택기 경로 차단) 이 수리 선택의 승자를 변경할 확률을 나타내는 사후 기대값입니다.

• 개입: "블라인딩" 연산자는 최종 평가자와 파이프라인 나머지는 고정된 채 선택기 입력 경계에서 평가자 유도 특성을 0 으로 만듭니다.
• 출력: 시스템이 결합되었는지 (순위 이동 > 임계값), 결합되지 않았는지, 또는 모호한지를 나타내는 집합 값 레이블 ($L(x)$).
• 리더보드: 스크리닝 불확실성을 고려하여 점 추정치 대신 순위 구간을 제공하는 집합 값 리더보드.

3. 모듈형 스크리닝 아키텍처

벤치마크를 단일 학습 모델에 종속시키지 않기 위해, 스크리닝 결정은 4 가지 이질적 구현의 **보정된 로지스틱 스태킹 (calibrated logistic stacking)**을 통해 이루어집니다:

1. 학습된 영향력 프록시: 선택기 상태 임베딩 (어텐션 가중치, 활성화 크기) 을 분석하여 경로 영향을 추정하는 MLP.
2. 규칙 기반 채널 노출 비율: 학습된 모델 없이 선택기 입력으로 들어가는 평가자 유도 토큰의 비율을 계산하는 정적/동적 프로그램 분석 도구.
3. 반사실적 민감도 프록시: Kullback-Leibler 발산과 argmax 플립률을 사용하여 국소 입력 마스킹 효과를 계산.
4. 희소 인간 감사 프록시: 소수의 인간 감사 사례로 훈련된 그래디언트 부스팅 결정 트리가 도달하지 않은 셀로 결정을 전파.

4. 검증 전략

본 논문은 다층 검증 프로토콜을 사용합니다:

• 메커니즘 기반 검증: 경로를 명시적으로 차단하도록 코드가 수정된 80 개의 소스 레벨 "채널 수술" 사례를 이중 감사 판정으로 검증.
• 독립적 발견: 파이프라인 개발자와 분리된 두 명의 주석자 그룹이 블라인드 프로토콜 하에서 결합 패턴을 발견.
• 전방 전이 (Forward Transfer): 일반화 능력을 평가하기 위해 외부 영역 (다른 평가자 계열, 시간적 홀드아웃, 크로스 플랫폼 부분집합) 에서 평가.
• 불확실성 전파: 순위 구간의 95% 커버리지를 보장하기 위해 스크리닝 구현, 모델 시드, 임계값에서 불확실성을 전파하는 계층적 부트스트랩.

주요 결과

1. 탐지 성능

• 수술 부분집합: 80 개의 소스 레벨 수술 사례에서 앙상블 스크리닝은 경로 차단 AUROC 0.96을 달성함.
• 독립적 발견: 새로운 결합 유형 (예: "메모리 - 보상 에코", "판정 엔트로피 누출" 포함) 을 포함한 독립 그룹이 발견한 79 개 사례에서 고정된 앙상블은 집계 AUROC 0.83을 달성함.
• 홀드아웃 카테고리: 공개 코드베이스의 180 개 홀드아웃 결합 카테고리에서 집계 AUROC 는 0.88임.
• 거짓 양성: 앙상블은 승자를 변경하지만 평가자 매개가 아닌 부정적 통제 (interventions) 에 대해 낮은 거짓 양성률 (0.07) 을 유지하며, 단순한 승자 변경 탐지기보다 훨씬 우수한 성능을 보임.

2. 전방 전이 및 안정성

• 스크리닝 점수는 외부 영역으로 약간에서 중간 정도의 전방 전이를 보여주며, 전이 심각도에 따라 집계 Spearman $\rho$는 0.62 에서 0.76 사이로 변동함.
• 신호는 전이가 더 외부로 갈수록 (예: 프로토콜 전이에서 크로스 플랫폼 전이로) 점진적으로 저하되어 범용 예측기가 아닌 범위가 제한된 진단 도구와 일치함.
• 신뢰 보정: 논문은 "후크 완성도 (hook completeness, 관찰 가능성)"에 기반한 계층적 신뢰 수준을 제공함. 후크 완성도 $\ge 0.90$인 시스템의 경우 외부 전이 $\rho$는 0.74에 도달하며, 관찰 가능성이 낮은 경우 0.44로 떨어짐.

3. 실행 가능성 및 수리

• 표적 수리: 스크리닝 유도 블라인딩 패치 (50 줄 미만의 코드) 는 작업 정확도에 거의 영향을 주지 않으면서 순위 이동을 55–74%(평균 62%) 감소시킴.
• 비교: 반면, 일반적인 재학습은 최대 13% 만 감소시키고, 무작위 채널 블라인딩은 최대 7% 만 감소시킴. 범용 채널 블라인딩은 이동을 44% 감소시키지만 작업 정확도 저하 (평균 통과율 -5.1%) 를 초래함.

4. 효율성

• AuditRepairBench-Lite: 12,000 개 셀 부분집합에 대한 규칙 전용 구성은 Kendall $\tau = 0.88$에서 전체 리더보드 순위를 유지하면서 22 GPU 시간(전체 벤치마크의 2,400 시간 대비) 만 필요하며 학습된 모델이 필요 없음.

중요성 및 주장

본 논문은 AuditRepairBench 를 에이전트 성능 순위를 위한 범용 벤치마크가 아니라, 특정 실패 모드를 위한 진단 도구로 위치시킵니다.

• 운영 범위: 이 리소스는 명시적으로 "후크 완성도 (정적 AST 및 동적 오염 커버리지)"가 최소 0.80 인 경우에만 주장을 제한합니다. 잠재적 인과 구성 요소를 복구하거나 메커니즘을 보편적으로 인증한다고 주장하지 않습니다.
• 메커니즘 해석 가능성: 주요 가치는 예측 점수가 아니라 특정 결합 채널 (예: "근거 토큰 읽기") 을 식별하는 능력에 있으며, 이는 일반적인 불안정성 수정으로는 달성할 수 없는 표적적이고 저비용의 수리를 가능하게 합니다.
• 다원적 검증: 이질적 구현과 독립적 발견 프로토콜을 가진 모듈형 아키텍처를 사용함으로써, 벤치마크의 정체성은 단일 학습 모델이 아닌 프로토콜과 사후 확률에 있음을 주장하여 특정 측정 인공물에 대한 과적합 위험을 줄입니다.
• 겸손함: 저자들은 전방 전이 신호가 "약간에서 중간 정도"이며, 이 리소스가 강력한 전향적 유효성을 주장하지 않는다고 명시합니다. 목표는 모든 에이전트 시스템에 대한 결정적 분류기가 아니라, 평가자 - 선택기 결합을 이해하기 위한 안정적이고 감사 가능한 기준을 제공하는 것입니다.

요약하자면, AuditRepairBench 는 에이전트가 평가자 유도 신호에 과도하게 의존함으로써 발생하는 특정 불안정성을 측정, 검증, 수리하기 위한 최초의 운영 프레임워크를 제공하며, 더 견고하고 투명한 에이전트 수리 리더보드로 가는 길을 제시합니다.