Capability Sheaves for Compositional Agent-Harness Repair: Controlled Quotients and a Real-Repository Stress Test

기술 요약: 구성적 에이전트 하네스 수리를 위한 능력 층(Capability Sheaves)

문제 정의
언어 모델 에이전트는 지침, 검색, 라우팅, 상태 관리, 출처(provenance), 검증의 조합인 "하네스(harnesses)"에 의존합니다. 결정적인 실패 모드는 개별 서브시스템이 국소적으로는 유능해 보일지라도(각자가 특정 작업을 수행할 수 있음), 전역적으로 일관된 실행으로 결합되지 못할 때 발생합니다. 예를 들어, 로컬라이제이션 모듈은 파일을 식별하고, 컨트랙트 모듈은 API 리비전을 식별하며, 검증기가 테스트를 선택할 수 있지만, 이 컴포넌트들이 서로 호환되지 않는 파일, 리비전 또는 커밋을 참조하는 경우가 있습니다. 현재의 최적화 방법들은 완전한 후보군을 스칼라 점수로 순위를 매기는 데 집중하지만, 이러한 "국소-전역(local-to-global)" 결합 실패를 진단하거나 수리하는 메커니즘은 부족합니다.

방법론
본 논문은 에이전트 하네스를 **유한 능력 층(finite capability sheaves)**으로 모델링할 것을 제안합니다.

• 층 구성(Sheaf Construction): 에이전트의 요구사항(Localization, Contract, Ordering, Preservation, Verification)을 유한 인시던스 그래프(incidence graph)의 정점으로 모델링합니다. 각 정점은 타입이 지정된 행동 시그니처(예: 파일 경로, API 리비전)의 "스톡(stalk)"을 보유합니다. 중첩(overlaps)은 공유 필드를 나타내며, 제한 사상(restriction maps)은 국소 시그니처를 이러한 중첩 영역으로 투영합니다.
• 정확한 CSP (Constraint Satisfaction Problem): 후보 하네스는 모든 국소 시그니처가 유효한 집합 내에 존재하고 모든 중첩에서 일치하는 "전역 섹션(global section)"을 형성할 때만 수용됩니다. 이는 정확한 유한 CSP로 공식화되며, 의미론적 결정 규칙 역할을 합니다.
• 코호몰로지 진단(Cohomological Diagnostics): 본 논문은 셀룰러 층(cellular sheaf)으로부터 유도된 선형화된 상대 코호몰로지 클래스($H^1(X, A; F)$)를 도입합니다. 이 클래스는 진단 도구로 작용합니다: 0이 아닌 클래스는 공유 상태의 불일치("결합 장애물")를 나타내고, 0인 클래스는 호환성을 나타냅니다.
• 숨겨진 상태 몫공간(Hidden-State Quotient): 불변성을 테스트하기 위해, 저자는 공적 요구사항 정점들 사이에 "숨겨진 내부 매개체(hidden interior mediators)"를 도입합니다. 저자는 이러한 숨겨진 상태(불필요한 변수, nuisance variables)의 영향을 소거하는 몫공간(quotient space)을 정의하며, 이를 통해 오래되거나 정렬되지 않은 내부 표현에 불변하는 랭킹 메트릭을 만드는 것을 목표로 합니다.

주요 기여

1. 형식적 프레임워크: 타입이 지정된 스톡과 리터럴 필드 투영을 가진 유한 능력 층을 구축하여, 국소적 존재성과 전역적 결합을 분리했습니다.
2. 이론적 보장: 정확한 결합 조건과 스펙트럼 안정성을 증명했습니다. 논문은 0이 아닌 코호몰로지 클래스가 해의 부재를 인증하지만, 0인 클래스가 존재를 보장하지는 않는다(정확한 CSP 체크가 필요함)는 점을 확립했습니다.

• 제어된 실험: 숨겨진 매개체가 포함된 20개의 태스크 클러스터를 대상으로 불변성 메커니즘을 테스트했습니다.

3. 실제 환경 스트레스 테스트: SWE-bench Multilingual 풀(PatchFuse/FuseBench)의 디스커버리 스플릿(discovery split)을 활용하여 20개 저장소의 160개 이슈와 875개 후보 패치를 대상으로 평가를 수행했습니다.

결과

• 제어된 숨겨진 상태 실험:

  • 불변성: "오래된" 숨겨진 매개체가 도입되었을 때, 원시 half-edge 점수는 변동했으나, 몫공간 랭킹(quotient ranking)은 고정되어 있었습니다.
  • 예산 절감: 몫공간 정책은 모든 20개 클러스터에서 raw-score 정책에 비해 후보 평가 예산을 2.0에서 1.0으로 줄였습니다 ($p \approx 9.5 \times 10^{-7}$).
  • 어블레이션(Ablation): 숨겨진 상태가 엔드포인트와 "정렬"되었을 때, raw score는 quotient와 동일하게 잘 작동했습니다. 이는 이점이 코호몰로지 레이블 자체가 아니라 불필요한 대표값(nuisance representatives)을 처리하는 데서 온다는 것을 확인시켜 줍니다.
  • 정확한 CSP와의 등가성: 몫공간 정책은 정확한 CSP 솔버와 동일하게 작동했습니다. 이는 몫공간이 이 특정 클래스의 문제에 대해 유효한 진단 도구임을 보여주지만, 정확한 추론을 능가하지는 못함을 입증합니다.

• 실제 저장소 스트레스 테스트 (SWE-bench):

  • 식별 실패: "full-pool" 구성을 사용했을 때 모든 후보 패치에 대해 일정한 코호몰로지 클래스가 나타났으며, 이로 인해 서로 다른 솔루션을 랭킹 매길 수 없었습니다.
  • 교정된 구성: 각 후보의 특정 원자(atoms)로 복합체를 제한하는 후보 인덱스 기반 수리(candidate-indexed repair)는 비자명하고 변화하는 점수를 생성했습니다.
  • 성능: 교정된 몫공간 선택기는 160개 이슈 중 118개를 해결하여, 매칭된 비코호몰로지 선택기(116/160)를 약간 상회했습니다. 그러나 저장소 전체에 걸쳐 이 차이는 통계적으로 유의미하지 않았습니다 ($p=0.75$).
  • 중단 게이트(Abstention Gate): 몫공간을 사용하는 leave-one-repository-out 게이트는 127/160에 도달하여 강력한 앵커 선택기와 동등한 수준을 기록했으나, 이를 유의미하게 넘어서지는 못했습니다 ($p=1.0$).
  • 결론: 이 방법은 개발 게이트(특정 이슈 개선 및 저장소 수준의 유의성 요구)를 통과하는 데 실패했습니다. 결과적으로 21개 저장소의 확증 스플릿(confirmatory split)은 여전히 봉인된 상태로 남았습니다.

의의 및 주장
본 논문은 일반적인 돌파구를 제시하기보다 이 방법의 **경계(boundary)**를 정의하는 데 초점을 맞추고 있다고 겸허히 주장합니다:

1. 불변성 메커니즘: 제어된 환경에서 숨겨진 상태의 불필요한 변수를 몫공간화하는 것이 에이전트 하네스 실패에 대한 견고하고 불변하는 진단 도구를 제공함을 성공적으로 입증했습니다.
2. 실제적 이점 부재: 이 방법은 실제 세계의 패치 퓨전(patch fusion)에서 매칭된 의미론적 증거 또는 정확한 솔버에 비해 코호몰로지적 우위를 입증하지 못했습니다. "전역 섹션" 요구사항이 결정적인 통제 요소로 남아 있습니다.
3. 진단적 유용성: 선형화된 코호몰로지는 유용한 탐색 점수이자 진단 도구(어디에서 결합이 실패하는지 식별)로 기능하지만, 솔루션을 확정하기 위해 필요한 정확한 CSP나 실행 검증을 대체할 수는 없습니다.

저자는 구조적 관찰 채널은 유효하지만, 현재의 의무-및-리스크 복합체(obligation-and-risk complexes) 구성은 기존의 강력한 앵커들을 넘어 실제 에이전트 수리 성능을 개선하기에는 너무 약하다고 결론지었습니다. 향후 연구에서는 단순한 글로벌 클래스를 이슈에 부착하는 것이 아니라, 편집(edit)을 가로질러 결합할 수 있는 의미론적 인터페이스를 인코딩하는 더 강력한 구성이 필요할 것입니다.