기술 요약: TrajAudit

문제 정의

대형 언어 모델 (LLM) 을 기반으로 한 에이전트 코딩 시스템이 버그 수정 및 기능 개발과 같은 리포지토리 수준의 소프트웨어 유지보수 작업에 점점 더 많이 배포되고 있습니다. 단순한 단일 파일 수정에서는 효과적이지만, 이러한 에이전트들은 장기적 추론이 필요한 복잡한 다중 파일 시나리오에서는 종종 실패합니다. 이러한 실패가 어디서 그리고 왜 발생하는지 이해하는 것은 반복적 개선과 운영 신뢰성에 필수적입니다.

기존의 자동화된 실패 진단 방법은 리포지토리 수준의 코딩 궤적에 적용될 때 두 가지 주요 난관에 직면합니다:

1. 관측 노이즈: 실행 궤적에는 중복된 프로그램 구조와 verbose 한 코드 컨텍스트 (종종 궤적의 70% 이상을 차지함) 와 같은 관련 없는 정보가 가득 차 있습니다. 이러한 노이즈는 LLM 의 추론 능력을 방해합니다.
2. 과도한 길이: 복잡한 작업에 대한 궤적은 종종 20 에서 100 단계 이상에 걸쳐 있으며, 각 단계에는 수천 자의 내용이 포함됩니다. 최첨단 LLM 은 이러한 긴 컨텍스트를 처리할 때 추론 품질을 유지하는 데 어려움을 겪어 진단 성능이 크게 저하됩니다 (장기 작업에서 정확도가 40% 미만으로 떨어짐).

현재 접근 방식은 일반적으로 전체 궤적이나 고정된 세그먼트를 수동으로 소비하며 모든 단계를 동등하게 관련 있다고 간주합니다. 이는 노이즈가 많고 장기적인 환경에서의 에이전트 실패의 고유한 특성을 해결하지 못합니다.

방법론: TrajAudit

이러한 난관을 해결하기 위해 저자들은 리포지토리 수준의 코딩 궤적을 위해 특별히 설계된 최초의 자동화된 실패 진단 프레임워크인 TrajAudit를 제안합니다. TrajAudit 는 긴 노이즈가 많은 궤적에서 관련 있는 조각을 능동적으로 탐색하고 가져오기 위해 두 가지 시너지 모듈을 지원하는 **조사자 에이전트 (Investigator Agent)**를 활용합니다.

핵심 구성 요소

1. 사전 실패 추론 모듈 (Prior Failure Reasoning Module):

   • 기능: 에이전트가 전체 궤적을 처리하기 전에 예비 진단을 생성합니다.
   • 메커니즘: 실패한 테스트 코드와 해당 오류 설명을 분석하여 실패를 일으킨 가장 의심스러운 영역 (예: "탐색" 또는 "코드 구현"과 같은 특정 단계) 을 식별하도록 LLM 을 프롬프트합니다.
   • 목표: 이 예비 진단은 사전 지식으로 작용하여 조사자 에이전트의 초점을 가장 가능성 있는 실패 세그먼트로 유도하고, 긴 컨텍스트로 인한 저하를 완화합니다.

2. 시맨틱 중요도 접기 모듈 (Semantic Saliency Folding Module):

   • 기능: 궤적 관측치를 선택적으로 압축하여 노이즈를 줄입니다.
   • 메커니즘: 패턴 매칭 (예: --- a 및 +++ b와 같은 코드 패치 헤더 감지) 과 키워드 감지 (예: "예외", "실패", "오류") 를 통해 실패 관련 컨텍스트를 식별합니다.
   • 동작: 이러한 신호를 포함하는 관측치는 보존됩니다. 관련 없는 관측치 (예: verbose 한 파일 생성 로그, 디렉토리 트리) 는 단일 토큰 플레이스홀더로 "접혀" 실제 필요 시 전체 콘텐츠를 검색할 수 있는 능력을 유지하면서 노이즈를 효과적으로 제거합니다.

3. 조사자 에이전트 (Investigator Agent):

   • 기능: 진단의 중앙 허브 역할을 합니다.
   • 메커니즘: 예비 진단과 접힌 궤적을 수신합니다. 현재 컨텍스트가 국소화에 충분한지 동적으로 평가합니다. 충분하지 않다면, 필요에 따라 특정 접힌 관측치의 전체 콘텐츠를 검색하기 위해 API 를 반복적으로 호출합니다.
   • 전략: 이는 상향식 진단 접근 방식을 가능하게 하여, 고수준 개요로 시작하여 필요할 때만 세부 사항으로 선택적으로 파고들도록 하여 중요한 정보는 보존하면서 노이즈를 최소화합니다.

주요 기여

이 논문은 세 가지 주요 기여를 소개합니다:

1. 프레임워크: 에이전트 코딩 궤적에 대한 "최초의 결정적 오류 단계" (잘못된 행동이 작업 실패로 이어지는 첫 번째 단계) 를 국소화하고 진단 근거를 제공하는 자동화된 프레임워크인 TrajAudit.
2. 벤치마크 (RootSE): 에이전트 프로그래밍에서의 실패 진단을 평가하기 위해 최초로 고안된 벤치마크.
   • 규모: 실제 세계 소프트웨어 유지보수 작업 (SWE-bench 및 SWE-bench Pro) 에서 수집된 93 개의 복잡한 실패 사례로 구성됨.
   • 복잡성: 4,500 개 이상의 실행 단계와 약 2,700 만 자를 포함하며, 현재까지 가장 복잡한 궤적 진단 벤치마크를 대표함.
   • 주석: 최전선 결정적 오류 단계에 대한 실제 레이블과 텍스트적 근거를 포함하며, 전문가들에 의해 큐레이션되어 상당한 평가자 간 일치 (Cohen's Kappa = 0.78) 를 보임.
3. 평가: RootSE 에서 기존 베이스라인에 대한 TrajAudit 의 포괄적인 평가로, 국소화 정확도와 토큰 효율성에서 상당한 개선을 입증함.

실험 결과

실험은 다양한 백본 LLM(Claude-Sonnet, GPT-5.2, DeepSeek-R1) 을 사용하여 RootSE 벤치마크에서 수행되었으며, Random Attribution, All-at-Once, Step-by-Step, Binary Search 를 포함한 베이스라인과 비교되었습니다.

• 국소화 정확도: TrajAudit 는 참조 없는 설정에서 가장 강력한 베이스라인 (All-at-Once) 보다 24.4 퍼센트 포인트만큼 정확한 단계 수준 정확도 (50.9% 대 26.9%) 에서 우위를 점했습니다. 궤적 길이가 증가함에 따라 성능 격차는 크게 벌어져, 80 단계를 초과하는 궤적에서 TrajAudit 는 베이스라인 대비 70% 이상의 정확도 격차를 보였습니다.
• 토큰 효율성: TrajAudit 는 가장 효율적인 베이스라인 (All-at-Once) 대비 최소 **18%**만큼 토큰 소비를 줄였으며, Step-by-Step 접근 방식 대비 1200% 이상 줄여 우수한 효율성을 입증했습니다.
• 근거 품질: TrajAudit 는 전체적으로 가장 높은 근거 정확도 (71.0%) 를 달성하여, 특히 더 긴 궤적에서 베이스라인을 크게 능가했습니다.
• Ablation Study: Semantic Saliency Folding 모듈을 제거하면 정확도가 가장 크게 하락 (11.4%) 하여 노이즈 감소에서의 핵심 역할을 강조했습니다. Prior Failure Reasoning 을 제거해도 정확도가 감소 (3.5–3.9%) 하여 예비 지침의 가치를 확인했습니다.

중요성과 주장

이 논문은 TrajAudit 가 에이전트 소프트웨어 공학에서의 실패 관리를 해결하기 위해 커뮤니티에 제공하는 기초 자원을 제공한다고 주장합니다. 노이즈를 능동적으로 필터링하고 사전 추론을 활용하는 프레임워크를 도입함으로써, 수동적인 긴 컨텍스트 처리의 한계를 극복합니다. 저자들은 RootSE 를 필수적인 다음 단계로 위치시키며, 기존 벤치마크 (Who&When 등) 가 실제 세계 리포지토리 수준의 작업의 복잡성과 길이를 포착하지 못해 현재 진단 방법의 한계를 가리고 있다고 주장합니다.

이 연구는 에이전트 시스템에서의 효과적인 실패 진단이 단순한 궤적 분석을 넘어 능동적이고 노이즈 인식적인 조사가 필요함을 강조하며, TrajAudit 는 복잡한 실제 세계 소프트웨어 유지보수 실패에서 뛰어난 정확도와 효율성으로 이러한 능력을 입증합니다.