기술 요약: LogDx-CI

문제 정의

지속적 통합 (CI) 실패 로그는 본질적으로 방대하며 (중앙값 5,000 줄, 코퍼스 내 최대 200,000 줄 이상) 노이즈가 많습니다. 코딩 에이전트 (예: Claude Code, Codex, Cursor) 는 대규모 언어 모델 (LLM) 을 위한 관리 가능한 컨텍스트로 이러한 로그를 축소하기 위해 상류 도구에 의존하지만, 어떤 축소 전략이 하류의 근본 원인 진단에 필요한 충분한 증거를 보존하는지에 대한 공개된 실증적 증거는 부재합니다. SWE-bench 나 Terminal-Bench 와 같은 기존 벤치마크는 엔드투엔드 작업 성공이나 저장소 편집에 초점을 맞추어 컨텍스트 축소 단계를 불투명한 인프라로 취급합니다. LogDx-CI 는 LLM 진단기를 위한 실패 신호 보존 능력에 대해 특히 "컨텍스트 축소" 단계를 격리하고 평가함으로써 이 격차를 해소합니다.

방법론

코퍼스 및 기준 진실 (Ground Truth)

이 벤치마크는 8 가지 실패 카테고리 (예: 테스트 어설션, 컴파일 오류, 타임아웃) 와 7 개 이상의 생태계 (pytest, cargo, Maven, Docker 등) 에 걸친 35 개의 실제 GitHub Actions 실패 사례 코퍼스를 활용합니다. 로그 크기는 27 줄에서 200,000 줄 이상까지 다양합니다.

• 기준 진실: 근본 원인과 필요한 신호는 AI(Claude Opus 4.7) 가 초안을 작성하고 단일 저자가 검증했습니다. 각 사례에는 메타데이터, "반드시 언급해야 할" 체크리스트, 그리고 금지된 주장이 포함됩니다.
• 개인정보 보호: 모든 로그는 개인정보 보호 감사를 거쳤으며 (URL, API 키, 토큰 마스킹), 35 개 사례 중 마스킹된 항목은 0 건이었습니다.

평가 프레임워크

파이프라인은 다음과 같습니다: 원본 로그 → 컨텍스트 축소 도구 → LLM 진단기 → 진단 점수.

• 진단기: 네 가지 변형이 테스트되었습니다:
  1. real-debugger-v1: Claude Haiku 4.5(단일 샷).
  2. real-debugger-v2: Claude Sonnet 4.6(단일 샷).
  3. real-debugger-v3: OpenAI gpt-5-mini(단일 샷).
  4. real-agent-v1: 원본 로그를 대상으로 결정론적 도구 (grep, read_file, tail, view_log_lines) 를 사용하여 5 턴 에이전트 루프를 실행하는 Claude Sonnet 4.6.
• 지표: 주요 지표는 diagnosis_score_v1_1 로, 카테고리 정확도, 신호 재현율, 관련 파일/테스트 재현율, 그리고 증거 인용률을 조화시킨 보정된 선형 결합입니다. 이 지표는 "확신 있는 오류"(신뢰도 ≥0.70 이지만 명백히 잘못된 경우) 에 대해 패널티를 부과합니다. 보조 지표인 confident_error_rate 는 안전성을 추적합니다.

기준선 (11 개 컨텍스트 제공자)

이 연구는 11 가지 축소 전략을 비교합니다:

1. Raw: 전체 로그.
2. Tail: 마지막 200 줄.
3. Grep: 정규식 필터링된 실패 패턴 + 컨텍스트.
4. RTK 모드: rtk-read, rtk-log, rtk-err-cat(RTK 도구의 다양한 모드).
5. LLM 요약기: Claude Haiku 4.5 와 OpenAI gpt-5-mini 를 사용한 Map-reduce 요약기.
6. 하이브리드: 논리 기반 라우터 (예: hybrid-grep-120k-tail: 토큰 수가 120k 이하이면 grep 사용, 아니면 tail-200 사용).

주요 결과

1. 하이브리드 라우터가 파레토 프론티어를 지배함

단일 샷 진단에서 하이브리드 grep+tail 라우터가 비용 - 품질 트레이드오프 측면에서 가장 우수한 성과를 거두었습니다.

• 최상위 수행자: hybrid-grep-120k-rtk-tail(점수: 0.670) 과 hybrid-grep-120k-tail(점수: 0.666).
• 효율성: 이러한 방법은 독립적인 grep(0.639) 과 비교 가능한 품질을 달성하지만, 토큰 수는 4.5 배 적게 (사례당 ~88k 토큰 대비 ~20k 토큰) 사용하며 비용은 훨씬 낮습니다 (사례당 ~$0.13 대비 ~$0.03).
• 안전성: 최상위 하이브리드 방법은 확신 있는 오류가 전혀 발생하지 않았으나, rtk-log 는 13.3% 의 확신 있는 오류율을 보였으며, 약 8 건 중 1 건의 사례에서 LLM 을 적극적으로 오도했습니다.

2. 에이전트 루프 체제에서 품질 분산이 축소됨

에이전트가 불충분한 컨텍스트에서 복구하기 위해 후속 도구 호출 (5 턴 제한) 을 할 수 있도록 허용했을 때:

• 품질 수렴: 축소 도구 간 성능 편차가 7 배 축소되었습니다 (단일 샷 편차 0.42 에서 에이전트 루프 편차 0.059 로). 약한 컨텍스트 (예: rtk-log, raw) 는 에이전트에 의해 구조되어 점수가 +0.3 에서 +0.4 상승했습니다.
• 지속적인 비용 차이: 품질이 수렴했음에도 비용은 수렴하지 않았습니다. 약한 컨텍스트는 에이전트가 강한 컨텍스트에 비해 진단을 복구하기 위해 2~4 배 더 많은 도구 호출을 강요했습니다.
• 최상위 에이전트 방법: 놀랍게도 llm-summary-v1-gpt-5-mini 가 가장 낮은 도구 호출 수 (사례당 0.37) 를 기록하며 #1 에이전트 루프 방법 (점수: 0.749) 이 되었습니다. 이는 요약이 실패 신호를 효과적으로 선제적으로 배치했기 때문입니다.

3. 크로스 패밀리 요약이 자기 호출보다 우수함

이 연구는 "자기 호출 편향" 가설 (동일 벤더 패밀리에서 온 요약기와 디버거가 공유된 사전 지식으로 인해 점수가 과장될 수 있다는 가설) 을 테스트했습니다.

• 발견: 크로스 패밀리 쌍 (gpt-5-mini 요약기가 Claude Haiku 진단기로 입력) 이 동일 패밀리 쌍보다 네 가지 진단기 변형에 걸쳐 평균 +0.071 더 높은 성과를 거두었습니다.
• 비용: gpt-5-mini 요약기는 Claude-Code-CLI 중첩 호출 오버헤드를 피함으로써 Haiku 요약기보다 10 배 더 저렴했습니다 (사례당 $1.75 대비$0.18).

중요성과 주장

LogDx-CI 는 모델 패밀리 간 하류 LLM 진단 정확도를 위해 로그 축소 도구를 최적화하는 첫 번째 공개 벤치마크라고 주장합니다. 그 중요성은 다음 세 가지 "하중을 견디는" 발견에 있습니다:

1. 하이브리드 우세: 간단한 하이브리드 라우터 (grep + tail) 는 복잡한 LLM 요약기와 원본 로그보다 단일 샷 시나리오에서 비용과 증거 보존의 최적 균형을 제공하며, 이를 능가합니다.
2. 에이전트 복원력: 에이전트 루프는 열악한 컨텍스트에서 복구할 수 있지만, 이는 더 높은 운영 비용 (더 많은 도구 호출) 을 수반하므로 고품질 상류 축소의 가치를 재확인합니다.
3. 편향 반증: 이 벤치마크는 이 특정 작업에서 자기 호출 편향 가설에 대한 실증적 증거를 제시하며, 크로스 패밀리 요약이 더 효과적이고 비용 효율적임을 보여줍니다.

저자들은 프로덕션 코딩 에이전트 스택의 경우 올바른 컨텍스트 축소 전략을 구현하는 비용 (단일 샷의 경우 사례당 약 $0.03, 크로스 패밀리 요약을 사용한 에이전트 루프의 경우 사례당$0.18) 이 잘못 구현하는 비용 (예: 오진이나 과도한 도구 사용으로 이어지는 rtk-log 또는 원본 로그 사용) 보다 최소 10 배 이상 적다고 결론지었습니다.

한계

이 논문은 몇 가지 한계를 지적합니다:

• 코퍼스 크기: 35 개 사례는 프로토타입이며, 절대 점수 크기는 확장에 따라 변할 수 있지만 상위 3 개 순위는 견고해 보입니다.
• 기준 진실: 단일 저자와 AI 가 초안을 작성하여 검증되었으며, 독립적인 인간 주석이 아닙니다.
• 모델 범위: Anthropic(Haiku/Sonnet) 과 OpenAI(gpt-5-mini) 패밀리에서만 테스트되었습니다.
• 재현성: gpt-5-mini 는 temperature=0 일 때도 실행 간 변이를 보이므로 특정 셀 숫자는 ±0.02 만큼 변할 수 있지만, 집계 순위는 안정적으로 유지됩니다.
• 범위: 일반 코딩 능력, 다단계 계획, 또는 비 CI 로그 형태 (예: 빌드 시스템 스트림) 는 평가하지 않았습니다.