TraceSIR: A Multi-Agent Framework for Structured Analysis and Reporting of Agentic Execution Traces

이 논문은 복잡한 에이전트 실행 트래이스의 문제 진단과 근본 원인 분석을 위해 구조화된 추상화, 정밀한 진단, 종합적 보고서 생성을 담당하는 세 가지 전문 에이전트로 구성된 'TraceSIR' 프레임워크를 제안하고, 이를 평가하기 위한 벤치마크와 프로토콜을 통해 기존 방법보다 우수한 성능을 입증합니다.

핵심

🕵️‍♂️ AI 의 실수, 왜 찾아내기 어려울까요?

생각해 보세요. AI 가 복잡한 미션을 수행할 때 (예: "내일 여행 계획 짜줘"라고 하면, 항공편을 검색하고, 호텔을 예약하고, 날씨를 확인하는 등 수십 번의 작업을 거칩니다). 이때 AI 가 남기는 기록 (트레이스) 은 마치 수백 장에 달하는 일기장이나 수천 개의 CCTV 영상처럼 방대합니다.

• 기존의 문제점:
  • 사람이 직접 보기엔 너무 길어요: 사람이 이 모든 기록을 일일이 읽으려면 며칠이 걸립니다.
  • AI 가 분석하긴엔 너무 복잡해요: 이 긴 기록을 그대로 다른 AI 에게 주면, "머리가 너무 복잡해"라며 헛소리를 하거나 중요한 부분을 놓칩니다.
  • 결과만 보면 안 돼요: "여행 계획 실패"라는 결과만 보고는, "왜 실패했지? 항공권 검색을 잘못했나? 호텔이 없었나?"를 알 수 없습니다.

🛠️ TraceSIR: AI 의 '수술실'과 '분석 보고서'

이 문제를 해결하기 위해 연구팀은 TraceSIR이라는 세 명의 전문가가 팀을 이루는 시스템을 만들었습니다. 마치 병원에서 환자를 진단하는 과정과 비슷합니다.

1. 구조화 에이전트 (StructureAgent) = 📝 "요약 전문가"

• 역할: 방대한 AI 일기장 (수천 페이지) 을 읽기 쉬운 핵심 요약본으로 바꿉니다.
• 비유: 100 분짜리 긴 영화를 10 분짜리 하이라이트 영상으로 편집하는 작업입니다. 중요한 장면 (AI 가 무엇을 생각했는지, 어떤 버튼을 눌렀는지, 결과가 어떻게 나왔는지) 은 남기고, 불필요한 잡음은 잘라냅니다. 이를 TraceFormat이라는 새로운 형식으로 정리합니다.

2. 통찰 에이전트 (InsightAgent) = 🔍 "수석 진단 의사"

• 역할: 요약본을 보고 "환자 (AI) 가 왜 아픈지" 정확히 진단합니다.
• 비유: "환자가 열이 나요" (결과 실패) 라는 것만 보고 병명을 짓는 게 아니라, "아, 이 환자는 약물을 잘못 복용해서 (원인) 열이 난 거군요. 다음엔 이 약을 쓰세요 (해결책)"라고 구체적으로 말합니다.
• 기능:
  • 문제 찾기: 어디서 틀렸는지 pinpoint 합니다.
  • 원인 분석: 왜 그런 실수가 났는지 깊이 있게 파헤칩니다.
  • 해결책 제안: 어떻게 고쳐야 할지 구체적인 처방전을 줍니다.

3. 보고서 에이전트 (ReportAgent) = 📊 "최종 보고서 작성자"

• 역할: 여러 명의 환자 (여러 번의 실패 사례) 를 한데 모아 통계 보고서를 만듭니다.
• 비유: 한 명의 환자만 보면 우연일 수 있지만, 50 명의 환자를 분석하면 "아, 이 병은 비타민 결핍이 공통적인 원인인구나!"라는 큰 그림을 발견합니다.
• 기능: 반복되는 실수 패턴을 찾아내고, 전체적인 개선 방안을 담은 전문적인 보고서를 작성합니다.

---

🏆 실제 효과: "기존 방식 vs TraceSIR"

연구팀은 실제 AI 가 실패한 사례 150 가지를 모아 이 시스템을 테스트했습니다.

• 기존 방식 (ClaudeCode 등): "결과가 나빴어요. 점수는 50 점." (이유는 모름)
• TraceSIR: "결과가 나빴어요. 이유는 항공권 검색 시 '날짜'를 잘못 입력했기 때문입니다. 해결책은 검색 쿼리를 자동 수정하는 것입니다. 통계적으로 이런 실수가 30% 발생하므로 시스템 수정이 필요합니다."

결과:
TraceSIR 은 기존 방식보다 더 정확하고, 더 구체적이며, 실제로 쓸모 있는 보고서를 만들어냈습니다. 특히 AI 개발자들이 "어디를 고쳐야 할지" 바로 알 수 있게 도와주어, 개발 시간을 크게 단축시켜 줍니다.

💡 한 줄 요약

TraceSIR은 AI 가 복잡한 일을 하다가 실패했을 때, 방대한 기록을 요약하고 (StructureAgent), 정확한 원인을 진단하며 (InsightAgent), 개발자가 바로 고칠 수 있는 구체적인 보고서를 만들어주는 (ReportAgent) 초고급 AI 분석 시스템입니다.

이제 AI 개발자들은 더 이상 "왜 실패했지?"라고 막연히 고민하지 않고, TraceSIR이 주는 명확한 처방전을 보고 시스템을 고칠 수 있게 되었습니다!

기술 요약

논문 요약: TraceSIR

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 에 외부 도구와 반복적 의사결정 기능을 결합한 **에이전트 시스템 (Agentic Systems)**은 심층 연구, 함수 호출, 코딩 등 복잡한 작업을 수행할 수 있게 되었습니다. 그러나 이러한 시스템의 실행은 수천 개의 도구 호출과 긴 토큰 길이를 가진 복잡한 **실행 트레이스 (Execution Traces)**를 생성합니다. 이로 인해 다음과 같은 주요 문제들이 발생합니다:

• 수동 분석의 비확장성: 긴 트레이스를 사람이 직접 검토하여 실패 원인을 파악하는 것은 현실적으로 불가능합니다.
• LLM 직접 적용의 한계: 원시 트레이스 (Raw Traces) 를 그대로 LLM 에 입력하면 입력 길이 제한 (Context Limit) 을 초과하거나, 긴 문맥으로 인해 신뢰할 수 없는 추론 (Hallucination) 이 발생할 수 있습니다.
• 행동 정보의 손실: 최종 결과 (Outcome) 만을 평가하는 기존 방식은 실패의 원인을 파악하는 데 필수적인 세부적인 행동 신호 (Behavioral Signals) 를 누락시킵니다.
• 다중 인스턴스 분석 부재: 여러 작업 사례 (Instances) 간의 패턴을 비교하여 체계적인 진단을 수행하는 자동화된 프레임워크가 부족합니다.

2. 방법론 (Methodology)

이러한 문제를 해결하기 위해 저자들은 TraceSIR이라는 다중 에이전트 (Multi-Agent) 프레임워크를 제안합니다. TraceSIR 은 세 가지 전문 에이전트가 협력하여 구조화된 분석과 보고를 수행합니다.

• 핵심 구성 요소:

  1. StructureAgent (구조 에이전트):
     • TraceFormat 도입: 긴 실행 트레이스를 압축하면서도 핵심 행동 정보를 보존하는 새로운 추상화 형식인 TraceFormat을 정의합니다.
     • 추상화: Thought (사고), Action (행동/도구 호출), Observation (환경 피드백) 의 3 단계로 구조화하여 불필요한 반복과 긴 코드를 압축합니다. 이는 하류 분석을 위한 효율적이고 분석 가능한 표현을 제공합니다.
  2. InsightAgent (통찰 에이전트):
     • 세부 진단: 구조화된 트레이스를 기반으로 개별 작업 사례에 대한 미세한 분석을 수행합니다.
     • 산출물: 전체 점수 (0~100), 주요/부수적 오류 식별, 약점 및 강점 파악, 근본 원인 분석 (Root Cause Analysis), 그리고 구체적인 최적화 제안 및 파인튜닝 샘플 생성을 수행합니다.
  3. ReportAgent (보고 에이전트):
     • 집계 및 보고: 여러 사례에서 생성된 진단 결과를 통합합니다.
     • 통계 분석: 오류 빈도 추정, 점수 분포 모델링 등을 수행하여 반복되는 실패 패턴과 체계적인 문제를 발견합니다.
     • 보고서 생성: 마크다운 형식의 종합적인 분석 보고서를 생성하며, 필요 시 참조된 트레이스 데이터를 부록에 첨부하여 투명성을 확보합니다.

• 데이터셋 및 평가 프로토콜:

  • TraceBench: Deep Research (BrowseComp), Function Calling (Tau2Bench), Agentic Coding (SWE-bench) 등 3 가지 실제 시나리오에서 수집된 150 개의 실패 사례로 구성된 벤치마크를 구축했습니다.
  • ReportEval: 산업 현장의 요구사항에 부합하는 분석 보고서의 품질과 유용성을 평가하기 위해 고안된 평가 프로토콜입니다. (전체 구조, 오류 분석, 근본 원인 분석, 최적화 제안, 전체 영향력 등 5 가지 차원 평가)

3. 주요 기여 (Key Contributions)

1. TraceSIR 프레임워크: 긴 에이전트 실행 트레이스를 구조화, 분석, 보고하는 최초의 다중 에이전트 시스템 제안.
2. TraceFormat: 원시 트레이스의 핵심 행동 정보를 보존하면서 길이를 압축하는 새로운 추상화 표준.
3. TraceBench 및 ReportEval: 에이전트 시스템의 실패 분석을 위한 통합 벤치마크와 산업 친화적인 보고서 평가 프로토콜 제시.
4. 체계적인 진단 능력: 단순한 결과 평가를 넘어, 행동 기반의 근본 원인 분석과 실행 가능한 최적화 제안을 가능하게 함.

4. 실험 결과 (Results)

TraceSIR 은 강력한 베이스라인인 ClaudeCode와 비교하여 세 가지 시나리오 (Deep Research, Function Calling, Agentic Coding) 에서 일관되게 우수한 성능을 보였습니다.

• 평가 방법: 인간 전문가 (6 명) 에 의한 평가와 LLM-as-a-judge 평가를 병행했습니다.
• 성과:
  • 인간 평가: TraceSIR 은 ClaudeCode 대비 평균 **9.7%**의 전체 보고서 품질 향상을 보였습니다. 특히 오류 분석 (Error Analysis) 과 근본 원인 분석 (Root Cause Analysis) 분야에서 가장 큰 개선을 이루었습니다.
  • LLM 평가: 평균 **7.5%**의 상대적 개선을 보였으며, 특히 약한 백본 모델 (GLM-5) 을 사용한 복잡한 코딩 시나리오에서 최대 **26.0%**의 상대적 향상을 기록했습니다.
  • 결론: TraceSIR 은 더 일관성 있고, 정보량이 많으며, 실행 가능한 (Actionable) 보고서를 생성하여 연구자와 엔지니어의 의사결정을 효과적으로 지원합니다.

5. 의의 및 의의 (Significance)

• 자동화된 디버깅: 에이전트 시스템의 복잡한 실패 원인을 수동으로 찾던 방식을 자동화하여 확장 가능한 진단을 가능하게 합니다.
• 행동 기반 통찰: 최종 결과뿐만 아니라 실행 과정의 세부 행동 데이터를 활용하여 정확한 문제 위치 파악과 근본 원인 분석을 가능하게 합니다.
• 산업적 적용성: 실제 산업 환경에서 연구자와 엔지니어가 시스템의 신뢰성과 투명성을 높이고, 효율적인 디버깅 및 최적화를 수행할 수 있도록 돕는 실용적인 도구입니다.
• 미래 방향: LLM 의 한계 (할루시네이션, 비용, 지연 시간) 를 극복하기 위한 계층적 집계 및 점진적 보고 메커니즘 등 향후 연구 과제를 제시했습니다.

이 논문은 에이전트 시스템의 신뢰성을 높이기 위해 실행 트레이스의 구조화와 자동화된 분석 프레임워크의 중요성을 강조하며, 향후 에이전트 시스템 개발 및 유지보수 패러다임의 전환을 이끌 것으로 기대됩니다.