XAgen: An Explainability Tool for Identifying and Correcting Failures in Multi-Agent Workflows

이 논문은 다중 에이전트 워크플로우의 불투명한 실패를 해결하기 위해 로그 시각화, 인간 개입 피드백, 자동 오류 감지 기능을 갖춘 설명 가능성 도구 'XAgen'을 개발하고, 이를 통해 사용자가 실패를 쉽게 식별하고 수정할 수 있음을 입증했습니다.

핵심

🎬 비유: "혼란스러운 오케스트라"와 "지휘자용 대본"

생각해 보세요. AI 여러 대가 함께 일하는 '멀티 에이전트 시스템'은 마치 수백 명의 악기 연주자가 한꺼번에 연주를 하는 오케스트라와 같습니다.

• 문제점: 지금 우리가 사용하는 기존 도구들은 마치 연주자들이 쓰는 악보나 기술적인 소음 (로그) 만 보여주는 것과 같습니다. "바이올린 2 번이 3 박자 늦게 들어갔어", "드럼이 너무 시끄러워" 같은 기술적인 데이터만 나열되어 있죠. 일반인이나 비전문가에게는 이게 무슨 뜻인지 전혀 알 수 없는 혼란스러운 소음일 뿐입니다.
• XAgen 의 역할: XAgen 은 이 혼란스러운 연주를 **한눈에 볼 수 있는 '화려한 무대 지시 대본'과 '실시간 모니터링 화면'**으로 바꿔줍니다. 누가 언제 무슨 일을 했는지, 어디서 실수가 났는지 직관적인 그림으로 보여줍니다.

---

🛠️ XAgen 이 해결하는 3 가지 핵심 문제

이 도구는 크게 세 가지 기능을 통해 문제를 해결합니다.

1. 🗺️ 복잡한 로그를 '인터랙티브 지도'로 변환 (Log Visualization)

• 기존 상황: 컴퓨터가 내뱉는 수천 줄의 텍스트 (로그) 를 눈으로 읽으며 실수를 찾아야 해서, 마치 수천 장의 종이 더미 속에서 바늘을 찾는 것과 같습니다.
• XAgen 의 해결책: 이 복잡한 텍스트를 흐름도 (Flowchart) 형태의 지도로 바꿔줍니다.
  • 각 AI 에이전트 (요리사, 배달원, 결제 담당자 등) 가 하나의 아이콘으로 표시됩니다.
  • 작업이 진행될 때마다 아이콘이 순서대로 빛나며 누가 무엇을 했는지 보여줍니다.
  • 비유: 마치 게임의 스테이지 지도처럼, "여기서 문제가 생겼구나!"라고 한눈에 파악할 수 있게 해줍니다.

2. 🙋‍♂️ 인간의 손길을 빌려 교정하기 (Human-in-the-Loop Feedback)

• 기존 상황: AI 가 엉뚱한 답을 내놓아도, 시스템은 멈추지 않고 계속 잘못된 방향으로 나아갑니다. 인간이 개입하기 어렵습니다.
• XAgen 의 해결책: 사용자가 중간 결과물을 보고 직접 "여기 잘못됐어"라고 메모를 남기거나 수정할 수 있습니다.
  • 비유: 요리사가 요리를 하다가, 미식가인 고객 (사용자) 이 "소금이 너무 많아요"라고 말하면, 요리사가 바로 소금을 덜어내는 것과 같습니다. AI 가 혼자 끙끙 앓는 것이 아니라, 인간의 판단을 실시간으로 반영합니다.

3. 🤖 AI 판사 (LLM-as-a-Judge) 가 실수를 찾아내다

• 기존 상황: "이 결과가 좋은 거야, 나쁜 거야?"를 판단하려면 사람이 직접 모든 결과를 꼼꼼히 확인해야 합니다.
• XAgen 의 해결책: 또 다른 **전문 AI (판사)**가 결과를 자동으로 심사합니다.
  • 미리 정해진 목표와 사용자의 피드백을 바탕으로 "성공 (O)", "실패 (X)", "의심스러움 (?) "을 자동으로 매깁니다.
  • 비유: 시험지를 채점하는 선생님처럼, "이 부분은 잘 썼지만, 이 부분은 목표와 달라서 감점입니다"라고 이유까지 설명해 줍니다. 그리고 흐름도 위에 **성공률 링 (고리)**을 그려서 어느 단계가 자주 실패하는지 알려줍니다.

---

🧪 실제 실험 결과: "찾기 쉽고, 고치기 쉽다"

연구팀은 8 명의 참가자를 모아 이 도구를 테스트했습니다.

• 결과: 기존에 텍스트 로그만 보고 고치던 방식보다, XAgen 을 쓸 때 훨씬 빠르게 실수를 찾아냈고, 어떤 AI 가 문제를 일으켰는지 **정확히 pinpoint(지정)**할 수 있었습니다.
• 참여자의 의견: "흐름도 덕분에 전체적인 상황을 한눈에 파악할 수 있어서 좋았다", "AI 판사의 설명이 내 생각보다 더 꼼꼼해서 도움이 됐다"는 평을 받았습니다.

---

💡 결론: AI 와 함께 일하는 모든 사람을 위한 도구

이 연구의 핵심 메시지는 **"AI 기술이 아무리 발전해도, 그것을 다룰 사람은 전문가만 있는 것이 아니다"**라는 점입니다.

• 과거: AI 시스템은 개발자만 이해할 수 있는 '블랙박스'였습니다.
• XAgen 의 미래: 이제 디자인, 마케팅, 기획 등 다양한 분야의 전문가들도 AI 가 실수했을 때 쉽게 찾아내고 고칠 수 있게 되었습니다.

마치 복잡한 자동차 엔진을 수리할 때, 기계공이 아닌 일반 운전자도 계기판의 경고등과 간단한 설명을 보고 문제를 파악할 수 있게 만든 것과 같습니다. XAgen 은 AI 와 인간이 더 잘 협력할 수 있도록 돕는 가교 역할을 합니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 기반의 멀티 에이전트 시스템이 다양한 분야에서 널리 사용되면서, 개발자뿐만 아니라 도메인 전문가들도 에이전트 워크플로우를 구성하고 수정하게 되었습니다. 그러나 이러한 시스템은 다음과 같은 이유로 실패를 식별하고 수정하기가 매우 어렵습니다.

• 불투명한 실패 (Opaque Failures): 단일 모델의 오류가 아닌, 여러 에이전트 간의 상호작용, 컨텍스트 누락, 하위 에이전트의 오류 전파 등 복잡한 원인으로 인해 실패가 발생합니다.
• 기존 도구의 한계: 현재 사용 가능한 로그 시각화 도구 (AgentOps, LangFuse 등) 는 주로 기술적 배경이 깊은 개발자를 대상으로 하며, 인프라 모니터링 (지연 시간, 토큰 사용량 등) 에 중점을 둡니다. 도메인 전문가나 비기술적 사용자는 원시 로그 (Raw Logs) 를 해석하거나 시스템의 동작 흐름을 이해하는 데 어려움을 겪습니다.
• 디버깅의 비효율성: 에이전트 파이프라인은 중단하기 어렵고, 특정 에이전트의 기여도를 추적하거나 오류의 원인을 특정 단계에 귀속시키는 것이 어렵습니다.

2. 방법론 (Methodology)

이 연구는 12 명의 실무자 (개발자, 연구원, 도메인 전문가 등) 를 대상으로 한 형성적 인터뷰 (Formative Interviews) 를 통해 사용자 요구사항을 도출하고, 이를 바탕으로 XAgen이라는 설명 가능성 (Explainability) 도구를 설계 및 구현했습니다.

A. 사용자 요구사항 도출 (Formative Interviews)

인터뷰를 통해 다음과 같은 주요 도전 과제와 요구사항을 발견했습니다:

• 도전 과제: 높은 학습 곡선, 할루시네이션 및 잘못된 출력, 신뢰할 수 있는 지표의 부재, 파이프라인 중단 불가 및 개별 에이전트 기여도 추적의 어려움.
• 요구사항: 로그의 깔끔한 시각화 (흐름도 형태), 에이전트 수준의 실패 귀속 (Attribution), 중간 및 최종 결과물에 대한 체계적인 검증 (Output Check).

B. XAgen 시스템 설계 및 구현

XAgen 은 다음 세 가지 핵심 기능을 통합하여 설계되었습니다.

1. 로그 시각화 (Log Visualization):

   • 복잡한 원시 터미널 로그를 에이전트, 작업, 도구를 노드 (Node) 로 표현한 대화형 흐름도 (Interactive Flowchart) 로 변환합니다.
   • 로그 이벤트가 발생할 때마다 흐름도의 각 구성 요소가 단계별로 활성화되어 워크플로우의 전체적인 흐름을 한눈에 파악할 수 있게 합니다.
   • 과거 워크플로우 상태를 재생 (Replay) 할 수 있습니다.

2. 인간-루프 피드백 (Human-in-the-Loop Feedback):

   • 사용자가 워크플로우의 중간 또는 최종 결과물을 검토하고, 특정 노드에 직접 코멘트를 남기거나 피드백을 제공할 수 있습니다.
   • 인터페이스 내에서 프롬프트 설정을 직접 수정하여 워크플로우를 재실행하고 개선 사항을 테스트할 수 있습니다.
   • 수집된 인간 피드백은 자동 오류 식별 시스템에 입력됩니다.

3. 자동 오류 식별 (Automatic Error Identification - LLM-as-a-Judge):

   • LLM 을 '심판 (Judge)'으로 활용하여 정의된 목표 (Predefined Goals) 와 수집된 인간 피드백을 기준으로 작업 결과를 평가합니다.
   • 평가 결과는 흐름도 노드 위의 고리 (Ring) 지표로 시각화되며, 상세 점수와 평가 근거 (Rationale) 는 세부 패널에 표시됩니다.
   • 이는 사용자가 전체 파이프라인을 다시 실행하지 않고도 문제의 원인을 특정 에이전트나 단계에 귀속시키는 것을 돕습니다.

3. 주요 기여 (Key Contributions)

1. 실증 기반 설계 가이드라인: 다양한 AI 전문성을 가진 사용자를 위한 멀티 에이전트 워크플로우의 설명 가능성 (Explainability) 을 위한 설계 원칙을 제시했습니다.
2. XAgen 시스템 구현: 로그 시각화, 인간 피드백, 자동 오류 식별을 통합하여 오류 탐지 및 수정을 지원하는 구체적인 시스템 프로토타입을 개발했습니다.
3. 사용자 연구 결과: 8 명의 참가자를 대상으로 한 평가를 통해 XAgen 이 기존 도구 (원시 로그 + AgentOps) 대비 오류 위치 파악, 원인 귀속, 구성 개선의 효율성을 높였음을 입증했습니다.

4. 결과 (Results)

8 명의 참가자가 웹 페이지 디자인 및 학술 논문 작성이라는 두 가지 과제를 수행하며 XAgen 과 베이스라인 (원시 로그 + AgentOps) 을 비교 평가했습니다.

• 주관적 평가: XAgen 은 이해도, 사용성, 유용성, 만족도 등 모든 척도에서 베이스라인보다 유의미하게 높은 점수를 받았습니다.
• 기능별 평가:
  • 로그 시각화: 가장 선호된 기능으로, 흐름도 형태의 뷰가 워크플로우 전체 이해와 디버깅에 가장 큰 도움을 주었습니다.
  • LLM 심판 (Judge): 오류가 발생한 에이전트를 식별하고 문제 영역을 빠르게 지시하는 데 매우 유용했으며, LLM 이 제공한 평가 근거 (Rationale) 를 프롬프트 수정에 직접 활용하기도 했습니다.
  • 인간 피드백: 연구 세션 시간이 짧아 (20 분) 완전한 반복 실행이 어렵다는 한계가 있었으나, 잠재적 가치가 있는 것으로 평가되었습니다.
• 피드백: 중간 및 최종 출력물의 텍스트 밀도가 높아 이를 더 풍부하게 시각화할 필요성이 제기되었습니다.

5. 의의 및 시사점 (Significance)

• XAI 의 확장: 기존의 단일 모델 중심 설명 가능성 (XAI) 을 멀티 에이전트 시스템으로 확장하여, 시스템 수준의 동적 행동을 추적하고 설명하는 새로운 패러다임을 제시했습니다.
• 포용적 디버깅: 기술적 배경이 부족한 도메인 전문가도 멀티 에이전트 워크플로우의 오류를 이해하고 수정할 수 있도록 지원함으로써, AI 시스템의 민주화와 인간 - AI 협업의 효율성을 높였습니다.
• 미래 방향: 비선형적 구조 (루프, 계층 구조, 병렬 실행) 지원, 협업적 디버깅 기능 강화, 객관적 성능 지표 (오류 식별 시간 등) 를 포함한 정량적 평가의 필요성을 강조했습니다.

이 연구는 복잡한 멀티 에이전트 시스템의 '블랙박스' 문제를 해결하고, 사용자가 시스템의 실패를 투명하게 이해하고 능동적으로 개선할 수 있는 인간 중심의 인터페이스 설계에 중요한 기여를 했습니다.