Process-Centric Analysis of Agentic Software Systems

이 논문은 에이전트 소프트웨어 시스템의 실행 과정을 그래프 기반으로 체계적으로 분석하는 'Graphectory'를 제안하여, 에이전트의 추론 및 전략 패턴을 심층적으로 규명하고 실시간 모니터링을 통해 문제 해결률을 6.9%~23.5% 향상시키는 효과를 입증했습니다.

핵심

🏠 비유: "집 수리공 (AI) 과 공사 현장"

상상해 보세요. 여러분이 집을 수리하러 전문 공인 수리공 (AI 에이전트) 을 불렀습니다.

• 기존 방식 (결과 중심): 수리공이 집에 왔다가 나갔을 때, "벽이 고쳐졌나요?"라고만 묻습니다. 벽이 고쳐지면 "훌륭해요!"라고 치켜세우고, 고쳐지지 않으면 "실패자야"라고 낙인찍습니다.

  • 문제점: 벽이 고쳐졌더라도, 수리공이 벽을 100 번이나 뚫었다가 막았다가 하거나, 엉뚱한 방을 헤매다가 우연히 고쳤을 수도 있습니다. 그 '비효율적인 과정'은 아무도 모릅니다.

• 이 논문의 방식 (과정 중심 - Graphectory): 이 연구는 수리공이 어떤 순서로, 어떤 도구로, 얼마나 헤매다가 문제를 해결했는지 그 '행동 지도'를 그립니다. 이를 **'그래펙토리 (Graphectory)'**라고 부릅니다.

🗺️ 핵심 개념 3 가지

1. 그래펙토리 (Graphectory): "수리공의 발자국 지도"

수리공이 한 행동 하나하나를 점으로 찍고, 그 점들을 선으로 연결한 지도입니다.

• 시간적 연결: "먼저 창문을 보고, 그다음 문으로 갔다"처럼 시간 순서대로 연결합니다.
• 구조적 연결: "거실 (큰 공간) 에서 침실 (작은 공간) 로 들어갔다"처럼 공간의 위계 관계도 보여줍니다.
• 효과: 이 지도를 보면, 수리공이 같은 방을 5 번이나 왔다 갔다 했는지 (비효율), 실수를 하고 다시 되돌아갔는지 (후퇴), 제대로 된 순서로 수리를 했는지 한눈에 파악할 수 있습니다.

2. 랭거토리 (Langutory): "지도의 요약본"

지도가 너무 복잡하면 이해하기 어렵죠? 그래서 만든 간단한 요약본입니다.

• 수리공의 행동을 "위치 찾기 (L) → 고치기 (P) → 확인하기 (V)"라는 알파벳으로만 줄여서 보여줍니다.
• 예: L-L-L-P-P-V (위치 찾기를 너무 오래 하고, 고치고, 확인했다) 처럼 보게 되면, "아, 이 수리공은 위치를 찾는 데 너무 많은 시간을 썼구나"라고 바로 알 수 있습니다.

3. 실시간 감시와 개입 (Online Monitoring): "현장 감독관"

이 연구의 가장 멋진 점은, 수리공이 일하는 도중에 이 지도를 실시간으로 그려서 문제를 발견한다는 것입니다.

• 상황: 수리공이 같은 벽을 10 번이나 두드리고 있는데, 고쳐지지 않고 있습니다.
• 감독관의 행동: "야! 같은 데만 두드리지 말고, 다른 방법을 생각해 봐!"라고 말해줍니다.
• 결과: 수리공이 잘못된 길을 계속 걷는 것을 막아주고, 더 빨리 문제를 해결하게 도와줍니다.

---

🔍 연구에서 발견한 놀라운 사실들

이 팀은 AI 수리공 2 명 (SWE-agent, OpenHands) 과 다양한 두뇌 (LLM 모델) 를 조합해 4,000 번의 수리 작업을 분석했습니다.

1. 성공했다고 해서 잘한 건 아님:

   • 어떤 AI 는 벽을 한 번에 고쳐서 성공했지만, 다른 AI 는 100 번이나 실수하고 고쳐서 성공했습니다. 결과만 보면 둘 다 '성공'이지만, **과정 지도 (그래펙토리)**를 보면 후자는 엄청난 비효율을 보였습니다.

2. 문제 난이도가 높을수록 AI 는 더 헤맨다:

   • 인간이 고치기 어려운 문제일수록 AI 도 더 많은 방을 뒤지고, 더 많은 테스트를 합니다. 하지만 성공한 경우는 체계적으로 움직였고, 실패한 경우는 같은 실수를 반복하거나 엉뚱한 곳으로 헤매는 '혼란스러운 지도'를 그렸습니다.

3. 강한 AI 일수록 더 많이 탐험한다:

   • 똑똑한 AI 모델일수록 더 많은 정보를 수집하고 더 많은 테스트를 해보려 합니다. 이는 성공률을 높이지만, 때로는 불필요하게 긴 과정을 만들기도 합니다.

4. 실시간 감독관의 마법:

   • AI 가 잘못된 길 (비효율적인 행동) 을 걷고 있을 때, 실시간으로 "이건 틀렸어, 다시 생각해"라고 알려주면, 성공률이 7%~23%나 높아지고, 작업 시간도 크게 줄어듭니다. 마치 길을 잃은 사람에게 "저기 오른쪽으로 가"라고 알려주는 것과 같습니다.

---

💡 결론: 왜 이 연구가 중요할까요?

지금까지 우리는 AI 가 "정답을 맞췄나?"만 확인했습니다. 하지만 이 연구는 **"AI 가 어떻게 정답을 찾았는지"**를 분석함으로써, AI 가 더 똑똑하고, 빠르고, 효율적으로 일할 수 있도록 도와줍니다.

마치 자동차의 블랙박스처럼, 사고가 났을 때 단순히 "차량이 멈췄다"고만 보는 게 아니라, "어떻게 운전자가 핸들을 꺾고 브레이크를 밟았는지"를 분석해야 더 안전한 차를 만들 수 있는 것과 같습니다.

이 논문은 AI 개발자들에게 **"결과만 보지 말고, 과정의 지도 (그래펙토리) 를 그려서 비효율을 찾아내자"**라고 제안하며, 이를 통해 더 나은 AI 시스템을 만들 수 있는 길을 열었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 기반의 에이전트 시스템 (Agentic Systems) 은 소프트웨어 공학, 웹 탐색 등 다양한 분야에서 복잡한 다단계 작업을 자율적으로 수행하는 유망한 패러다임으로 부상했습니다. 그러나 이러한 시스템의 평가는 대부분 결과 중심 (Outcome-centric) 에 머물러 있습니다. 즉, 최종 단계에서 문제를 해결했는지 (성공/실패) 만을 기준으로 성능을 판단합니다.

이러한 평가 방식의 한계는 다음과 같습니다:

• 중간 과정의 무관심: 성공적인 결과에 도달하기까지의 추론, 계획, 행동, 전략 변경 등의 세부적인 과정을 무시합니다.
• 비효율성 은폐: 우연히 성공했거나, 비효율적인 반복, 전략적 오류 (예: 검증 없이 패치 제출) 를 겪었더라도 최종 성공 시 이를 놓치게 됩니다.
• 확장성 부족: 기존 연구들은 전문가의 수동 분석에 의존하여 새로운 에이전트 시스템으로 확장하기 어렵고, 편향될 수 있습니다.

따라서, 에이전트가 어떻게 문제를 해결하는지 (프로세스) 를 체계적이고 자동화된 방식으로 분석할 수 있는 새로운 프레임워크가 필요합니다.

2. 제안된 방법론 (Methodology)

저자들은 에이전트의 실행 궤적 (Trajectory) 을 선형 로그가 아닌 그래프 구조로 변환하여 분석하는 Graphectory와 이를 인간이 읽기 쉽게 압축한 Langutory를 제안합니다.

2.1 Graphectory (그래프 기반 궤적 표현)

• 정의: 에이전트의 행동을 노드 (Node), 행동 간의 관계를 엣지 (Edge) 로 표현하는 순환 방향 그래프입니다.
• 노드 (Node): 에이전트가 수행한 고유한 행동 (Action) 을 나타냅니다. 각 노드는 행동 유형, 문제 해결 단계 (Phase), 구조적 탐색 수준 등을 포함합니다.
• 엣지 (Edge):
  • 시간적 엣지 (Temporal Edge): 궤적 로그에서 한 행동이 다음 행동을 시간적으로 따르는 관계.
  • 구조적 엣지 (Structural Edge): 문제 공간 내에서 상위/하위 관계 (예: 디렉토리 → 파일 → 코드 블록) 를 나타내는 관계.
• 특징: 단순한 선형 시퀀스가 아니라, 에이전트의 탐색 경로, 반복 (루프), 백트래킹 (Backtracking) 등을 그래프 구조로 포착하여 비효율적인 패턴을 시각화합니다.

2.2 Langutory (궤적 언어)

• 정의: Graphectory 를 인간이 읽기 쉬운 추상화된 문자열로 변환한 표현입니다.
• 작동 방식: 그래프의 노드를 논리적 단계 (Phase) 로 매핑 (예: Localization, Patching, Validation, General) 하고, 연속된 동일한 단계를 런-레벨 인코딩 (Run-length encoding) 하여 압축합니다.
  • 예: L5P5LPV (로컬라이제이션 5 단계, 패칭 5 단계, 로컬라이제이션 1 단계, 패칭 1 단계, 검증 1 단계).
• 용도: 에이전트의 전략 흐름을 빠르게 비교하고, 기대되는 계획 (System Prompt) 과의 편차를 분석하는 데 사용됩니다.

2.3 프로세스 중심 분석 및 지표

• 지표 (Metrics): 노드 수, 시간적 엣지 수, 루프 수 (반복 횟수), 평균 루프 길이, 구조적 엣지 수, 탐색 폭 등을 계산하여 노력의 양과 효율성을 정량화합니다.
• 분석 기법:
  • Phase Flow Analysis: 에이전트의 전략 전환 (예: 로컬라이제이션 → 패칭 → 검증) 을 분석하고, 기대 계획 준수 여부, 전략 변경 (Shortcut 또는 Backtrack) 을 탐지합니다.
  • Pattern Detection: Graphectory 에서 반복되는 비효율적 패턴 (Anti-patterns) 을 자동 탐지합니다. (예: 같은 파일 반복 조회, 잘못된 디렉토리 탐색, 실패한 편집 반복 등).

2.4 실시간 모니터링 및 개입 (Online Monitoring & Intervention)

• Graphectory 와 Langutory 를 에이전트 실행 도중 점진적으로 구성하여 실시간으로 분석합니다.
• 비효율성 신호 (예: 과도한 루프, 계획 위반, 한 단계에 머무는 시간 초과) 가 감지되면 에이전트에게 진단 메시지를 전송하거나, 최근 행동을 취소 (Rollback) 하여 전략 수정을 유도합니다.

3. 주요 기여 (Key Contributions)

1. Graphectory 및 Langutory: 에이전트 궤적을 구조적으로 표현하고 분석할 수 있는 새로운 데이터 구조와 추상화 방법론 제시.
2. 프로세스 중심 지표 및 분석: 에이전트의 문제 해결 전략과 비효율성을 정량화하는 일련의 지표와 분석 도구 개발.
3. 대규모 체계적 평가: SWE-agent 와 OpenHands 두 가지 에이전트 프레임워크와 4 가지 LLM(DeepSeek-V3, DeepSeek-R1, Devstral, Claude Sonnet 4) 을 조합한 8 가지 설정으로 4,000 개의 궤적을 분석한 데이터셋 및 결과 제공.
4. 실시간 개입 기술: 프로세스 분석을 기반으로 에이전트 실행 중 문제를 감지하고 해결률을 높이는 실시간 모니터링 및 개입 기술 제안.

4. 실험 결과 (Results)

SWE-Bench Verified 벤치마크 (500 개의 실제 GitHub 이슈) 를 기반으로 한 실험 결과는 다음과 같습니다.

• 성공 vs 실패의 차이:
  • 실패한 (Unresolved) 사례는 성공한 사례보다 Graphectory 가 더 복잡하고, 루프 (반복) 와 비효율적 패턴이 훨씬 많았습니다.
  • 성공한 사례는 일반적으로 L → P → V (로컬라이제이션 → 패칭 → 검증) 의 일관된 흐름을 따르지만, 실패한 사례는 혼란스럽거나 반복적인 행동을 보였습니다.
• 모델 성능과 복잡성:
  • 더 강력한 LLM(예: Claude Sonnet 4) 은 더 복잡한 Graphectory 를 생성했습니다. 이는 더 넓은 맥락 수집과 철저한 검증을 수행하기 때문이며, 이는 성공률 향상과 연결됩니다.
  • 반면, 약한 모델은 탐색이 부족하거나 전략이 일관되지 않아 실패율이 높았습니다.
• 문제 난이도:
  • 인간 개발자가 해결하는 데 시간이 더 걸리는 어려운 문제일수록 에이전트의 궤적도 더 길고 복잡해지며, 전략 전환이 빈번하게 일어났습니다.
• 비효율성 패턴 (Anti-patterns):
  • 성공한 사례에서도 비효율성 존재: 성공한 경우에도 불필요한 파일 반복 조회, 잘못된 편집 시도, 검증 생략 등의 비효율적 패턴이 발견되었습니다.
  • 주요 패턴: RepeatedView(동일 영역 반복 조회), ZoomOut(구조적 역행), UnresolvedRetry(연속된 실패 편집), EditReversion(성공한 편집 되돌리기) 등.
• 실시간 개입 효과:
  • 실시간 모니터링 및 개입 (OMI) 을 적용한 결과, 반복적인 문제 (Problematic instances) 에서 해결률이 6.9% ~ 23.5% 향상되었습니다.
  • 궤적 길이는 단축되었고, 진동 (Oscillation) 및 계획 위반 비율이 90% 이상 감소했습니다.
  • 오버헤드는 거의 제로 (약 10ms 미만) 였습니다.

5. 의의 및 결론 (Significance)

이 논문은 에이전트 시스템 평가의 패러다임을 결과 중심에서 프로세스 중심으로 전환하는 중요한 기여를 했습니다.

• 심층적 통찰: 단순히 "성공/실패"를 넘어, 에이전트가 왜 실패했는지, 어떤 비효율적인 사고 과정을 거쳤는지를 그래프 기반으로 명확히 규명할 수 있게 되었습니다.
• 자동화 및 확장성: 수동 분석에 의존하던 기존 연구와 달리, Graphectory 를 통해 수천 개의 궤적을 자동으로 분석하고 새로운 에이전트 시스템에도 적용 가능한 확장성을 가집니다.
• 실용적 개선: 실시간 모니터링과 개입을 통해 에이전트의 실행 효율성을 높이고 해결률을 개선할 수 있음을 입증했습니다. 이는 향후 더 효율적이고 견고한 에이전트 시스템 설계 및 도구 개발 (예: 문법 인식 편집, AST 기반 네비게이션) 의 기초를 제공합니다.

요약하자면, 이 연구는 에이전트 소프트웨어의 "블랙박스"를 열어 그 내부 작동 원리를 구조적으로 분석하고, 이를 통해 시스템의 성능과 효율성을 근본적으로 개선할 수 있는 방법론을 제시했습니다.