🤖 AI

TraceGraph: Shared Decision Landscapes for Diagnosing and Improving Agent Trajectories

TraceGraph는 멀티 모델 에이전트의 궤적을 공유된 결정 지형(decision landscapes)으로 변환하여 숨겨진 탐색 차이와 실패 패턴을 드러내는 그래프 기반 프레임워크를 도입하며, 이는 결과적으로 SWE-bench에서의 해결률을 크게 향상시키는 함정 인지 회복 파이프라인을 가능하게 합니다.

원저자: Junjie Nian, Kang Chen, Ge Zhang, Yixin Cao, Yugang Jiang

게시일 2026-06-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junjie Nian, Kang Chen, Ge Zhang, Yixin Cao, Yugang Jiang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 다섯 명의 서로 다른 탐험가들이 복잡한 미로를 해결하려고 노력하는 모습을 지켜보고 있다고 상상해 보십시오. 과거에는 누가 최고의 탐험가인지 알고 싶다면, 그저 최종 점수만 확인하면 되었습니다. "탈출구에 도달했는가? 예 또는 아니오."

TraceGraph라는 논문은 이러한 "예 또는 아니오" 식의 점수가 너무 많은 것을 숨기고 있다고 주장합니다. 이는 마치 요리사가 케이크를 완성했는지 여부만으로 요리사를 평가하는 것과 같습니다. 한 요리사는 정원을 통과하는 경치 좋은 길을 택한 반면, 다른 요리사는 케이크를 만들기 위해 주방을 다 태워 먹었을 수도 있는데도 말입니다.

TraceGraph가 어떻게 작동하는지 쉽게 설명하면 다음과 같습니다.

1. 공유 지도 (의사결정 지형)

TraceGraph는 각 탐험가의 경로를 개별적으로 보는 대신, 모든 이들의 발자취를 모아 하나의 거대한 공유 지도로 만듭니다.

발자국: AI 에이전트(탐험가)가 행동(예: "파일 읽기" 또는 "테스트 실행")을 취하고 그 결과를 확인할 때마다, 그들은 "발자국"을 남깁니다.
클러스터링(군집화): TraceGraph는 이 발자국들을 살펴봅니다. 만약 두 단계가 매우 유사해 보인다면(예: 둘 다 특정 파일의 동일한 오류를 수정하려고 시도하는 경우), 그 사이에 선을 그려 연결합니다.
결과: 이것은 작업의 웹이나 "지형"을 만들어냅니다. 어떤 구역은 안전하고 성공으로 이어지지만, 어떤 구역은 막다른 길입니다.

2. 세 가지 핵심 이벤트

지도가 구축되면, TraceGraph는 각 AI가 이 지형을 어떻게 이동하는지 관찰합니다. 아직 최종 점수에는 관심이 없습니다. 대신 세 가지 특정 순간에 주목합니다.

접근 (Access): AI가 "생산적 핵심 영역"(좋은 작업이 이루어지는 안전하고 가치 높은 구역)을 찾아냈는가?
함정 노출 (Trap Exposure): AI가 "함정" 속으로 들어갔는가? (많은 이들이 실패하거나 갇혔던 혼란스러운 구역)
복구 (Repair): 만약 AI가 함정에 빠졌다면, 그곳에서 벗어나 다시 생산적 핵심 영역으로 올라올 수 있었는가?

3. 지도가 밝혀낸 것들

연구진이 이 공유 지도를 살펴보았을 때, 단순한 점수로는 놓칠 수 있었던 것들을 발견했습니다.

서로 다른 스타일: 어떤 모델(예: DeepSeek-V3.2)은 용감한 탐험가였습니다. 이들은 종종 생산적 핵심 영역을 찾아냈고, 때때로 함정에 빠지기도 했지만, 그곳에서 빠져나오는 능력(복구)이 매우 뛰어났습니다. 반면 다른 모델(예: Qwen3-Next)은 매우 신중했습니다. 이들은 함정에 거의 빠지지 않았지만, 너무 겁을 먹은 나머지 생산적 핵심 영역을 거의 찾아내지 못했습니다.
미로마다 다른 규칙: 연구진은 다섯 가지 유형의 작업(소프트웨어 버그 수정, 웹 검색, 도구 사용 등)에 대해 테스트를 진행했습니다. 그 결과, 어떤 미로는 함정을 피하는 것(실수를 하지 않는 것!)에 보상을 주는 반면, 어떤 미로(소프트웨어 버그 수정 등)는 실수로부터 회복하는 것에 보상을 준다는 것을 발견했습니다. 함정을 피하는 데 탁월한 모델이, 실수로부터 회복해야 하는 작업에서는 오히려 실패할 수도 있다는 것입니다.

4. "함정 탐지기" 실험

가장 흥ente한 부분은 이 지도를 사용하여 실시간으로 AI를 돕는 방법입니다.

아이디어: 연구진은 무엇이 "함정"처럼 보이는지(특정 행동과 오류의 패턴)를 이미 알고 있었기에, 탐지기를 만들었습니다.
트리거(작동): AI가 새로운 문제를 해결하던 중 알려진 "함정"과 일치하는 패턴에 발을 들이면, 탐지기가 경보를 울립니다.
구조: 경보가 울리면, 시스템은 AI가 계속 실패하도록 내버려 두지 않고 멈춘 뒤 두 가지 간단한 해결책을 시도합니다.
1. "핫(Hot)" 수정: AI에게 조금 더 무작위성을 가지고(주사위를 흔드는 것처럼) 다시 시도하여 다른 경로가 작동하는지 확인하라고 지시합니다.
2. "노트(Note)" 수정: 오류에 기반한 부드러운 알림 메모를 전달합니다: "잠깐, 여기서 막힌 것 같네요. 오류를 다시 읽고, 이 특정 파일에 집중해서 작은 변화를 하나만 시도해 보세요."

결과: 소프트웨어 복구 작업(SWE-bench)에서 이 함정 탐지기를 사용했을 때, AI는 스스로 할 때보다 약 3~ 4% 더 많은 문제를 해결할 수 있었습니다. 이는 함정이 어디에 있는지 아는 것이 AI가 실패하기 전에 잡아낼 수 있는 안전망을 구축할 수 있음을 증명했습니다.

요약

TraceGraph는 우리가 단순히 AI의 최종 점수만을 바라보는 것을 멈추게 해주는 도구입니다. 대신, AI 에이전트가 작업을 어떻게 통과하는지에 대한 공유 지도를 만듭니다. 이를 통해 다음을 보여줍니다:

어떤 모델이 용감한 탐험가이고 어떤 모델이 신중한 보행자인지.
어떤 작업이 실수를 피하는 것을 요구하는지, 혹은 실수로부터 회복하는 것을 요구하는지.
AI가 알려진 함정에 빠지려는 순간을 감지하고, 그것을 고칠 수 있는 두 번째 기회를 주는 간단한 "안전망"을 어떻게 구축할 것인지.

이것은 "AI가 실패했다"라는 검은 상자(Black Box)를 "AI가 함정에 빠졌지만, 약간의 도움만 있었다면 빠져나올 수 있었을 것이다"라는 명확한 이야기로 바꾸어 놓습니다.

기술 요약: TraceGraph – 에이전트 궤적의 진단 및 개선을 위한 공유 의사결정 지형(Shared Decision Landscapes)

1. 문제 정의

현재의 에이전트 벤치마크는 풍부하게 인터리빙된(interleaved) 상호작용 궤적(생각, 도구 호출, 환경 피드백 등)을 기록하고 있습니다. 그러나 평가 관행은 이러한 복잡한 과정을 단일 스칼라 지표(예: 통과/실패율 또는 보상 점수)로 축소하는 경바가 있습니다. 이러한 점수는 시스템의 순위를 매길 수는 있지만, 근본적인 프로세스 역학을 가립니다. 즉, 모델이 작업 공간을 어떻게 탐색하는지, 어디에서 전략이 갈라지는지, 혹은 실패 영역을 회피하는지 아니면 그로부터 회복하는지를 밝혀내지 못합니다.

핵심 과제는 서로 다른 모델 간의 궤적을 비교하기 위한 공유 좌표계의 부재입니다. 에이전트 상태는 길고, 분기되며, 벤치마크마다 특화되어 있어 도구 선택, 파일 단서, 부분적 증거 등이 혼재되어 있습니다. 이러한 정렬(alignment) 없이는 모델 A가 모델 B와 유사한 상태에 도달했는지, 동일한 실패 영역을 피했는지, 혹은 다른 경로를 통해 회복했는지 판단하기 어렵습니다. 기존 방법들은 개별 궤적을 고립시켜 검사하거나, 프로세스의 다양성을 숨기는 집계된 점수에 의존하는 경우가 많습니다.

2. 방법론: TraceGraph 프레임워크

TraceGraph는 풀링된(pooled) 에이전트 롤아웃을 공유 의사결정 지형으로 변환하는 그래프 기반 프레임워크입니다. 이 프레임워크는 특정 모델의 행동을 분석하기 전, 모델 불가지론적(model-agnostic)인 작업 공간 지도를 구축하는 3단계 과정을 거칩니다.

1단계: 공유 지형 구축

프레임워크는 여러 모델과 작업으로부터의 액션-관찰(action–observation) 단계를 입력받습니다.

인코딩: 각 단계 $i$ 는 도구/액션 유형, 커맨드 클래스, 관찰 패턴(예: 에러 트레이스), 파일 단서, 시간적 단계 등을 포함하는 희소한 관찰 가능한 키(key) 세트 $K_i$ 로 인코딩됩니다. 검색 작업의 경우, URL 도메인 및 쿼리 신규성을 위한 특정 키가 추가됩니다.
유사도 및 그래프 구축: 키 세트에 대해 **IDF 가중치가 적용된 자카드 중첩(Jaccard overlap)**을 사용하여 쌍별 유사도를 계산합니다. 드물고 정보 가치가 높은 키(예: 특정 트레이스백 패턴)는 일반적인 키보다 더 높은 가중치를 갖습니다.
토폴로지: 모든 풀링된 단계에 대해 상호 $k$ $k$ -최근접 이웃(mutual- $k$ $k$ NN) 그래프를 구축합니다. 이 그래프는 **이중 연결 성분(Biconnected Components, BCCs)**과 **절점(articulation points, 게이트)**으로 분해됩니다.
- BCCs는 밀집된 상호 유사성을 가진 단계들을 그룹화하여, 거친(coarse) 공유 에이전트 상태를 나타냅니다.
- 절점은 롤아웃이 질적으로 다른 연속성으로 분기될 수 있는 전략 또는 단계의 전환점을 표시합니다.
모델 불가지론: 모델의 정체성은 시그니처 및 그래프 구축에서 제외됩니다. 지형은 오직 관찰 가능한 상태 공간에 의해서만 정의됩니다.

2단계: 결과 정보 오버레이(Outcome-Informed Overlays)

그래프 구조가 고정되면, 프레임워크는 결과 데이터를 오버레이하여 "생산적 핵심(productive cores)"과 "함정 영역(trap regions)"을 식별합니다.

보상 확산(Reward Diffusion): 각 BCC 블록에 대해, 해당 블록을 방문한 롤아웃의 최종 결과에 기반하여 라플라스 평활화(Laplace-smoothed)된 보상을 할당합니다. 이 보상은 로컬 노이즈를 완화하기 위해 블록 쿼션트 그래프(block quotient graph) 전체로 확산됩니다.
영역 정의:
- 생산적 핵심 ( $C_t$ ): 확산된 보상 필드의 고양수 분위수(high-positive quantiles).
- 함정 영역 ( $B_t$ ): 확산된 보상 필드의 저음수 분위수(low-negative quantiles).
이러한 오버레이는 미보지(unseen) 실행에 대한 결과를 예측하는 것이 아니라, 고성과 및 저성과 트래픽이 어디에 집중되는지를 설명하는 용도입니다.

3단계: 롤아웃 이벤트 요약

각 모델의 궤적은 핵심/함정 오버레이 상에서 정의된 세 가지 이산적 이벤트로 요약됩니다.

접근 ( $A_r$ ): 롤아웃이 생산적 핵심을 통과했는가?
함정 노출 ( $E_r$ ): 롤아웃이 함정 영역을 통과했는가?
수리 ( $R_r$ ): 롤아웃이 함정을 방문한 후 생산적 핵심에 도달했는가?

분석: 공급 및 수요 프로필

TraceGraph는 두 가지 기술적 프로필을 생성합니다.

모델 공급(Model Supply): 평균 모델 대비 모델의 이벤트에 대한 작업 중심 평균입니다. 이는 모델의 "내비게이션 스타일"(예: 고접근/고수리 vs. 보수적/얕은 내비게이션)을 드러냅니다.
벤치마크 수요(Benchmark Demand): 고성과 트래픽과 저성과 트래픽 간의 보상 가중치 대비(contrast)입니다. 이는 특정 벤치마크가 무엇을 보상하는지(예: 함정 회피 vs. 회복)를 드러냅니다.

3. 주요 기여

TraceGraph 프레임워크: 풀링된 롤아웃으로부터 모델 불가지론적 작업 그래프를 구축하고, 결과 정보가 담긴 영역을 오버레이하여 공유 의사결정 지형을 만드는 방법론을 제시합니다.
압축된 프로세스 프로필: 5개의 벤치마크 분할(7,329개 레코드, 427개 작업, 5개 모델)에 걸쳐, 접근(Access), 함정 노출(Trap exposure), 수리(Repair) 이벤트가 집계된 점수가 무시해버리는 모델 내비게이션 스타일과 벤치마크 수요를 구분해낸다는 것을 입증했습니다.
TraceGraph 유도형 회복 파이프라인: SWE-bench에서의 실질적 적용 사례로, 그래프에서 유도된 함정 영역을 런타임 트리거로 사용합니다. 라이브 에이전트가 역사적 함정 영역에 진입하면 경량화된 회복 정책이 활성화됩니다.

4. 실험 결과

진단적 통찰

모델 다양성: 집계된 점수는 종종 프로세스의 차이를 숨깁니다. 예를 들어, 공유 지형 상에서 DeepSeek-V3.2는 "고접근, 고수리" 스타일을 보이는 반면, Qwen3-Next는 "저접근, 저수리"(보수적이고 얕은 내비게이션) 스타일을 보입니다.
벤치마크 이질성: 벤치마크는 서로 다른 프로세스 요구사항을 부과합니다.
- $\tau^2$ -bench, MCPBench, TerminalBench: 강력하게 함정 회피형(고성과가 저성과 영역을 피하는 것과 상관관계가 높음)입니다.
- SWE-bench: 강력하게 수리 요구형(고성과가 초기 실패 후 함정 같은 상태로부터 회복하는 것과 상관관계가 높음)입니다.
- Search: 생산적인 증거 접근과 간헐적인 회복을 보상합니다.

회복 실험 (SWE-bench)

저자들은 SWE-bench Verified 인스턴스(총 500개)에 대해 **함정 인식 접두사 포크 파이프라인(trap-aware prefix-fork pipeline)**을 구현했습니다.

메커니즘: 라이브 롤아웃이 정형화된 함정 시그니처와 일치할 때 탐지기가 작동합니다. 작동 시, 에이전트는 다음 세 가지 정책 하에서 동일한 상태로부터 계속 진행합니다.
1. Baseline: 표준 지속 ( $T=0.6$ ).
2. Hot: 샘플링 다양성 증가 ( $T=0.9$ ).
3. Note: 컨텍스트에 추가되는 보수적이고 증거에 기반한 진단 노트 (골드 패치는 포함하지 않음).
결과:
- 프로바이더별 작동 서브셋 ( $n=616$ )에서, 최적의 풀링된 정책인 Hot은 해결률을 40.4%에서 43.5%로 높였습니다 (+3.1 pp, $p=0.016$ ).
- 공통 작동 서브셋 ( $n=288$ )에서, Hot 정책은 해결률을 41.0%에서 44.8%로 높였습니다 (+3.8 pp, $p=0.045$ ).
- 프로바이더 특이성: 활성화된 회복 구성 요소는 프로바이더마다 달랐습니다. Qwen3.6-35B-A3B는 진단 노트로부터 가장 많은 도움을 받았고, GLM-5.1과 DeepSeek-V4-Pro는 온도 상승(temperature bump)으로부터 가장 많은 도움을 받았습니다.

5. 의의 및 주장

본 논문은 TraceGraph를 새로운 스칼라 점수나 맹목적인 성공 예측기가 아닌, **프로세스 어휘(process vocabulary)**로 포지셔닝합니다.

기술적 능력: 벤치마크가 무엇을 테스트하는지(예: 회피 vs. 회복)와 모델이 공유 지형 위에서 어디에서 갈라지는지를 밝혀냅니다.
실행 가능한 가이드: 그래프에서 유도된 함정이 다운스트림 개입을 가이드할 수 있음을 보여줍니다. 역사적 실패 영역을 식별함으로써, 이 프레임워크는 오라클 정보나 전체 재학습 없이도 작업 해결률을 높일 수 있는 타겟팅된 회복 정책을 가능하게 합니다.
겸손함: 저자들은 이 회복 파이프라인이 특정 SWE-bench 서브셋에 대한 로컬 개입임을 강조하며, 이를 보편적인 에이전트 수리 메커니즘이라고 주장하지 않습니다. 프레임워크는 트래픽 집중을 설명하기 위한 분석 도구이지, 모든 에이전트 행동을 제어하기 위한 컨트롤러가 아닙니다.

요약하자면, TraceGraph는 "에이전트가 얼마나 많은 작업을 해결했는가?"에서 "에이전트가 작업 지형을 어떻게 탐색했으며, 어디에서 막히거나 회복했는가?"로 초점을 전환하여, 에이전트 궤적을 이해하고 개선하기 위한 구조적 토대를 제공합니다.