Traversal-as-Policy: Log-Distilled Gated Behavior Trees as Externalized, Verifiable Policies for Safe, Robust, and Efficient Agents

이 논문은 오픈핸즈 실행 로그를 기반으로 안전 게이트가 적용된 실행 가능한 행동 트리 (GBT) 를 추출하여 생성 대신 트리 탐색을 제어 정책으로 활용함으로써, 에이전트의 성공률을 획기적으로 높이고 안전 위반을 거의 제로로 줄이며 비용을 절감하는 'Traversal-as-Policy' 프레임워크를 제안합니다.

핵심

이 논문은 **"자율 AI 에이전트 (로봇 같은 프로그램) 가 어떻게 하면 더 똑똑하고, 안전하며, 저렴하게 일을 할 수 있을까?"**에 대한 혁신적인 답을 제시합니다.

기존의 AI 는 마치 기억력이 좋고 직관적인 천재처럼 행동합니다. 하지만 이 천재는 때로는 엉뚱한 말을 하거나, 위험한 행동을 하기도 하며, 긴 작업을 하다 보면 길을 잃어버리기도 합니다.

이 논문은 이 문제를 해결하기 위해 **"AI 의 머릿속 (모델 가중치) 을 바꾸지 않고, 외부에서 '명확한 행동 지침서'를 만들어주자"**는 아이디어를 제안합니다. 이를 **'Traversal-as-Policy (행동 탐색을 정책으로)'**라고 부릅니다.

이 복잡한 개념을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 핵심 아이디어: "무작위 추측" 대신 "검증된 지도"

기존 방식 (문제점):
기존 AI 는 새로운 일을 할 때마다 "내가 생각하기에 이렇게 해볼까?"라고 무작위로 추측하며 시작합니다. 마치 나침반도 없는 등산객이 산을 오르는 것과 같습니다. 때로는 성공하지만, 길을 잃거나 위험한 낭떠러지로 떨어질 확률이 높습니다.

이 논문의 방식 (해결책):
저자들은 과거에 AI 가 성공적으로 일을 마친 **수천 개의 기록 (로그)**을 모아서, **"성공한 등산객들이 밟았던 발자국"**을 분석했습니다. 그리고 이를 바탕으로 **하나의 완벽한 '행동 지도 (GBT)'**를 만들었습니다.

• GBT (가드드 행동 트리): 이 지도는 AI 가 "다음에 무엇을 해야 할까?"라고 고민할 때, 무작위로 생각하지 않고 지도에 있는 성공적인 경로 중 하나만 따르도록 안내합니다.
• 비유: 이제 AI 는 나침반 없이 헤매는 등산객이 아니라, 성공한 선배들이 그린 상세한 지도를 들고 가는 등산객이 됩니다.

2. 안전 장치: "자동 문지기"와 "검은색 리스트"

AI 가 일을 할 때, 실수로 중요한 파일을 지우거나 해킹을 시도하는 등 위험한 행동을 할 수 있습니다.

기존 방식:
"아, 위험한 걸 했네! 나중에 다시 고치자."라고 일단 실행하고 나서 막습니다. (이미 사고가 난 후입니다.)

이 논문의 방식:
작업이 실행되기 전에 AI 가 "이 파일을 지울까?"라고 생각하면, **자동 문지기 (Gate)**가 등장합니다.

• 문지기의 역할: "이 파일은 위험해. 과거에 이걸 지우려다 사고가 난 기록이 있어. 절대 실행하지 마!"라고 미리 막습니다.
• 학습 방식: 만약 어떤 AI 가 위험한 행동을 시도했다가 걸리면, 그 **정확한 상황 (예: 'A 라는 파일을 지우려 함')**을 검은색 리스트에 추가합니다.
• 중요한 규칙 (단조성): 한번 검은색 리스트에 오른 상황은 영원히 금지됩니다. 나중에 AI 가 더 똑똑해져도 그 리스트를 지우거나 다시 허용할 수 없습니다. 이는 안전이 절대 후퇴하지 않도록 보장합니다.

3. 효율성과 회복력: "짧은 메모리"와 "구출 작전"

문제: 긴 대화 기록의 부담
기존 AI 는 긴 작업을 할 때, 처음부터 끝까지 모든 대화 기록을 기억해야 해서 메모리가 꽉 차고 비용이 많이 듭니다.

해결: "등산 코스의 핵심만 기억하기"
이 논문은 AI 가 모든 대화 내용을 기억하게 하지 않습니다. 대신 **"어떤 발자국 (작업 단계) 을 밟았는지"**만 기록합니다.

• 비유: 긴 여행의 모든 사진을 저장하는 대신, **"어떤 산을 타고, 어느 길목에서 방향을 틀었는지"**만 적은 간결한 일기를 씁니다. 이렇게 하면 AI 는 훨씬 가볍고 빠르게 움직일 수 있습니다.

문제: 막히면 어떻게 할까?
지도대로 가다가 길이 막히거나 (실수), 문지기에 걸려서 멈추면 어떻게 할까요?

해결: "구출 작전 (Recovery)"
AI 는 당황하지 않습니다. 대신 **"가장 안전하고 빠른 우회로"**를 찾아냅니다.

• 비유: 길이 막히면 무작정 벽을 뚫으려 하지 않고, 성공한 다른 등산로를 찾아서 다시 출발합니다. 이 과정에서도 위험한 길은 문지기가 미리 차단합니다.

---

💡 이 기술이 가져오는 놀라운 변화

이 논문은 실제 실험에서 다음과 같은 결과를 보여줍니다.

1. 성공률 폭발: AI 가 일을 성공적으로 끝내는 비율이 34% 에서 73% 로 두 배 이상 늘어났습니다. (지도가 있기 때문입니다.)
2. 안전성 제로: 위험한 실수 (파일 삭제, 해킹 시도 등) 가 **거의 0%**로 떨어졌습니다. (문지기가 미리 막기 때문입니다.)
3. 비용 절감: AI 가 사용하는 메모리와 계산 비용이 반 이상 줄었습니다. (불필요한 추측과 긴 기록을 줄였기 때문입니다.)
4. 작은 AI 도 가능: 이 '지도 (GBT)'만 있으면, 작고 저렴한 AI 모델도 거대하고 비싼 AI 모델 못지않게 똑똑하게 일할 수 있습니다. (지도를 보고만 있으면 되기 때문입니다.)

📝 한 줄 요약

"AI 에게 무작위 추측을 멈추게 하고, 과거의 성공 기록으로 만든 '안전한 행동 지도'를 주면, AI 는 더 똑똑하고, 안전하며, 저렴하게 일할 수 있다."

이 기술은 AI 를 "예측 불가능한 천재"에서 "검증된 전문가"로 바꾸는 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 자율 LLM 에이전트는 다음과 같은 근본적인 한계를 가지고 있습니다:

• 암시적 정책 (Implicit Policy): 에이전트의 장기적 행동 계획이 모델 가중치나 프롬프트, 그리고 비구조화된 대화 기록 (transcript) 에 숨어 있어 디버깅, 검증, 개선이 어렵습니다.
• 사후 안전성 (Retrofitted Safety): 안전 조치는 주로 에이전트가 행동을 제안한 후 (post-hoc) 에 적용되거나, 인간이 정의한 규칙에 의존합니다. 이는 문맥 의존적인 실패나 긴 시간 동안 발생하는 위험을 포착하지 못합니다.
• 장기적 드리프트 (Long-horizon Drift): 대화 기록이 길어질수록 에이전트는 원래 목표를 잃고 (drift), 불필요한 토큰을 소모하며 실패 확률이 높아집니다.

2. 방법론 (Methodology)

저자들은 Traversal-as-Policy를 통해 실행 로그를 단일 실행 가능한 아티팩트인 GBT (Gated Behavior Tree) 로 증류 (distill) 합니다. 이 과정은 모델 가중치를 업데이트하지 않는 학습 없는 (training-free) 방식입니다.

A. 오프라인 증류 (Offline Distillation)

1. 매크로 추출 (Macro Extraction): OpenHands 샌드박스에서 실행된 성공적인 트래젝토리 (trajectories) 를 분석하여, 일관된 의도를 가진 연속적인 도구 호출 시퀀스를 매크로 (Macro) 단위로 추출합니다.
2. 트리 병합 (Tree Construction): 추출된 매크로 경로를 하나의 루트 트리 (GBT) 로 병합합니다. 이때 의미적 중복 (semantic aliasing) 을 방지하기 위해 시그니처 기반의 엄격한 병합 규칙을 적용합니다.
3. 게이트 합성 (Gate Synthesis):
   • 안전성 게이트: 실패하거나 위험한 로그 (unsafe traces) 를 분석하여 최소 위반 윈도우 (minimal unsafe windows) 를 추출합니다.
   • 구조화된 컨텍스트 (Structured Context): LLM 요약이 아닌, 샌드박스 상태 (파일 경로, 프로세스 메타데이터, 네트워크 목적지 등) 에서 추출된 구조화된 데이터를 기반으로 게이트를 생성합니다.
   • 경험 기반 단조성 (Experience-Grounded Monotonicity): 한 번 위험한 컨텍스트로 판정되어 차단된 경우, 향후 어떤 업데이트에서도 다시 허용되지 않도록 보장합니다. 이는 안전 회귀 (safety regression) 를 방지합니다.

B. 온라인 배포 (Online Deployment)

GBT-Traverser 는 베이스 LLM 을 감싸서 다음과 같이 작동합니다:

1. 트레버셜 (Traversal): 에이전트의 다음 행동을 무제한 생성이 아닌, GBT 내의 하위 매크로 중 하나를 선택하는 트리 탐색으로 제한합니다.
2. 커버리지 (Coverage): 태스크가 GBT 의 범위에 들어갈 때 (covered=1) 만 탐색을 통해 정책을 제어합니다. 범위를 벗어나면 (covered=0) 에이전트는 탐색을 중단하고 기본 안전 장치만 적용됩니다.
3. 실시간 게이팅: 매크로 실행 전, 전역 게이트 (Global Guardrail) 와 노드 로컬 게이트 (Node-local Gates) 를 통해 위험한 도구 호출을 실행 전 (pre-execution) 에 결정적으로 차단합니다.
4. 회복 메커니즘 (Recovery): 에이전트가 멈추거나 게이트에 막힐 경우, 위험을 고려한 최단 경로 (Dijkstra 알고리즘 사용) 를 통해 성공 가능한 리프 노드 (success leaf) 로 복구 경로를 생성합니다.
5. 계층적 메모리 (Spine Memory): 전체 대화 기록을 재생성하는 대신, 방문한 매크로 경로 (Spine) 만을 기억하여 컨텍스트 크기를 줄이고 드리프트를 방지합니다.

C. 자기 진화 (Self-Evolution)

GBT-SE 는 실패한 사례를 분석하여 성공 사례와 유사한 경로를 찾아 트리 구조를 국소적으로 수정 (자식 노드 추가 등) 합니다. 이 과정에서 안전 게이트는 절대 완화되거나 삭제되지 않으며, 변경 사항은 과거 성공 및 실패 데이터에 대한 회귀 테스트를 통과해야 합니다.

3. 주요 기여 (Key Contributions)

1. 외부화 가능한 정책 아티팩트: 에이전트 제어를 모델 가중치가 아닌, 로그에서 증류된 실행 가능한 트리 (GBT) 로 외부화하여 검증, 디버깅, 버전 관리가 가능하게 했습니다.
2. 경험 기반 결정적 안전성: LLM 요약이 아닌 구조화된 컨텍스트 기반의 결정적 게이트를 통해 사전 실행 안전을 보장하며, 단조성 원칙을 통해 안전 회귀를 방지합니다.
3. 통합된 성능 향상: 15 개 이상의 벤치마크에서 성공률 향상, 안전 위반 감소, 추론 비용 절감, 그리고 소형 모델의 성능 극대화를 동시에 달성했습니다.

4. 실험 결과 (Results)

OpenHands 샌드박스 환경에서 SWE-bench Verified, WebArena, GPQA 등 주요 벤치마크를 평가했습니다.

• 성공률 (Success Rate):
  • SWE-bench Verified: 기본 에이전트 (34.6%) 에서 GBT-SE 적용 시 73.6% 로 크게 향상되었습니다.
  • WebArena: 19.7% 에서 66.9% 로 향상되었습니다.
  • GPQA: 58.7% 에서 87.3% 로 향상되었습니다.
• 안전성 (Safety):
  • 위반률 (Violation Rate) 은 SWE-bench 에서 2.8% → 0.2%, WebArena 에서 3.4% → 0.2% 로 감소했습니다.
  • "위험한 성공 (Unsafe Success)"은 거의 0% 로 낮아졌습니다.
• 효율성 (Efficiency):
  • 토큰 및 문자 사용량이 크게 감소했습니다 (예: SWE-bench 에서 208k 토큰 → 126k 토큰).
• 소형 모델 활용 (Executor Decoupling):
  • GBT 아티팩트를 사용하면 8B 규모의 모델 (Llama-3-8B, Qwen3-VL-8B) 이도 대형 모델에 필적하는 성능을 발휘했습니다. (예: SWE-bench 에서 14.0% → 58.8%)

5. 의의 및 결론 (Significance)

이 논문은 자율 에이전트 개발 패러다임을 "암시적 생성 (Implicit Generation)" 에서 "명시적 제어 (Explicit Control)" 로 전환하는 것을 제시합니다.

• 검증 가능한 안전: 안전이 사후 검증이 아닌, 실행 전 결정적 게이트로 구현되어 프롬프트 해킹이나 요약 조작에 강건합니다.
• 비용 및 신뢰성: 긴 대화 기록 대신 컴팩트한 '척추 (Spine)' 메모리를 사용하여 비용을 절감하고 장기적 드리프트를 방지합니다.
• 모델 독립성: 복잡한 추론은 오프라인에서 GBT 를 구축하는 데 사용되고, 온라인 실행은 소형 모델이 수행할 수 있게 하여 배포 비용을 낮추고 접근성을 높입니다.

결론적으로, Traversal-as-Policy는 에이전트의 행동을 투명하게 관리하고, 안전을 보장하며, 효율적으로 실행할 수 있는 실용적인 프레임워크를 제공합니다.