기술 요약: 경험 그래프(Experience Graphs): 자기 개선형 에이전트를 위한 데이터 파운데이션

문제 정의

본 논문은 현재의 자기 개선형 에이전트 시스템에서 발생하는 근본적인 아키텍처적 격차를 지적한다. 코드 생성, 과학적 발견, 하드웨어 설계와 같은 장기 실행(long-horizon) 에이전트 작업은 풍부하고 구조화된 데이터, 즉 **경험 그래프(experience graphs)**라고 불리는 데이터를 생성하는 반복적인 탐색 프로세스에 의존한다. 그러나 기존 프레임워크는 이 데이터를 일회성 상태(disposable state)로 취급한다.

현재의 시스템은 탐색 트리(search trees)를 휘발성 JSON 체크포인트나 파일 기반 로그로 직렬화한다. 이러한 접근 방식은 다음과 같은 몇 가지 치명적인 실패를 초래한다:

1. 취약성(Fragility): 프로세스 충돌 시 진행 상황이 손실되며, 복구를 위해서는 사후에 로그를 스크래핑해야 하는 번거로운 과정이 필요하다.
2. 고립성(Isolation): 탐색 통계와 인과적 계보(causal lineage)를 사용자 또는 세션 간에 쿼리할 수 없어, 이전의 발견을 체계적으로 재사용하는 것이 불가능하다.
3. 학습 비효efficiency(Training Inefficiency): 학습 데이터(예: SFT, DPO, GRPO를 위한 데이터)를 추출하려면 직접적인 쿼리가 아닌 취약한 사후 스크래핑에 의달해야 하며, 이 과정에서 데이터의 기원(provenance)과 구조적 무결성이 손실된다.
4. 불완전한 메모리 모델: 프로덕션 에이전트는 세 가지 메모리 계층(선언적 사실, 절차적 기술, 에피소드 로그)으로 수렴했지만, 이는 에이전트가 '무엇을 아는지'는 포착하지만, 탐색이 '무엇을 시도했는지'에 대한 **보상 기반 경험 그래프(reward-bearing experience graph)**는 포착하지 못한다.

저자들은 데이터베이스 커뮤니티가 새로운 워크로드(예: 트랜잭션, 스트리밍)를 인식함으로써 발전해 왔음을 언급한다. 그들은 에이전트 작업에서의 "경험 그래프에 대한 탐색"이 이러한 새로운 워크로드에 해당하며, 휘발성 로그에서 관리되고 쿼리 가능한 데이터베이스 파운데이션으로의 전환이 필요하다고 주장한다.

방법론: Trellis 아키텍처

저자들은 경험 그래프를 제1급 객체이자 관리되는 데이터베이스 상태로 취급하는 데이터 파운데이션인 Trellis를 제안한다. 이 아키텍처는 에이전트의 컴퓨팅과 상태를 분리하여 상태가 없는(stateless), 서버리스 에이전트를 가능하게 한다.

핵심 구성 요소

1. 이중 루프 시스템 아키텍처(Two-Loop System Architecture):

   • 내부 루프(Inner Loop): 특정 "기술(skills)"에 의해 구동되는 자율 에이전트 세션(예: Claude Code, Codex)이다. 이는 태스크를 소비하고, 아티팩트를 생성하며, 샌드박스 내에서 도구를 실행하고, 결과를 평가한 뒤, 구조화된 출력(로그, 메트릭, 적합도 점수 등)을 그래프의 노드로 영속화한다. 에이전트 프로세스 자체는 상태를 보유하지 않는다.
   • 외부 루프(Outer Loop): 탐색 전략(One-Shot, Linear, Greedy, MCTS, Evolutionary)을 오케스트레이션하는 컨트롤 플레인이다. 이는 그래프에서 프런티어 노드를 선택하고, 컨텍스트(조상 노드, 형제 노드, 이전 실패 사례)를 조립하여 내부 루프를 호출한다. 여기서 전략은 하드코딩된 알고리즘이 아니라 데이터 기질(data substrate)에 대한 정책(policy)이다.

2. 데이터 파운데이션 (T trellis):

   • 논리적 모델: Tasks(명세), Sessions(탐색 컨텍스트), Nodes(부모 링크, 아티팩트, 보상 및 UCB 점수와 같은 알고리즘별 메타데이터를 포함한 개별 시도), Prompt_History의 네 가지 테이블로 구성된 통합적이고 알고리즘 불가지론적인 스키마를 갖는다. 대규모 아티팩트는 참조에 의해 오브젝트 스토리지에 저장된다.
   • 물리적 아키텍처: 상태가 없는 쿼리/실행 엔진(Axiom over Velox 사용)을 내구성이 있는 저장소로부터 분리한다. 이는 SQL(관계형), Cypher(그래프 순회), 벡터 검색을 단일 물리적 플랜으로 결합하는 통합 쿼리 레이어를 지원한다.
   • 주요 기능:
     • 벡터 시드 기반 그래프 검색(Vector-Seeded Graph Retrieval): 벡터 유사도 검색(태스크 설명 기반)과 그래프 순회를 결합하여 이전 세션으로부터 높은 적합도를 가진 서브트리를 검색함으로써 교차 세션 지식 재사용을 가능하게 한다.
     • 다중 버전 상태 및 타임 트래블(Multi-Version State & Time Travel): 벽시계 시간(wall-clock time)이 아닌 논리적 단계 번호(평가 순서)로 키가 지정된 변경 로그를 사용한다. 이를 통해 특정 과거 단계에서의 에이전트 상태를 "AS-OF" 방식으로 재구성할 수 있으며, 이는 학습 데이터의 충실도(미래의 탐색 통계로부터의 데이터 누수 방지)에 매우 중요하다.
     • 거버넌스(Governance): 원시 트레이스, 증류된 기술, 파생된 훈련 뷰 전반에 걸쳐 액세스 정책을 강제한다.

주요 기여

1. 자기 개선형 에이전트 시스템의 정의: 본 논문은 이러한 시스템을 지속 가능한 데이터 기질 위에서 작동하는 이중 루프 아키텍처(내부 기술 실행, 외부 탐색 오케스트레이션)로 정식화한다. 이는 단일 에이전트 탐색을 넘어, 에이전트들이 가설과 비판을 공유하는 다중 에이전트 "과학 사회(scientific societies)"로 확장한다.
2. 메모리와 경험 그래프의 통합: 기존의 메모리 계층(선언적, 절차적, 에피소드)이 보상 기반의 경험 그래프 없이는 불완전함을 입증한다. Trellis는 그래프 순회, 벡터 유사도, 구조화된 필터를 지원하는 쿼리 레이어를 통해 이를 통합한다.
3. 새로운 데이터베이스 연구 기회의 식별: 논문은 다음과 같은 데이터베이스 혁신이 필요한 특정 액세스 패턴과 과제를 제시한다:
   • 멀티모달 쿼리 플래닝(Multi-modal Query Planning): 벡터 검색, 관계형 조인, 가변 길이 그래프 순회를 융합하는 플랜 최적화.
   • 동시 트리 탐색을 위한 일관성(Consistency for Concurrent Tree Search): 노드 삽입에 대한 내구성은 요구하면서 통계에 대해서는 최종 일관성을 허용하는 MCTS 역전파를 위한 격리 수준 정의.
   • 물리적 설계(Physical Design): 혼합 워크로드(추가, 경로 업데이트, 멀티 홉 순회, 벡터 유사도)에 최적화된 스토리지 레이아웃 생성.
   • 거버넌스 기반 뷰 유지 관리(Governed View Maintenance): 소스 노드가 철회될 때 학습 뷰의 무효화를 관리.
   • 바이템포럴 메모리(Bi-temporal Memory): 유효 시간(사실이 참이었던 시간)과 트랜잭션 시간의 분리.

결과: KernelEvolve 케이스 스터디

저자들은 KernelEvolve(Meta의 프로덕션 가속기 커널 옵티마이저)를 통해 설계를 검증한다. 이들은 데이터베이스 네이티브 상태(Trellis)와 기존 인메모리 아키텍처를 비교한 예비 측정치를 보고한다:

• 복구 및 무상태성(Recovery & Statelessness): 새로운 아키텍처에서 크래시된 세션은 웜업이나 체크포인트 역직렬화 없이 마지막으로 커밋된 노드부터 자동으로 재개된다. 인프라 장애로 인한 진행 손실이 없다.
• 교차 세션 재사용(Cross-Session Reuse): 벡터 시드 기반 검색을 통해 이전에 수행된 유사한 태스크와 노드를 탐색 컨텍스트에 주입함으로써:
  • 수렴 속도: 메모리 주입 시, 콜드 스타트(51단계) 대비 메모리 활용 시 약 5단계 만에 1.2배 속도 임계값에 도달하여 10배의 가속을 달계했다.
  • 토큰 효율성: "버그가 있는" 노드(비싼 디버그-재시도 루프를 유발하는 노드)의 비율이 메모리 주입이 없을 때 55%에서 메모리 주입률 $p=0.5$일 때 21%로 감소했다. 이는 유효 솔루션당 토큰 비용을 52% 절감하는 결과로 이어졌다.
  • 탐색-앵커링 트레이드오프(Exploration-Anchoring Tradeoff): 저자들은 높은 메모리 주입률($p=0.5$)이 탐색을 안정화하고 버그를 줄이지만, 다양성을 억제하여 콜드 스타트보다 "최고 수준(best-in-class)"의 솔루션을 덜 생성한다는 것을 관찰했다. 균형 잡힌 설정($p=0.1$)이 가장 좋은 절충안을 제공했다.
• 학습 데이터 추출: SFT 궤적, DPO 쌍, GRPO 그룹과 같은 학습 데이터는 별도의 취약한 스크래핑 파이프라인 없이 운영 스토어에서 직접 구현된 뷰(materialized views)로서 추출된다.

의의 및 주장

본 논문은 Trellis가 추론 시점의 탐색을 "일회성 계산"에서 "내구성이 있는 제도적 자산"으로 변모시킨다고 주장한다.

• 아키텍처적 전환: 경험 그래프를 데이터베이스로 외재화함으로써 에이전트는 상태가 없는 컴퓨팅 유닛이 된다. 이는 수평적 확장, 크래시 복구, 그리고 설계된 기능이 아닌 아키텍처의 부산물로서의 폐쇄 루프 학습 플라이휠을 가능하게 한다.
• 집단 지성: 이 아키텍처는 개별 에이전트가 개인적인 트리를 탐색하는 것에서 벗어나, 에이전트들이 구조화된 지식을 공유하고, 결과를 비판하며, 세션과 사용자 간에 발견을 축적하는 "과학 사회"로의 전환을 가능하게 한다.
• 데이터베이스 커뮤니티에 미치는 영향: 저자들은 "경험 그래프가 로그가 데이터베이스를 신뢰할 수 있게 만든 것처럼, 에이전트를 누적적(cumulative)으로 만들 수 있다"고 주장한다. 그들은 에이전트 메모리가 재귀적 자기 개선에 맞춤화된 트랜잭션, 웨어하우징, 그래프 관리를 위한 새로운 인터페이스를 요구하는 차세대 주요 워크로드라고 규정한다.

결론적으로, 본 논문은 더 큰 모델과 컨텍스트 윈도우만으로는 부족하며, 경험 그래프가 쿼리 가능하고 공유되며 학습 준비가 된 상태로서 존재하는 거버넌스된 데이터 파운데이션이 차세대 자기 개선형 에이전트에게 필수적이라고 강조한다.