기술 요약: 기능적 캐시 그래프팅 (FCGRAFT)

문제 정의

오픈 도메인 환경에서 작동하는 체화된 에이전트(Embodied agents)는 정책 합성을 위해 코드 작성 대규모 언어 모델(CodeLLM)을 활용할 때 상당한 어려움에 직면합니다. 자연어 지침을 실행 가능한 제어 코드로 변환하는 기존의 "Code-as-Policies (CaP)" 패러다임은 동적인 설정에서 두 가지 근본적인 한계를 가집니다:

1. 지연 시간(Latency): 완전 생성형 디코딩은 새로운 지침이 있을 때마다 긴 프롬프트에 대해 반복적인 프리필(prefill) 연산을 요구하며, 이는 시간 민감도가 높은 시나리오에서 응답성을 저해하는 지연을 초합니다.
2. 강건성(Robustness): 처음부터 전체 코드를 생성하는 방식은 종종 API 불일치, 안전 가드 누락, 불안정한 제어 로직을 초래하여 작업 실패를 유발합니다.

기존의 메모리 기반 접근 방식은 주로 텍스트 수준에서 작동하여 계산 효율성 측면에서 제한적인 이점만을 제공합니다. 마찬가지로, 이전의 Key-Value (KV) 캐싱 방법들은 일반적으로 접두사(prefix) 기반 재사용이나 문서 수준의 캐싱만을 지원하며, 동적이고 진화하는 오픈 도메인 체화 작업에 필요한 함수 수준의 적응을 수용하지 못합니다.

방법론

본 논문은 함수 수준의 KV 캐싱과 통합된 캐시 그래프팅 합성 파이프라인을 통해 CodeLLM 기반 로봇 프로그래밍을 향상시키도록 설계된 프레임워크인 **FCGRAFT (Functional Cache Grafting)**를 제안합니다.

1. 2계층 함수 수준 KV 캐시

FCGRAFT는 고유한 KV 캐싱 메커니즘을 함수 식별자($f_k$)로 인덱싱된 계층적 2계층 코드 캐시($H$)로 재구조화합니다:

• 함수 인터페이스 계층 ($I$): 호출 가능한 함수 시그니처(텍스트)와 그와 관련된 KV 상태($i^{KV}_k$)를 저장합니다. 이러한 경량 엔트리는 모델이 크로스 어텐션(cross-attention)을 재계산하지 않고도 함수 인터페이스를 재사용할 수 있게 하여 **캐시 스티칭(cache-stitching)**의 기초가 됩니다.
• 함수 코드 계층 ($C$): 검증된 전체 구현체($c^{text}_k$)와 그에 대응하는 KV 상태($c^{KV}_k$)를 저장합니다. 이는 실행 중에 사용되며 **캐시 패칭(cache-patching)**을 위한 데 사용되어, 전체 정책을 다시 생성하지 않고도 특정 코드 구간을 수정하는 데 필요한 컨텍스트를 제공합니다.

캐시 관리: GPU 메모리 제약을 관리하기 위해, 본 프레임워크는 다음을 기준으로 각 함수에 **지역성 점수(locality score, $\ell(f_k)$)**를 할당합니다:

• 최신성 ($\ell_{curr}$): 최근 사용된 함수의 즉각적인 유지.
• 빈도 ($\ell_{freq}$): 최근 작업에서의 사용 빈도.
• 연관성 ($\ell_{asso}$): 실행 트레이스 내 다른 함수들과의 조건부 공생 관계.
• 의미적 다양성 ($\ell_{sema}$): 희귀하지만 유용한 함수를 유지하기 위한 퍼플렉시티(perplexity) 기반의 차별성.
  점수가 낮은 엔트리는 DRAM으로 오프로드되며, 점수가 높은 엔트리는 GPU에 유지됩니다.

2. 캐시 그래프팅 합성 파이프라인

새로운 정책은 두 개의 상호 의존적인 단계를 통해 합성됩니다:

• 캐시 스티칭(Cache-Stitching): 새로운 작업이 도착하면 시스템은 계층 $I$에서 관련 함수 인터페이스를 검색합니다. CodeLLM은 이러한 인터페이스의 캐시된 KV 상태를 주입함으로써 새로운 정책을 구성합니다. 이는 검증된 함수 구조에 대한 중복적인 프리필 연산을 제거하여, 내부 제어 로직과 API 시퀀스가 견고하고 사전 검증되었음을 보장합니다.
• 캐시 패칭(Cache-Patching): 실행 오류(예: API 불일치, 런타임 예외)가 발생하면 시스템은 캐시 패칭을 트리거합니다. 정책은 접두사(prefix), 오류 구간(error span), 접미사(suffix)로 분리됩니다. 시스템은 원인을 식별하는 사고 사슬(Chain-of-Thought, CoT) 트레이스의 안내를 받아 접두사의 KV 상태를 재사용하고 오직 수정된 중간 구간만을 생성합니다. 이는 전체 재생성을 피하여 디코딩 시간을 획기적으로 단축합니다.

주요 기여

1. FCGRAFT 프레임워크: 함수 수준의 KV 캐싱을 구현하여 중복 프리필을 줄이고 오픈 도메인 환경에서 행동 일관성을 보장함으로써, CodeLLM 기반 로봇 프로그래밍을 개선하는 새로운 접근 방식을 제시합니다.
2. 상호 의존적 메커니즘: 구조적 오류를 제거하고 프리필을 줄이는 캐시 스티칭과 최소한의 디코딩으로 국소적 오류를 수정하는 캐시 패칭을 하나의 통합된 파이프라인으로 도입했습니다.
3. 실증적 검증: 다양한 벤치마크(ALFRED, TEACh, RLBench) 및 실제 로봇 조작 작업 전반에서 FCGRAFT가 강건성과 지연 시간 사이의 우수한 트레이드오프를 달성함을 입증했습니다.

실험 결과

저자들은 일반적인 CodeLLM 방법(CaP, SCoT), 메모리 기반 접근 방식(HELPER, LRLL, PromptBook), 그리고 KV 캐싱 방법(CAG, RAGCache, PromptCache, EPIC)을 포함한 9개의 경쟁력 있는 베이스라인과 FCGRAFT를 비교 평가했습니다.

• 성능 향상: 시뮬레이션 벤치마크 전반에서 FCGRAFT는 강력한 베이스라인인 RAGCache와 비교하여 평균 **18.31% 더 높은 작업 성공률(SR)**과 2.3배 빠른 정책 합성 지연 시간을 달기했습니다.
• 특정 벤치마크:
  • ALFRED: 두 번째로 우수한 베이스라인(LRLL)보다 SR에서 4.04% 앞섰으며 지연 시간을 2.67배 줄였습니다.
  • RLBench: CAG 대비 16.21% 높은 SR과 2.25배의 지연 시간 감소를 달성했으며, 특히 미세한 제어와 루프 구조를 요구하는 작업에서 탁월한 성능을 보였습니다.
  • 실제 로봇 공학: 물리적 로봇 실험(사무실 책상 정리 및 요리 워크스테이션 준비)에서 FCGRAFT는 CaP보다 37.04% 높은 SR을 달성하였고, RAGCache 대비 지연 시간을 2.88배 단축했습니다.
• 일관성: 프레임워크는 높은 코드 유사도(CSIM)와 양의 순방향 전이(FWT)를 유지하면서도 파괴적 망각(음의 역방향 전이) 없이 안정적인 재사용 가능 기술 축적을 보여주었습니다.

의의 및 주장

본 논문은 FCGRAFT가 에이전트로 하여 repeatedly 빠르게 그리고 신뢰성 있게 코드 정책을 생성하고 적응할 수 있게 함으로써, 확장 가능하고 범용적인 체화된 지능을 향한 중요한 단계임을 주장합니다.

• 재사용을 통한 강건성: 캐시로부터 검증된 제어 구조와 API 호출 패턴을 재사용함으로써, 프레임워크는 정책 합성을 입증된 프로그램 구조 쪽으로 편향시켜 호환되지 않는 프리미티브 조합과 같은 흔한 실패 모드를 방지합니다.
• 그래프팅을 통한 효율성: 불변 영역(스티칭으로 처리)과 적응 지점(패칭으로 처리)을 분리함으로써, 시스템은 유연하게 오류를 수정하면서도 중복 계산을 우회할 수 있습니다.
• 실용성: 시뮬레이션에서 실제 로봇 조작으로의 성공적인 전이는 예상치 못한 상태 변화(예: 가스 누출, 물체 배치 오류)에 대한 빠른 대응이 필수적인 시간 민감적이고 안전이 중요한 애플리케이션에 대한 본 프레임워크의 생존 가능성을 입증합니다.

저자들은 현재 구현이 에이전트당 격리된 코드 캐시를 유지하고 있어 멀티 에이전트 협력 설정에서의 확장성을 제한할 수 있다는 점을 언급하며 한계를 인정했습니다. 향후 연구로는 코드 캐시 공유 및 학습 기반의 제거(eviction) 정책 탐색이 제안되었습니다.