기술 요약: RIZZ (근접 제로 간섭 구역으로의 상호작용 라우팅)

문제 정의

대규모 언어 모델(LLM)은 모델 가중치에 접근할 수 없는 환경(블랙박스 설정)에서, 비정상적(non-stationary)인 사용자, 작업 및 피드백 체계에 적응해야 하는 장기 생존형 복합 에이전트로 점점 더 많이 배포되고 있습니다. 기존의 적응 전략은 이 체제에서 세 가지 주요 한계에 직면합니다:

1. 단일 프롬프트/글로벌 메모리 최적화: 단일 프롬프트를 최적화하거나 차별화되지 않은 글로벌 메모리를 유지하는 방법은, 한 작업 군에서 얻은 교훈이 관련 없는 다른 작업의 동작을 오염시키는 파괴적 간섭(catastrophic interference) 문제를 겪습니다.
2. 검색 중심 접근 방식: 반복적인 롤아웃이나 광범위한 탐색에 의존하는 기술은 계산 비용이 많이 들며, 온라인 및 컨텍스트 예산이 제한된 시나리오에서는 실용적이지 못한 경우가 많습니다.
3. 선택성 결여: 현재의 시스템은 재사용 가능한 절차적 구조와 작업 특화적 노이즈를 구분하지 못하는 경우가 많으며, 이는 취약한 성능이나 낭비적인 격리로 이어집니다.

핵심 과제는 고정된 밑바탕 모델의 파라미터를 업데이트하지 않고도, 에이전트가 경험으로부터 지속적으로 개선(온라인 적응)되도록 하면서 작업 군 간의 간섭을 명시적으로 제어하는 것입니다.

방법론: RIZZ 프레임워크

RIZZ(Routing Interactions to Near Zero-Interference Zones)는 학습의 중심을 모델 파라미터에서 외부의 라우팅된 메모리 시스템으로 전환하는 지속적 적응 프레임워크입니다. 이 시스템은 고정된 블랙박스 LLM 위에서 작동하며, 계층적 라우팅(Hierarchical Routing), 브랜치 로컬 메모리(Branch-Local Memory), **검증기 게이트 기반 진화(Verifier-Gated Evolution)**라는 세 가지 핵심 메커니즘에 의존합니다.

1. 적응형 상태 및 계층적 라우팅

단일 글로벌 메모리 대신, RIZZ는 각 브랜치가 "제로 간섭 구역" 또는 특화된 전문가 메모리 역할을 하는 **브랜치 뱅크(Branch Bank, $B_t$)**를 유지합니다.

• 레이블링: 각 쿼리에 대해, 경량 라우터(LLM 판사 사용)는 **함수(function, $f$)**와 **애플리케이션(application, $a$)**으로 구성된 계층적 레이블을 할당합니다.
• 스내핑(Snapping) 및 중복 제거: 시스템은 임베딩 유사도를 사용하여 애플리케이션을 기존 브랜치에 스내핑하고($\tau_{snap} = 0.92$), 동일 함수 내 형제 브랜치 간에는 Jaccard 토큰 중첩을 사용합니다($\tau_J = 0.40$). 이는 전문화를 허용하면서도 파편화를 방지합니다.
• 동적 생성: 호환 가능한 브랜치가 없고 용량이 허용되는 경우, 새로운 브랜치가 생성됩니다. 브랜치가 불필요해지면 병합되거나 제거됩니다.
• 라우팅 로직: 라우터는 쿼리의 함수와 애플리케이션에 가장 잘 부합하는 브랜치를 선택하여, 관련된 상호작용이 함께 그룹화되도록 보장합니다.

2. 브랜치 로컬 메모리 기질

각 브랜치 $b$는 여러 유형의 메모리를 포함합니다:

• 에피소드 메모리(Episodic Memory): 검증기가 승인한 입출력 예시를 저장합니다.
• 절차적 메모리(Procedural Memory): 성공적인 배치로부터 추출된 압축된 IF-THEN 규칙을 저장합니다. 규칙은 검증기 피드백에 기반한 도움/해로움 카운터에 의해 가중치가 부여됩니다.
• 실패 메모리(Failure Memory): 반복을 방지하기 위해 "흔한 실수"(안티 패턴)로서 실질적인 오답을 저장하며, 과도한 일반화를 피하기 위해 브랜치 내에 로컬로 유지됩니다.
• 스코프 컨텍스트(Scoped Context): 메타데이터 범위에 따라 필터링된 세션별 증거를 검색합니다.

3. 검증기 게이트 기반 메모리 진화

메모리 업데이트는 결정론적 검증기(예: 퍼지 비율, 완전 일치, 코드 실행)에 의해 엄격하게 제어됩니다.

• 쓰기 정책: 검증기 의존 임계값을 통과한 상호작용만이 영구 메모리에 기록됩니다.
• 규칙 승격: 성공적인 상호작용은 절차적 규칙으로 정제될 수 있습니다. 실패는 안티 패턴으로 유지됩니다.
• 격리(Quarantine): 낮은 보상을 받거나 중심점에서 벗어난 상호작용은 격리되거나 폐기되어 브랜치를 오염시키는 것을 방지합니다.
• 프롬프트 컴파일: 경계가 있는 프롬프트 컴파일러는 검색된 자료(스코프 컨텍스트, 에피소드 예시, 규칙, 실수)를 고정된 토큰 예산(예: 64K) 내에서 프롬프트로 조립합니다. 컨텍스트 오버플로를 방지하기 위해 우선순위가 낮은 블록이 먼저 제거됩니다.

주요 기여

1. 작업 불가지론적 라우팅 프레임워크: RIZZ는 블랙박스 적응을 고정된 모델을 통해 외부 상태만을 활용하여 지속적으로 적응하는 온라인 결정 문제로 정식화합니다. 이는 정답 태스크 ID나 사전 지정된 분류 체계 없이도 온라인으로 전문화된 메모리 브랜치를 발견합니다.
2. 압축된 브랜치 로컬 메모리: 출력 형태 가드, 임베딩 기반 스내핑, Jaccard 중복 제거를 결합한 계층적 라우팅 메커니즘을 도입합니다. 이를 통해 관련 경험을 하나로 묶고, 교차 작업 간섭을 제한하며, 동적인 브랜치 생성 및 병합을 가능하게 합니다.
3. 검증기 게이트 기반 진화: 메모리 업데이트는 전적으로 보상 검증에 의존합니다. 이는 검증된 유용한 상호작용만이 메모리를 업데이트하도록 보장하며, 실패는 구체적인 안티 템플릿으로 저장됩니다. 예산 인식 컴파일러는 시스템이 비용 효율적으로 유지되도록 보장합니다.
4. 효율적인 실증적 성능: RIZZ는 고정된 베이스 모델인 Claude Haiku 4.5를 사용하여 네 가지 벤치마크에서 높은 정확도를 달달성했습니다.

실험 결과

저자들은 Claude Haiku 4.5를 고정된 베이스 모델로 사용하여 네 가지 벤치마크에서 RIZZ를 평가했습니다:

• TRACE (순차적 지속 학습): RIZZ는 Frozen 베이스라인 대비 평균 보상을 +6.9 퍼센트 포인트, AMem 대비 +7.6 포인트 개선했습니다. 결정적으로, ACE 베이스라인은 긴 입력 작업에서 컨텍스트 윈도우 오버플로로 인해 붕괴(보상 0.047)한 반면, RIZZ는 플레이북을 압축적으로 유지(10~15K 토큰 수준에서 안정화)하고 브랜치 수를 제한(총 48개, 31개 활성)함으로써 안정성을 유지했습니다.
• StreamBench (온라인 인터리브 스트림): RIZZ는 Frozen 대비 +3.3 퍼센트 포인트, AMem 대비 +2.2 포인트 개선되었으며, 총 비용 또한 더 낮았습니다($7.37 vs Frozen의 $7.99). RIZZ는 트래픽을 고용량 전문 브랜치(예: 트래픽의 43%를 처리하는 임상 진단 브랜치)로 성공적으로 집중시켰습니다.
• LongMemEval-S (대화형 메모리): RIZZ는 가장 높은 평균 보상(0.484)을 달성하여 AMem(0.322)과 Frozen(0.202)을 크게 앞질렀습니다. RIZZ는 서로 다른 대화 세션에 별도의 브랜치를 할당함으로써 멀티 세션 및 시간적 추론 작업에서 탁월한 성능을 보였으며, 반면 ACE는 컨텍스트 윈도우 고갈로 인해 실패했습니다.
• $\tau$-Bench (도구 사용): RIZZ는 ReAct 에이전트의 pass@1을 0.352(Frozen)에서 0.400으로 개선하여, 최소한의 비용 증가로 ACE(0.370)와 AMem(0.303)을 능가했습니다.

어블레이션 연구(Ablation Studies): 절차적 메모리를 제거하거나, 단일 브랜치 라우팅을 강제하거나, 안티-파편화 메커니즘을 비활성화하면 측정 가능한 성능 저하가 발생하여, 브랜치 구조와 검증기 게이팅의 필요성을 확인했습니다.

의의 및 주장

본 논문은 블랙박스 에이전트를 위한 지속적 적응이 파인튜닝이나 무제한적인 컨텍스트 성장 없이도 효과적으로 달성될 수 있음을 RIZZ가 입증한다고 주장합니다.

• 간섭 제어: 상호작용을 근접 제로 간섭 구역으로 라우팅함으로써, RIZZ는 가중치 레벨이 아닌 메모리 레벨에서 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결합니다. 이를 통해 에이전트는 관련 없는 작업을 오염시키지 않으면서 구조가 반복되는 영역(예: 반복되는 출력 형식, 도메인 정책)에서 지식을 축적할 수 있습니다.
• 운영 효율성: 거대한 글로벌 플레이북으로 인해 컨텍스트 붕괴나 높은 토큰 비용을 겪는 베이스라인들과 달리, RIZZ는 운영 측면에서 가볍게 유지됩니다. 컨텍스트 예산이 타이트해지면 실패하는 대신, 고정된 베이스라인으로 우아하게 퇴보(graceful degradation)합니다.
• 실용성: 본 프레임워크는 적응이 엄격한 컨텍스트 예산 하에서 온라인으로 이루어져야 하는 환경을 위해 설계되었으므로, 실제 세계의 복합 AI 시스템 배포에 적합합니다.

저자들은 RIZZ가 향서의 복합 AI 시스템이 끊임없이 커지는 구별되지 않은 트랜스크립트에 의존하기보다, 큐레이션되고 라우팅되며 감사 가능한 메모리 기질을 활용하게 될 것임을 시사한다고 결론짓습니다.