Repair the Amplifier, Not the Symptom: Stable World-Model Correction for Agent Rollouts

기술 요약: 증상이 아닌 증폭기를 수리하라

문제 정의
에이전트 플래닝이 짧은 도구 체인에서 수천 단계의 지속적인 워크플로우로 진화함에 따라, 실패는 고립된 예측이 아닌 거대한 플래닝 그래프 내부에서 빈번하게 발생하고 있습니다. 매 오류마다 전체 그래프를 다시 계획(Replanning)하는 것은 계산적으로 매우 비효용적이며 비효율적입니다. 이는 과도한 컨텍스트 예산을 소모하고, 대규모 언어 모델(LLM)을 무관한 증상에 노출시키며, 롱 컨텍스트 검색 성능을 저하시킬 위험이 있습니다.

본 논문이 다루는 핵심 문제는 **월드 모델 교정(World-Model Correction)**입니다. 즉, 실패한 플래닝 그래프 내에서 남은 시스템을 안정화할 수 있는 최소한의 연결된 서브그래프를 식별하는 것입니다. 과제는 가시적인 증상(즉각적인 오류가 높은 노드)과 근본적인 "증폭기"(후속 롤아웃에서 오류를 재증폭시키는 서브그래프)를 구별하는 데 있습니다. 단순히 높은 오류를 가진 노드를 스캔하거나 로컬 이웃을 확장하는 엔지니어링 접근 방식은 증상을 패치할 뿐 인과적 증폭 경로를 활성 상태로 남겨두기 때문에, 오류 재발을 초래하며 실패하는 경우가 많습니다.

방법론: WM-SAR
본 논문은 가시적인 증상으로부터 전방향으로 접근하는 대신, 오류 증폭으로부터 역방향으로 작동하는 교정 기법인 **WM-SAR (World-Model Subgraph Amplification Repair)**를 제안합니다. 이 방법은 두 단계로 작동합니다:

1. 그래프 기반 영역 선택 (단계 1):

   • 이론적 근거: 이 접근 방식은 롤아웃 오류의 성장이 결합된 노드-에지 연산자의 스펙트럴 반경($\rho(B)$)에 의해 제어된다는 관찰에 기초합니다. 만약 $\rho(B) > 1$이면 오류가 증폭되고, $\rho(B) \le 1$이면 오류가 감쇠합니다. 목표는 서브그래프 $R$을 찾아 이를 제거했을 때 잔여 스펙트럴 반경 $\rho(B_{G_f \setminus R})$을 최소화하는 것입니다.
   • 스코어링: WM-SAR는 각 노드에 대해 관측된 오류 크기와 해당 노드 이웃의 로컬 스펙트럴 반경의 곱으로 정의되는 그래프 오류 증폭 필드(GEAF) 점수를 계산합니다. 또한 노드와 에지 채널 간의 초가산적 상호작용을 측정하기 위해 결합 계수($\kappa_v$)를 계산합니다.
   • 탐욕적 확장 (Greedy Growth): 높은 점수를 가진 시드(seed)에서 시작하여, 알고-리즘은 잔여 스펙트럴 반경의 감소량인 한계 스펙트럴 완화(marginal spectral relief, $\Delta\rho_{rel}$)를 최대화하는 경계 노드들을 추가함으로써 수리 영역을 탐욕적으로 확장합니다. 이 과정은 예산 제약이 충족되거나 더 이상의 완화가 불가능할 때까지 계속됩니다.
   • 가지치기 (Pruning): 스펙트럴 완화에 기여하지 않는 중복 노드들을 제거하여 영역을 압축적으로 유지합니다.

2. LLM 기반 수리 (단계 2):
   최적의 서브그래프 $R^*$이 식별되면, 오직 이 연결된 영역만을 직렬화하여 LLM에 전달합니다. LLM은 근본 원인을 식별하고 구조화된 수리 결정을 내리는 임무를 수행합니다. 이는 전체 실패 트레이스를 직렬화하여 무관한 다운스트림 증상에 토큰을 낭비하는 전체 그래프 방식과 대조됩니다.

주요 기여

• 문제 정식화: 월드 모델 교정을 단순한 전체 그래프 재계획이나 최대 오류 패치가 아닌, 잔여 월드 모델을 안정화하는 가장 작은 연결된 영역을 찾는 제약 최적화 문제로 재정의했습니다.
• 엔지니어링 베이스라인: 엄격한 비교를 위해 Top-K, 슬라이딩 윈도우, k-hop 이웃, 캐스케이드 스캔을 포함한 강력한 엔지니어링 교정 모델 군을 구현하고 평가했습니다.
• WM-SAR 알고리즘: GEAF와 노드-에지 결합을 사용하여 "증폭기" 서브그래프를 식별하는 스펙트럴-그래프 접근 방식을 도입했습니다. 또한 잔여 스펙트럴 반경이 플래닝 후회(planning regret)를 제어한다는 이론적 증명을 제공합니다.
• 실증적 증거: WM-SAR가 전체 그래프 LLM 수리 또는 대규모 이웃 스캔에 필요한 토큰의 극히 일부만을 사용하면서도 전체 그래프 수준의 안정화를 달성함을 입증했습니다.

결과
실험은 플래너-실행기-검증기 워크플로우를 모사하는 합성 이종 호출 트리 테스트베드와 SWE-bench, WebArena, AgentBench에서 영감을 얻은 토폴로지에서 수행되었습니다.

• 안정성 vs 증상 패칭: 엔지니어링 교정기(예: Greedy-Point, Window-based)는 즉각적인 오류는 줄이는 데 성공하지만, 증폭 채널을 활성 상태로 남겨두기 때문에 장기적인 오류 곡선을 평탄화하는 데는 종종 실패합니다. 반면, 잔여 스펙트럴 반경을 타겟팅하는 WM-SAR는 오류 곡선을 평탄화하여 오류의 재성장을 방지합니다.
• 토큰 효율성: WM-SAR는 GPT-4o-mini 실험에서 전체 그래프 프롬프트(약 2157+ 토큰)보다 훨씬 적은 토큰(약 855 토큰)을 사용하면서도 전체 그래프 LLM 수리와 대등하거나 더 우수한 근본 원인 복구 성능을 보였습니다.
• 예산 민감도: 엄격한 수리 예산 하에서 WM-SAR는 적은 영역 크기(예: 약 8개 노드)로도 높은 스펙트럴 완화에 도달하는 반면, 엔지니어링 방식은 유사한 안정성을 달성하기 위해 훨씬 더 큰 영역(종종 전체 그래프 범위에 근접)이 필요합니다.
• 교차 모델 강건성: WM-SAR의 성능 우위는 다양한 LLM 티어(GPT-4o, GPT-4o-mini, Gemini-2.5-Flash) 전반에서 유지되었으며, 이는 이 이점이 특정 모델의 특이점이 아닌 더 나은 컨텍스트 선택 능력에서 기인함을 나타냅니다.
• 한계점: 이 방법은 관찰 가능한 노드별 오류 신호에 의존합니다. 최종 답변만 알 수 있는 블랙박스 귀속 시나리오(예: "Who&When" 벤치마크)에서는 GEAF 점수를 계산할 수 없으므로 WM-SAR의 성능이 저하되어 단순 싱크 노드(sink-node) 선택과 유사한 동작으로 회귀합니다.

의의 및 주장
본 논문은 현재 에이전트 수리 전략의 주요 실패 모드가 수리 대상(가시적 증상)과 안정성 목표(잔여 증폭) 사이의 불일치에 있다고 주장합니다. "증폭기를 수리하는 것"으로 초점을 전환함으로써, WM-SAR는 비용이 많이 드는 전체 그래프 재계획 없이도 긴 호라이즌에 걸쳐 안정적인 월드 모델을 유지할 수 있게 합니다.

저자들은 이 접근 방식이 휴리스틱 스캔에 대한 원칙적인 대안을 제공하며, 다운스트림 노이즈를 제외하면서도 인과적 가교를 보존하는 "더 깨끗한" 수리 대상을 LLM에 제공한다고 주장합니다. 이 연구는 향후 에이전트 시스템이 단순히 가장 눈에 띄는 실패에 반응하는 것이 아니라, 오류를 전파하는 구조적 연산자를 식별하고 수리하는 것을 우선시해야 함을 시사합니다.