When Not to Write Memory: Governing False Promotion from Correlated Agent Traces

기술 요약: 언제 메모리를 작성하지 않을 것인가: 상관관계가 있는 에이전트 흔적으로부터의 허위 승격 제어

문제 정의
장기 실행되는 언어 에이전트가 자신의 실행 흔적(execution traces)으로부터 재사용 가능한 메모리를 생성하는 기능이 늘어남에 따라, 중요한 안전 실패 모드인 **허위 승격(false promotion)**이 등장했습니다. 핵심 문제는 여러 에이전트에 걸쳐 반복되는 관찰이 반드시 독립적인 증거를 의미하지는 않는다는 점입니다. 다섯 명의 에이전트가 동일한 주장을 반복할 때, 이는 다섯 개의 독립적인 발견일 수도 있지만, 하나의 오래된 노트, 공유된 프롬프트 산물, 복사된 소스, 또는 도구로 인한 에코(echo)일 수도 있습니다. 이러한 상관관계가 있는 반복을 장기 메모리로 무분별하게 승격시키는 것은 상관관계가 있는 오류를 영속화하는 층을 만드는 결과를 초환합니다. 본 논문은 문제를 '무엇을 기억할 것인가'가 아니라, '언제 메모리 작성을 거부할 것인가'로 규정하며, 특히 상관관계가 있는 멀티 에이전트 흔적에 대한 쓰기 경로의 거버넌스를 다룹니다.

방법론: GovMem
저자들은 메모리 쓰기 경로를 관리하기 위해 보수적인 진단 참조 정책이자 사이드 에이전트 감사자인 GovMem을 소개합니다. GovMem은 메모리 작성을 요약 문제로 취급하는 대신, 이를 **증거 거버넌스 결정(evidence-governance decision)**으로 프레임화합니다. 이 시스템은 후보 메모리가 장기 저장소에 도달하기 전에 이를 가로채는 태스크 독립적 감사자로 작동합니다.

GovMem 파이프라인은 다음 네 단계를 실행합니다:

1. 후보 집계(Candidate Aggregation): 출처 메타데이터(소스, 프롬프트 패밀리, 부모 이벤트, 환경, 신뢰도)를 유지하면서 유사한 주장 텍스트를 가진 관찰들을 집계합니다.
2. 의존성 인지 지원 추정(Dependency-Aware Support Estimation): 단순 빈도나 고유 소스 수를 세는 대신, 의존 구조에 따라 관찰들을 그룹화합니다. 프롬프트, 도구, 중간 컨텍스트 또는 부모 이벤트를 공유하는 관찰은 독립적이지 않은 것으로 간주되어 별도의 투표로 계산되지 않습니다.
3. 반례 검색 및 범위 할당(Counterexample Retrieval & Scope Assignment): 잠재적 반증을 검색하고 대상 범위 적합성을 확인합니다. 이는 텍스트적 일치만으로는 신뢰할 수 없는 자신감 신호임을 인식하는 과정입니다.
4. 결정 라우팅(Decision Routing): 의존성 인지 검증을 바탕으로 승격(PROMOTE), 거절(REJECT), 또는 검토 필요(NEEDS-REVIEW) 중 하나의 결정을 출력합니다.

주요 기여

1. 실패 모드 식별: 본 논문은 복사된, 프롬프트 상관관계가 있는, 오래된, 적대적인, 또는 범위를 벗어난 관찰로부터 발생하는 "허위 승격"을 별개의 중요 메모리 실패 모드로 식별했습니다.
2. 거버넌스 정식화: 메모리 작성을 요약 품질이 아닌 프로비넌스(provenance)와 의존성에 기반하여 후보를 승격, 거절 또는 검토로 라우팅하는 증거 거버넌스 문제로 재정의했습니다.
3. GovMem 구현: 이를 의존성 인지 지원, 반증 및 범위 체크를 사용하여 후보를 감사하는 보수적인 사이드 에이전트 정책으로 구현했습니다.
4. 포괄적 평가: 저자들은 통제된 메커니즘 실험(GovMem-Bench), 프로젝트 내부의 인간 골드 리얼 트레이스(human-gold real-trace) 평가, 그리고 외부 스트레스 테스트(최종 인간 판정 고영향 패킷 포함)를 제공합니다.

실험 결과
평가는 합성 벤치마크, 내부 실제 트레이스, 외부 코딩 에이전트 스트레스 테스트를 포괄합니다.

• 통제된 합성 테스트 (GovMem-Bench): 기본 설정에서 GovMem-Verified는 원시 빈도 베이스라인의 허위 승격률을 0.597에서 0.040으로 낮추면서도, 0.960의 재현율(recall)을 유지했습니다. 이는 0.151의 명시적인 검토 부담을 수반했습니다.
• 내부 실제 트레이스 평가: 79개 트레이스에서 추출한 120개 후보에 대한 인간 레이블링 서브셋에서, 의존성 인지 승격은 허위 승격을 0.371(소스+범위 베이스라인)에서 0.032로 줄였습니다. 그러나 이 안전 이득은 상당한 검토 부담 증가(0.042에서 0.692로)와 직접 재현율 하락(0.985에서 0.448로)을 초래했습니다.
• 외부 스트레스 테스트 (V2 고영향 패킷): 133개의 고영향 외부 코딩 에이전트 후보에 대한 최종 인간 판정 결과는 심각했습니다: 자동 승격에 안전하다고 판단된 후보가 **제로(0)**였습니다. 특히, 로컬 검증 게이트를 통과한 11개의 후보 모두가 보일러플레이트, 공유 도구 산물, 파일 덤프 또는 재사용 불가능한 디버깅 트레이스라는 이유로 인간 판정자들에 의해 거절되었습니다.
• 베이스라인 비교: "모든 상관관계 대상 검토(review-all-correlated)" 베이스라인(비독립적 증거를 모두 인간에게 라우팅)은 내부 설정에서 더 나은 재현율과 낮은 부담을 보이며 GovMem의 안전성에 거의 근접하는 놀라운 성능을 보였습니다. 이는 GovMem이 보편적으로 우월한 솔루션이라기보다 리스크 제어 공간 내의 특정 설계 지점임을 시사합니다.

의의 및 주장
본 논문은 스스로를 일반적인 효율적 자동 메모리 작성기의 검증 논문이 아닌, 진단 및 방법론 논문으로 명확히 포지셔닝합니다.

• 진단적 안전성 주장: 주요 기여는 프로비넌스와 범위를 체크하여 반복을 상관관계가 있는 증거로 취급하는 제어된 쓰기 경로가 허위 승격을 크게 줄일 수 있음을 입증한 것입니다.
• 자동화에 대한 한계: 저자들은 검증 증거가 노이즈가 많은 에이전트 트레이스에서 추출될 때 자동 승격이 여전히 취약할 수 있다고 경고합니다. 외부 결과는 표면적인 검증 단서(예: pytest 출력, 파일 목록)가 안전한 메모리 작성을 위한 충분한 정보가 되지 못함을 보여줍니다.
• 설계 공간: GovMem은 명시적 프로비넌스와 보수적 결정을 강조하는 리스크 제어 설계 공간의 한 지점으로 제시됩니다. 논문은 에이전트 메모리 쓰기 경로가 리스크 제어된 증거 거버넌스 시스템으로서 평가되어야 한다고 주장합니다.
• 향후 요구사항: 저자들은 자동 메모리 작성에 대한 더 강력한 주장을 위해서는 더 넓은 독립 레이블링 외부 커버리지, 다운스트림 피해 증거, 그리고 더 강력한 이벤트 레벨 검증이 필요하다고 밝히며, 본 연구에서는 이들이 완전히 확립되지 않았음을 명시했습니다.

요약하자면, 본 논문은 "반복은 증거가 아니다"라고 주장하며 상관관계가 있는 오류를 필터링하기 위한 거버넌스 프레임워크를 제안하는 동시에, 현재의 자동 승격 메커니즘은 상당한 인간의 검토나 추가적인 검증 없이는 배포하기에 아직 견고하지 못하다는 점을 인정하고 있습니다.