Belief Memory: Agent Memory Under Partial Observability

문제: 결정론적 기억의 자기 강화 오류
장기적, 부분적으로 관측 가능한 환경에서 작동하는 현재 대규모 언어 모델 (LLM) 에이전트는 지식을 축적하기 위해 외부 기억에 의존합니다. 그러나 사실적 스트림부터 자기 개선 성찰 시스템에 이르기까지 기존 기억 방법들은 결정론적 패러다임을 고수합니다. 이들은 각 관측치를 단일 범주적 결론 (예: "API X 실패") 로 저장하여 대안적 가설과 관측치 고유의 불확실성을 폐기합니다. 이러한 접근 방식은 "자기 강화 오류"를 생성합니다. 에이전트가 결함 있는 결론에 일단 매몰되면, 그 결론에 기반하여 행동하고, 이를 지지하는 것처럼 보이는 추가 관측치를 생성하지만 폐기된 대안들은 결코 재검토하지 않기 때문입니다. 에이전트가 세계의 실제 상태에 직접 접근할 수 없는 부분 관측 마르코프 결정 과정 (POMDP) 에서, 노이즈가 있는 관측치를 단일 진실로 축소하는 것은 새로운 증거가 도착했을 때 에이전트가 오류를 수정하는 것을 방해합니다.

방법론: BeliefMem
이를 해결하기 위해 저자들은 BeliefMem을 제안합니다. 이는 결정론적 결론을 저장하는 것에서 속성 수준의 신념 표현을 유지하는 것으로 전환하는 기억 패러다임입니다. 단일 점 추정치 대신 BeliefMem 은 각 속성에 대해 여러 후보 결론을 저장하며, 각 결론은 확률과 연관됩니다.

방법론은 세 가지 핵심 메커니즘을 통해 작동합니다:

1. 신념 기반 저장: 모든 속성 $c$(예: 도구 상태, 사용자 선호도) 에 대해 시스템은 후보 가설 집합 $H(c)$를 유지합니다. 고정된 집합에 대한 정규화된 사후 확률 대신, 관측치에 의해 지지된 후보들에 대한 증거 기반 확률을 저장합니다.
2. 확률적 업데이트 (Noisy-OR): 새로운 관측치가 도착하면 BeliefMem 은 두 가지 연산을 사용하여 기억을 업데이트합니다:
   • 추가 (Add): 새로운 속성이나 후보를 $[p_{min}, p_{max}]$로 제한된 확률로 초기화합니다.
   • 병합 (Merge): Noisy-OR 규칙을 사용하여 기존 후보를 업데이트합니다. 관측치가 가설을 지지하면 그 가설의 확률은 증가하고, 모순되는 가설을 지지하면 충돌하는 가설의 확률은 감소합니다 (예: 0.25 로). 이를 통해 시스템은 대안을 폐기하지 않고 점진적으로 신뢰도를 정제할 수 있습니다.
3. 신념 인식 검색: 검색 시 시스템은 최상위 결론뿐만 아니라 전체 후보 확률 집합과 함께 상위 $K$개 항목을 반환합니다. 이는 경쟁 가설들이 결정 시점에 에이전트에게 계속 보이도록 보장하여, 에이전트가 불확실성 하에서 추론하고 신념을 테스트하거나 정제하는 행동을 선택할 수 있게 합니다.

주요 기여

• 패러다임 전환: 이 논문은 에이전트 기억의 "결정론적 병목 현상"을 식별하고 해결하며, 점 추정치에서 확률적 신념 상태로 전환하는 것을 제안합니다.
• 자기 강화 오류 완화: 불확실성과 대안적 가설을 보존함으로써 BeliefMem 은 에이전트가 잘못된 결론에 갇히는 것을 방지하고, 새로운 증거가 축적됨에 따라 오류를 수정할 수 있게 합니다.
• 실용적 근사: 저자들은 Noisy-OR 증거 병합을 사용하여 신념 상태의 계산적으로 실현 가능한 근사치를 제공하며, 개방형 가설 공간에 대한 정확한 사후 확률을 유지하는 것의 비실현 가능성을 피합니다.

실험 결과
저자들은 LoCoMo(장기 대화 기억) 와 ALFWorld(구현 에이전트 상호작용) 두 가지 벤치마크에서 BeliefMem 을 평가했습니다.

• 성능: BeliefMem 은 MemGPT, MemoryBank, Mem0 과 같은 잘 알려진 베이스라인을 능가하며 두 벤치마크 모두에서 최고의 평균 성능을 달성했습니다.
• 데이터 효율성: 주목할 만한 점은 BeliefMem 이 표준 기억 코퍼스 크기의 50% 만 사용하여 우수한 결과를 달성했다는 것입니다. 일부 설정에서는 데이터의 16.67% 만으로도 베이스라인을 능가했습니다.
• 수정 및 수렴: 적대적 실험 결과, BeliefMem 은 결정론적 베이스라인보다 거의 두 배 더 효과적으로 결함 있는 기억 항목을 수정하며, 증거가 축적됨에 따라 높은 확률로 (Top-1 비율 87.68%) 진정한 결론에 수렴하는 것으로 나타났습니다.
• 일반화: 분포 외 (Unseen) 시나리오에서 BeliefMem 은 강력한 일반화를 보여주었으며, 종종 베이스라인보다 상당한 차이 (예: ALFWorld Unseen 작업에서 12.4%) 로 성능을 앞섰습니다.

의의
이 논문은 결정론적 기억 항목을 확률적 신념 표현으로 대체하는 것이 부분적으로 관측 가능한 환경에서 상당한 이득을 가져온다고 주장합니다. 불확실성을 폐기하는 대신 보존함으로써 BeliefMem 은 잘 입증된 지식에 대해서는 높은 확신으로 행동하면서도 새로운 증거가 prior 가정을 반박할 때 신념을 업데이트할 수 있는 능력을 유지하게 합니다. 이 연구는 에이전트 기억의 새로운 방향을 탐구하며, 신념 상태를 유지하는 것이 현재 결정론적 접근법보다 POMDP 최적 해를 더 효과적으로 근사하여 더 신뢰할 수 있고 적응력 있는 장기 에이전트로 이어진다는 것을 보여줍니다.