💻 computer science

TARL: Transaction-Aware Reliable Ledgers for Executable Memory Management in Long-Term Agents

이 논문은 업데이트를 이진 결정 대신 다섯 가지의 뚜렷한 실행 가능한 동작으로 매핑함으로써 상태 복구와 충돌 보존을 개선하여 메모리 오염 및 누적 부패를 줄임으로써 장기 에이전트 메모리 관리를 강화하는 트랜잭션 인식 프레임워크인 TARL을 소개한다.

원저자: Han Xiao, Hongjun Xu, Xin Zhang, Yidong Chen, Xiaodong Shi

게시일 2026-08-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Han Xiao, Hongjun Xu, Xin Zhang, Yidong Chen, Xiaodong Shi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

기억의 문제: 왜 AI 에이전트에게는 더 나은 노트가 필요한가

당신이 로봇에게 당신의 가장 친한 친구가 되는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 당신이 말해준 것들, 예를 들어 당신이 가장 좋아하는 색깔이나 브로콜리를 싫어한다는 사실 같은 것들을 기억해주길 바랍니다. 컴퓨터 과학의 세계에서 이것은 AI에게 "장기 기억"을 부여하는 것이라고 불립니다. 현재 많은 AI 시스템은 매우 의욕적이지만 약간 서투른 서기처럼 작동합니다. 당신이 무언가를 말하면, 그들은 종-종 단순히 "기록해!" 또는 "무시해!"라고 결정해 버립니다. 이는 단순한 예/아니오의 선택입니다.

하지만 인간의 기억은 그렇게 단순하지 않습니다. 때로는 이전에 생각했던 것을 바꾸는 새로운 사실을 배우기도 하고(예를 들어 브로콜리가 사실은 정말 맛있다는 것을 깨닫는 것처럼), 때로는 아직 사실인지 확신할 수 없는 소문을 듣고 "아마도"라는 더미에 넣어두기도 합니다. 또 어떤 때는 거짓말을 듣고, 나중에 그것을 믿지 않도록 쓰레기통에 던져버려야 할 때도 있습니다. 만약 로봇이 모든 것에 대해 단순히 "기록해"라고만 한다면, 결국 혼란에 빠져 사실과 거짓, 그리고 옛날 아이디어와 새로운 아이디어를 뒤섞어 버릴 것입니다. 이 논문은 이러한 혼란을 해결하기 위해 다음과 같은 질문을 던집니다. 어떻게 하면 AI가 단순히 무작정 추가하거나 삭제하는 대신, 자신의 기억을 어떻게 업데이트해야 하는지 정확히 아는 똑똑한 사서가 되도록 가르칠 수 있을까?

TARL: 다섯 가지 도구의 메모리 키트

이 논문의 저자인 샤오먼 대학교의 한 샤오(Han Xiao)와 그의 팀은 TARL(Transaction-Aware Reliable Ledgers)이라는 새로운 시스템을 소개했습니다. TARL을 기억 업데이트를 단순한 전등 스위치(켜기/끄기)처럼 다루지 않고, 다섯 가지 뚜렷한 도구가 있는 맥가이버 칼(Swiss Army knife)처럼 다루는 매우 똑똑한 기억 관리자라고 생각해보세요.

단순히 "이것을 기억해야 할까?"라고 묻는 대신, TARL은 "이것을 기억하는 데 어떤 종류의 작업이 필요한가?"라고 묻습니다. TARL은 모든 새로운 정보를 다섯 가지 특정 동작 중 하나로 분류합니다:

추가(Append): "이것은 완전히 새로운 것이다! 메인 리스트에 추가하라."
수정(Revise): "이것은 오래된 것을 업데이트한다. 기존의 사실을 이 새로운 것으로 교체하되, 만약을 대비해 기존의 것도 기록(archive)에 남겨두라."
거부(Reject): "이것은 거짓이거나 충돌하는 내용이다. 우리의 사고를 망치지 않도록 '거부됨' 함에 던져버려라."
보류(Defer): "아직 잘 모르겠다. 나중에 확인하기 위해 '대기 중' 폴더에 넣어두라."
무시(Noop): "이미 알고 있거나 쓸모없는 내용이다. 아무것도 하지 마라."

저자들은 대부분의 현재 AI 시스템이 이 다섯 가지 동작을 단 두 가지, 즉 "쓰기"(추가와 수정을 혼합함)와 "유지"(거부, 보류, 무시를 혼합함)로 그룹화하는 실수를 범하고 있다고 주장합니다. 저자들은 이러한 "쓰기/유지" 방식이 마치 망치 하나만 가지고 자동차를 고치려는 것과 같다고 설명합니다. 때로는 드라이버가 필요하고, 때로는 렌치가 필요합니다. 만약 망치만 있다면 엔진을 망가뜨릴 수도 있습니다.

TARL의 작동 원리: 3중 장부 시스템

이 다섯 가지 도구를 작동시키기 위해, TARL은 기억을 세 가지 별도의 "장부"(또는 노트)로 구성합니다:

수락된 장부(The Accepted Ledger): 이것은 "진실의 책"입니다. AI가 현재 확신하고 있는 사실들을 담고 있습니다.
대기 중인 장부(The Pending Ledger): 이것은 "아마도 상자"입니다. 흥미롭지만 사실이 되기 전에 더 많은 증거가 필요한 정보들을 담고 있습니다.
거부된 장부(The Rejected Ledger): 이것은 "쓰레기통"입니다. 거짓, 충돌, 또는 오래된 정보를 담고 있지만, AI가 왜 그것을 거부했는지 알 수 있도록 계속 보이게 유지합니다.

새로운 진술이 들어오면, TARL은 단순히 추측하지 않습니다. 그것은 탐정처럼 행동합니다:

대상 찾기: 이 새로운 정보가 관련될 수 있는 특정 사실을 "진실의 책"에서 찾습니다.
신뢰도 확인: 새로운 정보의 신뢰도를 기존의 사실과 비교합니다. 새로운 출처가 더 나은가요? 기존의 사실이 구식인가요?
도구 선택: 그 비교를 바탕으로 다섯 가지 동작 중 하나를 선택합니다. 만약 새로운 정보가 더 낫다면, 기존의 사실을 수정하고 기존의 것은 기록에 남깁니다. 만 만약 새로운 정보가 거짓이라면, 그것을 거부합니다.

핵심 비결: "만약 ~라면"을 통한 학습

이 논문의 가장 멋진 부분 중 하나는 TARL을 어떻게 훈련시켰는가 하는 점입니다. 보통 AI는 "너는 맞는 단어를 골랐다"라고 들으며 학습합니다. 하지만 TARL은 "너는 맞는 결과를 골랐다"라고 들으며 학습합니다.

연구진은 **반사실적 실행 감독(Counterfactual Execution Supervision)**이라는 기술을 사용했습니다. 다양한 움직임을 시도하고 그에 따른 점수의 변화를 볼 수 있는 비디오 게임을 상상해 보세요. TARL은 현재의 기억 상태에 대해 가능한 다섯 가지 움직임을 모두 시도합니다. 그런 다음 "골드 스탠다드"(완벽한 기억 상태)를 보고 어떤 움직임이 실제로 올바른 결과를 가져왔는지 확인합니다. TARL은 단순히 들리기에 좋은 움직임이 아니라, 올바른 미래 상태로 이어지는 움직임을 선택하도록 학습합니다. 이를 통해 AI는 수정하는 것이 새로운 것을 추가하는 것과 매우 다르다는 것을 이해하게 됩니다. 단순한 시스템에서는 둘 다 "쓰기"처럼 보일 수 있음에도 말입니다.

결과: 더 똑똑하고 깔끔한 기억

연구팀은 5,000개 이상의 까다로운 기억 상황을 포함하는 TARL-Mem이라는 새로운 벤치마크를 만들어 TARL을 테스트했습니다. 그들은 TARL을 7개의 다른 인기 있는 메모 시스템과 비교했습니다.

결과는 명확했습니다:

더 높은 정확도: TARL은 올바른 동작을 선택하는 데 훨씬 뛰어났습니다. TARL은 0.8286의 5-way Macro F1 점수를 기록하며, 그다음으로 높은 시스템인 MemAgent(0.7871)를 앞질렀습니다.
더 적은 실수: TARL은 "오염(pollution)" 오류(잘못된 정보를 진실의 책에 넣는 것)를 훨씬 적게 범했습니다. TARL의 오염율은 0.2524로, Full History(0.3191)와 같은 다른 시스템보다 현저히 낮았습니다.
충돌 처리: 사실들이 충돌할 때, TARL은 올바른 것을 유지하고 잘못된 것을 기록하는 데 더 뛰어났습니다. TARL은 **0.5476의 충돌 보존 정확도(Conflict Preservation Accuracy)**를 달성하여 경쟁 시스템들을 압도했습니다.
장기적 안정성: AI가 긴 일련의 사건들을 기억해야 하는 테스트에서, TARL은 다른 시스템들만큼 혼란스러워하거나 부패하지 않았습니다.

이 논문은 단순한 "쓰기/유지" 결정만으로는 신뢰할 수 있는 장기 기억을 갖기에 충분하다는 생각을 명시적으로 반박합니다. 실험 결과, 설령 AI가 "쓰기/유지" 결정을 맞히더라도, 어떻게 업데이트해야 하는지 모른다면 여전히 기억을 올바르게 업데이트하는 데 실패할 수 있음을 보여주었습니다.

이것이 중요한 이유

이 연구는 AI 에이전트가 (예를 들어 당신의 생일을 잊거나 가짜 뉴스를 믿기 시작하지 않는 개인 비서처럼) 시간이 지나도 진정으로 신뢰할 수 있으려면, 단순한 기록자 이상의 존재가 되어야 함을 시사합니다. AI에게 더 세밀한 기억 관리 도구를 제공함으로써, TARL은 작은 실수가 쌓여 나중에 추론을 망치는 "누적된 부패(cumulative corruption)"를 방지하는 데 도움을 줍니다.

저자들은 이 접근 방식이 단순한 테스트뿐만 아니라, AI가 새로운 유형의 데이터나 까다로운 시간 기반 사실에 직면했을 때도 효과적이라는 것을 발견했습니다. 그들이 세상의 모든 기억 문제를 해결했다고 주장하는 것은 아니지만, 이진법적인 "온/오프" 스위치에서 다섯 가지 도구의 키트로 이동하는 것이 장기적으로 명확하게 생각하고 정확하게 기억하는 에이전트를 구축하는 데 있어 중요한 진전임을 보여주었습니다.

기술 요약: TARL: 실행 가능한 메모리 관리를 위한 트랜잭션 인식 신뢰 가능 원장 (Transaction-Aware Reliable Ledgers)

문제 정의

지속적인 메모리는 장기 에이전트가 세션 전반에 걸쳐 지식을 유지하는 데 필수적이지만, 이는 치명적인 취약점을 수반합니다. 즉, 단 한 번의 업데이트 오류가 지속되어 반복적으로 검색 결과에 나타나고 미래의 추론을 왜곡할 수 있다는 점입니다. 기존 시스템은 일반적으로 메모리 업데이트를 **쓰기/유지(Write/Hold)**라는 이진 결정으로 축소합니다. 이러한 거친 입도(granularity)는 다음과 같이 동일한 이진 레이블을 공유하지만 근본적으로 다른 업데이트 시나리오를 구분하지 못합니다:

새로운 정보를 **추가(Appending)**하는 것 vs. 오래된 신념을 **수정(revising)**하는 것.
중복된 정보를 **무시(Ignoring)**하는 것 vs. 신뢰할 수 없는 상충하는 증거를 **거부(rejecting)**하는 것 vs. 검증을 **보류(deferring)**하는 것.

이러한 서로 다른 행동들은 서로 다른 메모리 상태를 생성하기 때문에, 이진 감독(binary supervision)은 정확한 다음 상태 복구에 필요한 정보를 상실하게 됩니다. 결과적으로 에이전트는 "메모리 오염"(검증되지 않았거나 상충하는 데이터를 저장함)을 축적하거나, 미래의 판결을 위해 필요한 증거를 보존하는 데 실패할 수 있습니다.

방법론

저자들은 **TARL (Transaction-Aware Reliable Ledgers)**을 소개합니다. 이 프레임워크는 메모리 업데이트를 이진 분류가 아닌 명시적이고 실행 가능한 상태 전이(state transitions)로 모델링합니다.

1. 3중 원장 세만틱스 (Three-Ledger Semantics)
TARL은 지속적 메모리 상태 $M_t$ 를 세 가지 구별된 원장의 튜플로 표현합니다:

수용됨 (Accepted, $A_t$ ): 검색 가능한 활성 상태의 신뢰할 수 있는 증거.
대기 중 (Pending, $P_t$ ): 검증을 기다리는 미결 증거.
이력/거부됨 (History/Rejected, $H_t$ ): 비활성 항목들로, 여기에는 ( $A_t$ 에서 아카이브된) 대체된 기록과 거부된 후보들이 포함됩니다.

2. 5가지 실행 가능한 행동 (Five Executable Actions)
이진 선택 대신, TARL은 각 입력 문장을 다섯 가지 실행 가능한 연산 중 하나로 매핑합니다:

append (추가): 새로운 증거를 $A_t$ 에 추가합니다.
noop (무효): 후보를 폐기합니다; $M_t$ 는 변경되지 않습니다.
revise (수정): $A_t$ 의 특정 항목을 새 증거로 교체하고, 밀려난 항목을 "대체됨(superseded)"으로서 $H_t$ 에 아카이브합니다.
reject_conflict (상충 거부): 기존의 신뢰할 수 있는 항목을 $A_t$ 에 보존하고, 상충하는 후보를 $H_t$ 에 "거부됨(rejected)"으로 아카이브합니다.
defer_verify (검증 보류): 후보를 향후 해결을 위해 $P_t$ 로 이동시킵니다.

3. 트랜잭션 예측 파이프라인 (Transaction Prediction Pipeline)
모델은 행동을 선택하기 위해 다단계 추론 과정을 수행합니다:

대상 그라운딩 (Target Grounding): 후보가 영향을 미치는 특정 기존 메모리 슬롯(있는 경우)을 식별합니다.
신뢰도 비교 (Reliability Comparison): 새로운 후보의 출처 신뢰도와 시간적 유효성을 그라운딩된 메모리와 비교합니다.
연산 선택 (Operation Selection): 각 연산 유형에 대한 학습된 임베딩을 활용하여 비교를 바탕으로 행동을 예측합니다.

4. 반사실적 실행 감독 (Counterfactual Execution Supervision)
핵-이노베이션은 학습 목표입니다. 표준 분류는 예측된 행동이 레이블과 일치하는지만 확인합니다. TARL은 반사실적 실행 감독을 채택합니다:

학습 중에 모델은 현재 상태에서 가능한 다섯 가지 모든 행동의 실행을 시뮬레이션합니다.
그 결과로 나타나는 가상의 다음 상태를 골드(gold) 다음 상태와 비교합니다.
손실 함수는 예측된 행동의 이름이 "가깝거나" 혹은 이진 레이블(Write/Hold)이 맞더라도, 잘못된 상태 전이를 유도하는 행동에 대해 페널티를 부여합니다. 이는 모델이 단순히 올바른 "이름"이 아니라 올바른 "결과"를 생성하는 연산을 선택하도록 독려합니다.

주요 기여

실행 가능한 업데이트 이론 (Executable Update Theory): 본 논문은 거친 Write/Hold 감독이 정보 이론적으로 정확한 다음 상태 복구에 불충분함을 입증합니다. 저자들은 신뢰할 수 있는 메모리 관리에 필요한 다섯 가지의 실행 가능하게 구별되는 전이 효과를 규명합니다.
TARL 프레임워크: 대상 그라운딩, 시간적 범위 해소, 출처 신뢰도 비교, 그리고 원장별 실행(Accepted, Pending, Rejected)을 통합하는 새로운 메모리 상태 업데이트 프레임워크입니다.
반사실적 실행 감독 (Counterfactual Execution Supervision): 행동 레이블 자체보다 유도된 메모리 상태의 품질에 정책을 정렬시키는 학습 전략으로, 대안적 업데이트의 결과를 평가합니다.
TARL-Mem 벤치마크: HaluMem, LoCoMo, LongMemEval에서 파생된 새로운 벤치마크입니다. 이는 미세한 5방향 행동 레이블, 타겟 슬롯, 실행 가능한 다음 상태 타겟을 제공하여, 다운스트림 검색과 독립적으로 업데이트 결정을 평가할 수 있게 합니다.

결과

In-domain, cross-source, temporal, counterfactual, sequential 설정 모두에서 평가했을 때, TARL은 여러 차원에서 7개의 대표적인 베이스라인(Full History, LongMemEval, HippoRAG, MemoryBank 등 포함)을 능가했습니다:

행동 예측 (Action Prediction): 가장 높은 5-way Macro F1 (0.8286) 및 Temporal Macro F1을 달성하며, 미세한 트랜잭션을 구별하는 데 있어 베이스라인을 크게 앞질렀습니다.
상태 복구 (State Recovery): 가장 높은 Next Memory State Accuracy (0.6621)를 달성하여, 올바른 원장 상태를 생성하는 탁월한 능력을 입증했습니다.
메모리 오염 (Memory Pollution): 베이스라인보다 메모리 오염(0.2524)을 더 효과적으로 줄였으며, 이는 신뢰할 수 없는 증거를 더 잘 라우팅함을 나타냅니다.
상충 보존 (Conflict Preservation): 더 높은 Conflict Preservation Accuracy (0.5476)를 유지하여, 신뢰할 수 있는 기존 항목이 신뢰할 수 없는 후보에 의해 덮어씌워지지 않도록 보장합니다.
캘리브레이션 (Calibration): 가장 낮은 Expected Calibration Error (ECE)를 달성하여, 더 신뢰할 수 있는 자신감 추정치를 보여줍니다.
순차적 롤아웃 (Sequential Rollout): 장기 호즌(long-horizon) 순차 평가에서, TARL은 누적 오류 전파를 제한하고 정확한 중간 상태를 유지하는 반면, 베이스라인들은 시간이 지남에 따라 모순과 왜곡을 축적하는 경향을 보였습니다.

이진 감독 분석:
실험을 통해 완벽한 이진(Write/Hold) 레이블이 있더라도 휴리스틱 실행기가 올-바른 다음 상태를 복구하지 못함을 확인했습니다(Next State Accuracy가 약 0.45로 하락). 이는 이진 레이블이 서로 다른 전이(예: append vs. revise)를 혼동하며, 결과적으로 고유한 메모리 상태를 결정할 수 없다는 주장을 뒷받침합니다.

의의 및 주장

본 논문은 신뢰할 수 있는 장기 메모리를 위해서는 에이전트가 단순히 업데이트 여부(whether)가 아니라, 각 업데이트가 메모리 상태를 어떻게(how) 변화시켜야 하는지를 학습해야 한다고 주장합니다. 구조화된 원장에 대해 미세한 트랜잭션을 명시적으로 예측하고 실행함으로써, TARL은 이진 결정 방식보다 더 견고한 지속적 에이전트 메모리의 토대를 제공합니다.

저자들은 다음과 같이 주장합니다:

단일 레이블이 여러 개의 서로 다른 메모리 결과를 초래하는 이진 감독의 "식별 한계(identifiability limit)"를 해결합니다.
에이전트가 상충하는 증거를 활성 메모리를 오염시키지 않고 보존할 수 있게 하며, 이는 불확실성과 진화하는 사실을 처리하는 데 중요한 능력입니다.
다양한 데이터 소스와 시간적 변화에 걸쳐 일반화될 수 있는 전이 가능한 귀납적 구조를 제공합니다.

이 연구는 모든 메모리 문제를 해결한다고 주장하는 것이 아니라, 이진 업데이트 결정에서 실행 가능한 트랜잭션 세만틱스로 전환하는 것이 신뢰할 수 있는 장기 에이전트 메모리를 향한 필수적인 단계임을 확립합니다.