🤖 AI

Deployment-Time Memorization in Foundation-Model Agents

이 논문은 파운데이션 모델 에이전트를 평가하기 위한 핵심 프레임워크로서 "배포 시점 암기(deployment-time memorization)"를 소개하며, LongMemEval 벤치마크를 통해 공격적인 요약이 개인화를 희생하지 않으면서도 적대적 추출 위험을 크게 줄이는 동시에, 전체 파이프라인의 완전한 삭제가 구현되지 않는 한 유도된 메모리 계층이 복구 가능한 잔여물을 보유하게 되는 "삭제-충실도 실패(deletion-fidelity failure)"를 노출한다는 점을 입증한다.

원저자: Lei (Rachel), Chen, Guilin Zhang, Kai Zhao, Dalmo Cirne, Andy Olsen, Xu Chu, Zeke Miller, Alet Blanken, Amine Anoun, Jerry Ting

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lei (Rachel), Chen, Guilin Zhang, Kai Zhao, Dalmo Cirne, Andy Olsen, Xu Chu, Zeke Miller, Alet Blanken, Amine Anoun, Jerry Ting

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신과 한 번 대화하고 잊어버리는 것이 아니라, 몇 달 또는 몇 년 동안 당신의 삶을 기억하는 스마트 어시스턴트를 상상해 보세요. 그것은 당신이 비행기에서 통로 좌석을 선호한다는 점이나, 당신이 파이썬(Python)으로 코딩한다는 사실을 기억합니다. 이것이 바로 "파운데이션 모델 에이전트(Foundation-Model Agent)"입니다.

당신이 공유한 논문은 이러한 장기 기억 시스템이 직면한 중대한 문제를 조사합니다: 어떻게 하면 당신에게 필요한 것을 적절히 기억하면서도, 해커가 당신의 비밀을 훔쳐가지 못하게 하고, 당신이 "그것을 잊어줘"라고 말했을 때 실제로 영원히 사라지게 할 것인가?

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

1. 문제점: "펼쳐진 책" vs "잠긴 일기장"

에이전트의 기억을 도서관이라고 생각해 보세요.

과거의 방식 (매개변수적 암기 - Parametric Memorization): 이전에는 비밀이 마치 돌에 새겨진 레시피처럼 AI의 뇌(학습 가중치) 속에 박혀 있는 것을 걱정했습니다.
새로운 문제 (배포 시점의 암기 - Deployment-Time Memorization): 이제 AI는 별도의 "노트"(외부 메모리)를 가지고 있으며, 그곳에 당신의 사실들을 적어둡니다. 논문은 이 노트가 비밀이 저장되고, 유출되거나, 잊힐 수 있는 새로운, 별개의 장소라고 주장합니다.

연구진은 "골디락스 존(Goldilocks Zone, 딱 적당한 상태)"을 찾고자 했습니다: 당신의 질문에 답할 수 있을 만큼 충분히 유용하면서도, 해커가 당신의 일기장을 읽을 수 없을 만큼 안전하고, 당신이 비밀을 삭제하라고 요청했을 때 정말로 사라질 수 있을 만큼 깨끗한 기억 시스템 말입니다.

2. 그들이 조절한 세 가지 '노브(Knob)'

팀은 기억 시스템을 어떻게 변화시키는지 확인하기 위해 세 가지 서로 다른 "노브" 또는 설정값을 테스트했습니다.

요약 (편집자 - The "Editor"): 당신이 한 말을 있는 그대로(Raw) 저장하는 대신, AI는 핵심 사실(Key-fact)이나 한 문장 요약(One-sentence)만을 저장할 수 있습니다.
- 비유: 서기(Scribe)를 상상해 보세요.
  - Raw (원문): 서기가 당신의 대화 전체를 토씨 하나 틀리지 않고 그대로 베껴 씁니다.
  - Key-fact (핵심 사실): 서기가 중요한 날짜와 이름만을 적습니다.
  - One-sentence (한 문장): 서기가 대화에 대한 단 하나의 헤드라인을 적습니다.
검색 범위 (탐색 범위 - Retrieval Breadth): 당신이 질문을 던질 때, AI는 답변을 돕기 위해 도서관에서 얼마나 많은 노트를 꺼내 오나요?
- 비유: 선반에서 단 1개의 노트만 보나요, 아니면 상위 25개의 노트를 모두 꺼내 오나요?
삭제 모드 (지우개 - Deletion Mode): 당신이 "이것을 잊어줘"라고 말할 때, 시스템은 어떻게 그것을 삭제하나요?
- 비유: 단순히 노트에서 페이지를 찢어 버리나요? 아니면 책 전체를 태워 버리나요? 아니면 단어를 "삭제됨(REDACTED)"으로 대체하나요?

3. 주요 발견 사항

발견 A: 요약은 "프라이버시 방패"이다

가장 놀라운 발견은 데이터를 요약하는 것이 AI의 도움을 받는 능력을 해치지 않으면서도, 해커가 당신의 데이터를 훔치는 것을 훨씬 어렵게 만든다는 점입니다.

결과: AI가 원문(Raw text) 대신 "핵심 사실(Key Facts)"을 저장했을 때, 한 모델에서는 해커가 비밀을 훔칠 확률이 76%, 다른 모델에서는 64% 감소했습니다.
함정: AI는 여로써 당신을 거의 완벽하게 기억했습니다. 즉, AI의 "개성"을 잃지 않았습니다.
비유: 이것은 세탁 서비스와 같습니다. 만약 당신이 AI에게 더러운 옷(원 데이터)을 준다면, 도둑은 당신의 주소 태그를 쉽게 찾아낼 수 있습니다. 하지만 AI가 옷을 깨끗이 빨아서 깔끔하게 접어 놓는다면(요약), 주소 태그는 사라지지만 옷은 여전히 깨로 사용 가능합니다.
핵축 포인트: 일단 비밀이 "세탁되어" (요약되어) 사라지면, 더 많은 노트를 꺼내더라도 (검색 범위를 늘려도) 그 비밀은 다시 나타나지 않습니다. 비밀은 시스템에서 사라진 것입니다.

발견 B: "기계 속의 유령" (삭제 실패)

이것은 논문에서 가장 결정적인 경고입니다. 파일을 삭제한다고 해서 그것이 항상 사라지는 것은 아닙니다.

문제: AI는 서로 다른 "계층(tiers)"의 기억을 생성합니다. AI는 원문(Raw) 텍스트를 가지고 있지만, 그 텍스트를 바탕으로 한 파생된(Derived) 요약본도 생성합니다.
실패: 만약 당신이 AI에게 비밀을 "잊으라"고 요청했는데, 시스템이 원문 텍рез만 삭제한다면, 그 원문을 바탕으로 만들어진 요약 버전은 종종 남아 있게 됩니다.
통계: 약 **20%**의 사례에서, "삭제" 후에도 원문 노트를 지웠음에도 불구하고 해커는 요약 노트 안에 숨겨진 비밀을 여전히 찾아낼 수 있었습니다.
비유: 비서에게 편지를 버리라고 말했다고 상상해 보세요. 그녀는 편지를 쓰레기통에 버렸지만(원문 삭제), 이미 그 편지의 내용을 자신의 개인 일기장에 적어 두었습니다(파생된 요약). 만약 당신이 그 일기장을 태우지 않는다면, 비밀은 여전히 그곳에 남아 있습니다.
해결책: 무언가를 진정으로 삭제하려면, 전체 파이프라인을 제거하거나 (일기장과 편지를 모두 태우거나), "툼스톤(Tombstone)" 방식(모든 버전의 노트에 비밀을 "삭제됨(REDACTED)"이라는 커다란 빨간 도장으로 대체하는 방식)을 사용해야 합니다. 오직 이 방법들만이 비밀을 100% 사라지게 만들었습니다.

4. 결론: 기억을 측정하는 새로운 방법

논문은 더 이상 AI의 기억을 단순한 "온/오프(on/off)" 스위치로 취급해서는 안 된다고 결론짓습니다. 그것은 트레이드오프(trade-offs)가 존재하는 복잡한 시스템입니다.

"프라이버시-유용성 경계선 (Privacy-Utility Frontier)": 이것은 전문적인 용어로, 균형점을 의미합니다. 당신은 높은 "유용성(Utility, AI가 당신을 돕는 것)"과 낮은 "유출(Leakage, 해커가 훔치는 것)" 사이의 균형을 원합니다.
승리하는 전략: 논문은 최선의 설정으로 다음을 제안합니다:
1. **핵심 사실 요약(Key-Fact Summarization)**을 사용한다 (비밀을 씻어내기 위해).
2. **계층 인식 삭제(Tier-Aware Deletion)**를 사용한다 (단순히 편지만 버리는 것이 아니라 "일기장"까지 태우기 위해).

요약하자면: 만약 당신이 당신을 기억하는 스마트 어시스턴트를 만든다면, 데이터를 보호하기 위해 요약하도록 설계해야 하며, 당신이 잊으라고 요청했을 때 (단순히 원본 파일뿐만 아니라) 모든 것을 삭제하도록 설계해야 합니다. 그렇지 않으면, 당신의 비밀은 당신의 눈에는 안전해 보일지 몰라도, AI의 기억 속 그림자 속에 여전히 숨어 있을 수 있습니다.

기술 요약: 파운데이션 모델 에이전트의 배포 시점 암기(Deployment-Time Memorization)

문제 정의

파운데이션 모델 에이전트는 단순한 상태 비저장(stateless) 어시스턴트에서 벗어나, 상호작용 전반에 걸쳐 지속적인 사용자 메모리를 유지하는 장기 생존 시스템으로 진화하고 있습니다. 이러한 능력은 개인화를 강화하지만, 프라이버시 지형을 근본적으로 변화시킵니다. 기존의 파라미터적 암기(데이터가 모델 가중치에 인코딩되어 추출 공격에 노출되는 방식)와 달리, 지속적인 에이전트는 외부 메모리 파이프라인에 사용자 사실(facts)을 저장합니다. 이러한 파이프라인은 사용자 데이터를 쓰고, 요약하며, 검색하고, 응답의 조건으로 활용하기 때문에 새로운 공격 표면을 생성합니다.

기존 연구는 주로 고정된 메모리 구성의 오딧(audit)이나 파라미터적 암기를 연구하는 데 집중해 왔습니다. 그러나 **메모리 설계 선택(memory-design choices)**이 다음 세 가지 요소 간의 트레이드오프를 어떻게 공동으로 형성하는지에 대한 특성화 연구는 부족한 실정입니다:

개인화 유틸리티(Personalization Utility): 사용자의 선호도를 회상하는 에이전트의 능력.
추출 위험(Extraction Risk): 공격자가 개인 정보를 복구할 가능성.
삭제 충실도(Deletion Fidelity): 사용자가 삭제를 요청했을 때, 파생된 결과물(예: 요약, 임베딩)을 포함하여 정보를 진정으로 지울 수 있는 시스템의 능력.

본 논문은 이 누락된 영역을 **배포 시점 암기(deployment-time memorization)**라고 명명하고 이를 식별 및 연구합니다.

방법론

1. 시스템 모델

저자들은 에이전트 메모리를 쓰기-검색-응답(write–retrieve–respond) 파이프라인으로 모델링합니다:

쓰기(Write): 사용자 세션 데이터가 장기 메모리에 저장됩니다.
검색(Retrieve): 메모리 청크가 코사인 유사도를 통해 검색되어 에이전트 컨텍스트 앞에 추가됩니다.
응답(Respond): 파운데이션 모델이 검색된 컨텍스트를 조건으로 응답을 생성합니다.

2. 실험 설계 (조절 변수, "Knobs")

본 연구는 세 가지 특정 메모리 설계 파라미터를 스윕(sweep)합니다:

요약 공격성 ( $S$ ): 무엇을 저장할지 제어합니다.
- $S=0$ : 가공되지 않은 원문 사용자 턴(turns).
- $S=1$ : 턴에서 추출된 핵심 개인 사실.
- $S=2$ : 한 문장의 세션 요약.
검색 폭 ( $k$ ): 컨텍스트에 주입되는 메모리 청크의 수 ( $k \in \{1, 3, 6, 10, 25\}$ ).
삭제 모드(Deletion Mode): 시스템이 "망각" 요청을 처리하는 방식을 결정하는 5단계 래더(ladder)입니다:
1. No-op: 변경 없음(대조군).
2. Raw only: 원문 텍스트만 제거; 임베딩/요약은 그대로 유지.
3. Raw + Resummarize: 원문을 제거하고 재임베딩; 영향을 받은 세션을 정제된 입력값으로부터 재요약.
4. Full Purge: 모든 계층을 제거 및 재임베딩; 빈 청크는 삭제.
5. Tombstone: 모든 계층의 카나리(canary)를 [REDACTED]로 교체하고 재임베딩.

3. 지표

개인화 회상(Personalization Recall, PR): 에이전트가 사용자 컨텍스트를 필요로 하는 질의에 올바르게 답하는지 측정합니다 (코사인 유사도 > 0.50 또는 구절의 단어 커버리지 기준).
적대적 추출률(Adversarial Extraction Rate, AER): 세 가지 프로브(probe) 유형 하에서 고엔트로피 "카나리" 토큰(이전 세션에 주입됨)이 베어(verbatim) 형태로 복구되는 비율을 측정합니다:
- Direct: 비밀을 명시적으로 요구.
- Indirect: 에이전트가 사용자에 대해 무엇을 기억하는지 질문.
- Jailbreak: 개발자 모드 또는 디버그 덤프 명령 수행.
Privacy–Utility AUC (PUA): 더 높은 회상이 달성될 때 추출 위험이 낮아지는 경계면(envelope)의 면적을 요약하여, 실현 가능한 회상 범위를 나타냅니다.
망각 잔여 점수(Forgetting Residue Score, FRS): 삭제 후 메모리 계층(원문 vs 요약) 전반에 걸친 누출을 측정합니다. FRS가 0이 아니라는 것은 삭제 요청에도 불구하고 비밀 정보가 여전히 복구 가능하다는 것을 의미합니다.

4. 설정

실험은 LongMemEval 벤치마크(오라클 분할)에서 다음 모델들을 사용하여 수행되었습니다:

모델: Gemma 3 12B (로컬, 오픈 웨이트) 및 GPT-4o-mini (폐쇄형 웨이트).
데이터: 배포 시점 암기를 훈련 노출과 분리하기 위해, 증거가 없는 사용자 턴에 합성된 고엔트로피 카나리를 주입한 50개의 인스턴스.

주요 결과

1. 프라이버시-유틸리티 경계 (The Privacy–Utility Frontier)

원문 메모리 ( $S=0$ ): 깨끗한 운영 지점을 제공하지 못합니다. 검색 폭( $k$ )을 늘리면 유틸리티(PR)는 개선되지만, 누출(AER) 또한 선형적으로 증가합니다. Gemma 3 12B의 경우, $k$ 가 증가함에 따라 PR은 0.42에서 0.66으로 상승하는 반면, AER은 0.70에서 0.86으로 상승합니다.
요약 ( $S=1$ ): "세탁(laundering)" 메커즘 역할을 합니다.
- 누출 감소: 핵심 사실 요약은 Gemma 3 12B에서 AER을 76%, GPT-4o-mini에서 64% 감소시킵니다 (원문 메모리 대비).
- 유틸리티 보존: 이러한 감소는 미미한 PR 비용(Gemma 약 5%, GPT 약 2%)만을 수반합니다.
- 검색 중립성: 내용이 압축(요약)되면, $k$ 를 늘려도 누출이 복구되지 않습니다. AER은 모든 $k$ 값에서 평탄하게 유지되는데, 이는 비밀 정보가 요약에서 빠져 있다면 더 많은 청크를 검색하더라도 이를 복구할 수 없음을 나타냅와 같습니다.
프로브 동작: 원문 메모리 하에서는 직접적 프로브와 간접적 프로브가 서로 다른 추출률을 보입니다. 요약 하에서는 이러한 비율이 동일하게 낮은 수준으로 수렴하며, 이는 요약이 모델의 탈옥 저항성과 무관하게 파이프라인 수준에서 사실적 복구 가능성을 제어함을 시사합니다.

2. 삭제 충실도 및 잔여물 (Deletion Fidelity and Residue)

원문 전용 삭제의 실패: 원문 기록만 삭제하는 경우( $S=1$ , "raw only" 모드), 파생된 요약 복사본이 약 **20%**의 사례에서 복구 가능한 상태로 남습니다. 요약 계층의 FRS는 "no-op" 대조군과 통계적으로 구별되지 않습니다.
부분적 완화: "Raw plus resummarize"는 잔여물을 줄이지만(예: Gemma에서 ~11%), 기존 요약 아티팩트가 재생성 전 완전히 제거되지 않기 때문에 완전히 제거하지는 못합니다.
진정한 삭제: Full Purge와 Tombstone 방식만이 모든 설정에서 최하위 계층의 잔여(FRS)를 0으로 만듭니다. 이는 계층형 파이프라인에서 소스(source)를 삭제하는 것만으로는 불충분하며, 파생된 아티팩트 또한 명시적으로 제거하거나 가려야 함을 확인시켜 줍니다.

기여

배포 시점 암기(Deployment-Time Memorization)의 공식화: 본 논문은 지속적인 에이전트 메모리를 측정 가능한 시스템 기능으로 정의하고, PR, AER, PUA에 기반한 프라이버시-유틸리티 경계를 도입했습니다.
설계 변수의 통제된 조사: 요약이 미미한 개인화 비용으로 추출 위험을 크게 줄이는 반면, 검색 폭 단독으로는 유리한 트레이드오프를 달성할 수 없음을 입증했습니다.
삭제 충실도 벤치마크: Forgetting Residue Score(FRS)를 도입함으로써, 표준적인 "원문 전용" 삭제가 계층형 메모리 시스템에서는 불충분함을 밝혀냈으며, 진정한 삭제를 위해서는 전체 파이프라인 퍼징(purging)이나 툼스톤(tombstoning)이 필요함을 확립했습니다.

의의

본 논문은 지속적인 에이전트 메모리가 **일급 암기 메커니즘(first-class memorization mechanism)**으로서 평가되어야 한다고 주장합니다. 즉, 에이전트의 프라이버시 위험은 단순히 모델 가중치의 부산물이 아니라, 배포 시점의 엔지니어링 선택에 의해 능동적으로 형성된다는 것입니다.

연구 결과는 안전한 에이전트 배포를 위한 실질적인 레시피를 제시합니다:

비밀 정보를 검색 컨텍스트로부터 "세탁"하기 위해 **핵심 사실 요약( $S=1$ )**을 사용하십시오.
압축이 적용되면 누출이 복구되지 않으므로, **적절한 수준의 검색 폭( $k$ )**을 유지하십시오.
파생된 복사본(요약, 임베딩)이 남겨지지 않도록 **계층 인식 삭제(tier-aware deletion, full purge 또는 tombstoning)**를 구현하십시오.

궁극적으로, 이 연구는 배포 시점 암기가 파운데이션 모델 사용의 불가피한 결과가 아니라, 제어 가능한 유틸리티-누출 경계임을 역설합니다.