Auditing Forgetting in Limited Memory Language Models

기술 요약: 제한된 메모리 언어 모델(LMLM)의 망각 감사

문제 정의
제한된 메모리 언어 모델(LMLM)은 언어적 능력(모델 파라미터에 인코딩됨)과 사실적 지식(외부 데이터베이스에 저장됨)을 분리하는 하이브리드 아키텍처를 나타낸다. 이 설계는 "삭제 기반 언기닝(deletion-based unlearning)"을 가능하게 하는 것을 목표로 하며, 이를 통해 모델을 재학습시키지 않고도 데이터베이스에서 사실을 제거함으로써 해당 사실에 대한 접근을 차단할 수 있다. 그러나 기존의 망각 평가 방법은 불충분하다. 기존 방식은 일반적으로 삭제 전후의 총체적인 정확도를 측정할 뿐, 삭제 후 정답이 도출되는 메커니즘을 구분하지 못한다. 모델이 여전히 정답을 맞히는 이유는 다음과 같을 수 있다:

1. 잔류 파라미터 메모리(Residual parametric memory): 사실이 모델의 가중치에 여전히 인코딩되어 있음.
2. 대안적 검색 경로(Alternative retrieval paths): 명시적으로 삭제되지 않은 별칭(alias), 패러프레이즈(paraphrase) 또는 의미적으로 연관된 항목을 통해 사실이 검색됨.
3. 검색 아티팩트(Retrieval artifacts): 삭제된 사실과 반드시 동일하지는 않지만 근접한 후보(near-neighbor candidates)를 바탕으로 모델이 정답을 생성함.

현재의 지표들은 지식이 성공적으로 외부화되었는지, 아니면 모델 파라미터 내부에 지속되고 있는지를 판별할 수 없다.

방법론: 인과적 감사 프레임워크(Causal Auditing Framework)
저자들은 추론 시점에 데이터베이스 상태를 변화시키면서 모델은 고정된 상태로 유지하는 인과적 감사 프레임워크를 제안한다. 이 프레임워크는 13개의 데이터베이스(공개된 LMLM 데이터베이스 및 12개의 커스텀 변형 포함)를 대상으로 12,228개의 별칭 폐쇄(alias-closure) 삭제를 수행하며, 6가지 다른 프롬프트 구성을 사용한다.

프레임워크는 세 가지 통제된 개입 상태를 활용한다:

1. FULL (전체): 데이터베이스가 온전하며 검색이 활성화된 상태이다. 이는 기준 정확도를 설정한다.
2. DEL-ON (삭제-활성): 대상 사실(및 그 별칭 등가물)이 데이터베이스에서 삭제되었으나, 검색은 여전히 활성화된 상태이다. 이는 대안적 경로를 통한 회복이나 아티팩트를 통한 회복 여부를 테스트한다.
3. DEL-OFF (삭제-비활성): 대상 사실이 삭제되었고 검색이 비활성화된 상태이다. 이는 **파라미터 회상(parametric recall)**을 격리하여, 외부 증거 없이 모델이 스스로 답하도록 강제한다.

핵심 지표 및 분해
프레임워크는 삭제 후의 동작을 세 가지 구성 요소로 분해한다:

• 파라미터 누출($L(f)$): 모델이 DEL-OFF 상태에서 정답을 맞힐 때 발생한다. 이는 삭제된 사실이 모델 파라미터에 잔존함을 나타낸다.
• 검색 매개 정답($R(f)$): 모델이 DEL-ON에서는 정답을 맞히지만 DEL-OFF에서는 틀릴 때 발생한다. 이는 답변이 검색 그래프를 통해 회복되었음을 나타낸다.
• 검색 아티팩트율($A(f)$): 골드(gold) 등가 후보가 검색 트레이스에 존재하지 않음에도 불구하고 모델이 정답을 생성할 때 발생한다. 이는 모델이 근접 후보(예: 패러프레이즈된 미끼)로부터 정답을 재구성했음을 나타낸다.

저자들은 특정 실패 모드를 스트레스 테스트하기 위해 커스텀 데이터베이스 변형을 구축하였다:

• Base (기본): 정규 삼중항(canonical triplets)만 포함 (클린 베이스라인).
• Alias (별칭): 사실이 별칭 형태(aliased forms)로만 저장됨 (별칭 폐쇄의 완전성을 테스트).
• Noise (노이즈): 동일한 객체를 가리키는 패러프레이즈된 주어를 가진 미끼 삼중항 포함 (근접 이웃 재구성을 테스트).
• Collision (충돌): 주체는 공유하지만 다른 객체로 라우팅되는 근접 미스(near-miss) 삼중항 포함 (혼동 가능한 이웃 드리프트를 테스트).

주요 결과
36,684개의 모델 완료 작업에 대한 감사는 다음과 같은 몇 가지 중요한 발견을 도출했다:

1. 제로에 가까운 파라미터 누출: 모든 데이터베이스 변형과 프롬프트 스타일 전반에 걸쳐, 파라미터 누출($\hat{L}$)은 평균적으로 0.11%로 사실상 0이다. 모델은 검색이 비활성화된 상태에서 삭제된 답변을 거의 반환하지 않는다. 이는 이러한 클래스의 LMLM에 대해 "언기닝" 작업이 파라미터 내에서 깨끗하게 이루어짐을 시사한다. 즉, 모델은 검색이 중단되면 해당 사실을 본 적이 없는 것처럼 행동한다.
2. 잔류물은 검색 그래프에 존재함: 삭제 후 생존하는 정답성은 모델이 아닌 거의 전적으로 검색 그래프에 기인한다. $R(f)$의 비율은 모든 변형에서 반올림 오차 범위 내에서 $A(f)$와 일치한다. 이는 삭제 후의 정답성이 기억된 것이 아니라 근접 이웃 검색으로부터 재구성된 것임을 확인시켜 준다.
3. 데이터베이스 토폴로지가 잔류물을 결정함: 잔류량(삭제된 사실 중 생존하는 비율)은 모델 아키텍처나 프롬프트 스타일이 아니라 데이터베이스 토폴로지에 의해 결정된다.
   • Base: 약 3.7% 잔류.
   • Alias: 약 6.2% 잔류.
   • Collision: 약 7.2% 잔류.
   • Noise: 약 13.6% 잔류 (최악의 경우, 패러프레이즈된 미끼를 통해 검색이 정답을 회복함).
   • 공개된 LMLM 데이터베이스: 약 0.7% 잔류.
4. 프롬프트 구성의 영향: 프롬프트 스타일은 기준(FULL) 정확도(F1 점수 약 17%~57%)에는 상당한 영향을 미치지만, 삭제 후 잔류량에 대한 독립적인 제어력은 미미하다. 뒷받침하는 증거가 제거되면, 사실의 생존율은 질문의 표면 형식이 아니라 검색 그래프의 구조에 의해 결정된다.

의의 및 주장
본 논문은 단일 집계 지표보다는 망각 동작의 **분해(decomposition)**가 주요 기여라고 주장한다. 파라미터 회상과 검색 측 정답성을 격리함으로써, 감사는 다음을 밝혀냈다:

• 이 클래스의 LMLM에서 "언기닝 경계"는 모델이 아니라 주로 데이터베이스 관리자에 의해 그려진다.
• 정규 및 별칭 등가 삼중항만을 제거하는 표준 삭제 절차는 검색 그래프에 패러프레이즈된 미끼가 존재하는 경우(위의 "Noise" 변형 사례) 불충분하다.
• 이전 연구(예: 원본 LMLM 논문)에서 관찰된 잔류 정답성은 모델의 망각 실패가 아니라, 사용된 특정 검색 그래프(양호한 상태였던)의 특성일 가능성이 높다.

저자들은 효과적인 LMLM 언기닝을 위해서는 거버넌스가 엔티티 별칭을 넘어 검색 그래프 토폴로지까지 확장되어야 하며, 민감한 정보로 향하는 패러프레이즈 경로 또한 삭제 시점에 폐쇄되어야 한다고 결론짓는다. 이 논문은 LMLM이 보편적으로 완벽한 언기닝을 수행한다고 주장하는 것이 아니라, 그 실패 모드가 모델의 고유한 파라미터 메모리가 아닌 데이터베이스 설계의 구조적 문제임을 밝히고 있다.