ERASE -- A Real-World Aligned Benchmark for Unlearning in Recommender Systems

이 논문은 기존 벤치마크의 한계를 극복하고 실제 환경에 부합하는 추천 시스템용 기계적 망각 (Machine Unlearning) 벤치마크인 ERASE 를 제안하여, 다양한 알고리즘과 모델에 대한 대규모 실험을 통해 실제 적용 가능성과 한계를 체계적으로 분석했습니다.

Pierre Lubitzsch, Maarten de Rijke, Sebastian Schelter

게시일 Tue, 10 Ma
📖 3 분 읽기☕ 가벼운 읽기

Each language version is independently generated for its own context, not a direct translation.

1. 왜 이런 연구가 필요할까요? (배경)

상황:
우리가 쇼핑몰이나 영상 사이트에 접속하면, "이런 걸 좋아하시죠?"라고 추천해 줍니다. 이는 우리가 남긴 '좋아요', '구매 기록', '시청 기록'이라는 레시피를 AI 가 외워서 만들어낸 결과물입니다.

문제:
하지만 유럽의 GDPR 같은 법규나 개인정보 보호 원칙에 따라, 손님이 "제 기록을 지워주세요 (잊어주세요)"라고 요청하면, AI 는 그 기록을 완전히 지워야 합니다.
지금까지의 방식은 지우라고 하면 레시피 전체를 다시 처음부터 다 적어내는 (모델을 다시 훈련시키는) 방식이었습니다.

  • 비유: 손님이 "저는 고기 먹지 않아요"라고 해서, 100 만 개의 레시피를 다 지우고 다시 100 만 개를 새로 쓰는 것은 너무 비효율적이고 시간이 오래 걸립니다.

목표:
"고기 레시피만 딱 지우고, 나머지 채소 레시피는 그대로 유지하면서 빠르게 새로운 메뉴를 추천할 수 있는 방법"을 찾는 것입니다. 이를 **기계적 망각 (Machine Unlearning)**이라고 합니다.


2. 기존 연구의 문제점 (기존 실험실의 한계)

기존에 있던 실험실들은 현실과 동떨어져 있었습니다.

  • 현실: 손님은 가끔씩 "이거 지워줘"라고 작은 요청을 합니다.
  • 기존 실험실: "데이터의 5% 를 한 번에 다 지워봐!"라고 거대한 덩어리를 지우는 실험만 했습니다.
  • 결과: 실제 서비스에서는 쓸모없는 실험 결과만 나왔습니다.

3. ERASE 란 무엇인가? (새로운 실험실)

저희가 만든 ERASE현실 세계와 똑같은 상황을 재현한 거대한 실험실입니다.

🍽️ ERASE 의 특징 (세 가지 요리실)

이 실험실은 세 가지 다른 종류의 요리를 다룹니다.

  1. 협업 필터링 (CF): "A 가 좋아하면 B 도 좋아할 거야" (영화 추천 등).
  2. 세션 기반 추천 (SBR): "방금 본 영상과 비슷한 거 보여줘" (쇼핑 중 다음 상품 추천).
  3. 다음 장바구니 추천 (NBR): "오늘 장바구니에 담을 것들" (장보기 추천).

🧪 두 가지 시나리오 (실제 상황)

  1. 민감한 물건 지우기: 알코올 중독 환자가 술 관련 기록을 지워달라고 요청하는 경우.
  2. 스팸 지우기: 장난으로 추천 시스템을 망가뜨리려는 스팸러들의 기록을 지우는 경우.

🛠️ 7 가지 지우기 도구 (알고리즘)

이 실험실에서는 데이터를 지우는 **7 가지 다른 도구 (알고리즘)**를 테스트했습니다.

  • 어떤 도구는 일반적인 지우개 (모든 모델에 쓸 수 있는 것) 이고,
  • 어떤 도구는 요리사 전용 지우개 (추천 시스템에 특화된 것) 입니다.

4. 실험 결과 (무엇을 발견했나요?)

수천 번의 실험 (600GB 이상의 데이터) 을 통해 다음과 같은 사실을 발견했습니다.

  1. 전체 재작성 vs 부분 지우기:

    • 가끔은 "부분 지우기 (Approximate Unlearning)"가 "다시 처음부터 쓰기 (Retraining)"만큼 좋은 결과를 냅니다.
    • 하지만 도구마다 성능이 천차만별입니다. 어떤 도구는 잘 지우고, 어떤 도구는 오히려 레시피를 망쳐버립니다.
  2. 반복 지우기의 함정:

    • 한 번만 지우면 잘 되는 도구도, 수백 번 반복해서 지우면 (실제 서비스 환경) 성능이 급격히 떨어집니다.
    • 특히 **복잡한 신경망 (Attention 기반, 순환 신경망)**을 사용하는 모델은 일반 지우개 도구를 쓰면 레시피가 완전히 깨집니다.
  3. 가장 좋은 도구:

    • SCIF라는 요리사 전용 도구가 가장 안정적이었습니다. 여러 번 지워도 레시피가 망가지지 않고, 지우기 속도도 빨랐습니다.
    • 반면, **일반적인 지우개 (Fanchuan, Kookmin 등)**는 처음엔 잘되지만, 반복하면 레시피가 엉망이 되거나 시간이 너무 오래 걸렸습니다.
  4. 속도 문제:

    • 현실 세계에서는 지우기 작업이 몇 초~몇 분 안에 끝나야 합니다.
    • 하지만 현재 대부분의 도구는 재훈련 시간보다 10 배 정도만 빠를 뿐, 여전히 너무 느립니다. 실제 서비스에 바로 쓸 수 있는 '초고속 지우개'는 아직 부족합니다.

5. 이 연구의 의의 (왜 중요할까요?)

이 논문은 단순히 "지우는 법"을 알려주는 것을 넘어, 미래의 AI 윤리 기준을 세우는 데 기여합니다.

  • 공정한 평가: 모든 연구진이 같은 조건 (같은 데이터, 같은 도구) 에서 지우기 성능을 비교할 수 있게 되었습니다.
  • 자원 절약: 연구자들이 매번 모델을 처음부터 훈련시킬 필요 없이, 우리가 만든 **완성된 모델 파일 (600GB)**을 가져다 쓰면 됩니다.
  • 현실 대응: "개인정보 삭제 요청"이 들어왔을 때, 기업이 **"어떤 도구를 써야 가장 빠르고 정확하게 지울 수 있을까?"**를 판단하는 나침반이 됩니다.

📝 한 줄 요약

"ERASE 는 추천 시스템이 사용자의 '잊어주세요' 요청을, 레시피 전체를 다시 적지 않고 '특정 재료'만 빠르게 지워낼 수 있게 도와주는 현실적인 실험실입니다."