🤖 AI

EASE: Federated Multimodal Unlearning via Entanglement-Aware Anchor Closure

본 논문은 앵커 클로저, 부분공간 분해, 방향 선택적 포기 잠금이라는 엔탱글먼트 인식 설계를 통해 교차 모달 재구성 채널을 차단하고 클라이언트별 업데이트 방향을 격리함으로써 잊혀진 데이터를 효과적으로 제거하는 연합 멀티모달 포getting 프레임워크인 EASE 를 소개합니다.

원저자: Zihao Ding, Beining Wu, Jun Huang

게시일 2026-05-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zihao Ding, Beining Wu, Jun Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"EASE: Entanglement-Aware Anchor Closure 를 통한 연방 멀티모달 망각" 논문에 대한 설명을 쉬운 언어와 창의적인 비유로 제시합니다.

큰 그림: 그룹 채팅에서의 "잊힐 권리"

동물들을 인식하고 설명하는 초지능 AI 를 함께 만들고자 하는 친구들 (클라이언트) 이 있다고 상상해 보세요. 그들은 사적인 사진을 중앙의 상사 (서버) 와 공유하고 싶지 않습니다. 대신 "학습 노트"(수학적 업데이트) 만 공유합니다. 이것이 바로 연방 멀티모달 학습입니다.

하지만 만약 한 친구가 "그룹을 떠나고 내 사진이 AI 의 기억에서 완전히 지워지기를 원한다"고 말하면 어떻게 될까요? 이것이 연방 망각입니다.

문제는 멀티모달 AI(이미지와 텍스트를 모두 인식하고 읽는 AI) 에서는 지식이 깊이 얽혀 있다는 점입니다. '개'에 대한 노트만 삭제한다고 해서 AI 가 개를 기억하지 않게 되는 것은 아닙니다. 텍스트 설명이 남아있거나, 다른 친구들이 사용한 수학이 너무 뒤섞여 떠난 사람의 부분을 구분할 수 없기 때문입니다.

이 논문의 저자인 EASE 는 이전 방법들이 이 매듭들을 제대로 풀지 못했기 때문에 실패했다고 발견했습니다. 그들은 망각된 지식을 살아있게 만드는 세 가지 특정 '앵커'(숨겨진 갈고리) 를 남겨두었습니다. EASE 는 이 세 갈고리를 모두 끊도록 설계된 새로운 프레임워크입니다.

세 가지 "앵커"(이전 방법들이 실패한 이유)

저자들은 클라이언트의 데이터를 삭제하려고 할 때, 기억을 살아있게 유지하며 배를 제자리에 묶어두는 앵커처럼 작용하는 세 가지 요소를 발견했습니다.

1. 모달리티 앵커 ("한쪽 면만 지우는 문제")

비유: 한 커플이 함께 이야기를 쓴다고 상상해 보세요. 한 사람은 그림을 그리고, 다른 사람은 글을 씁니다. 그들은 너무 완벽하게 조화를 이루고 있어서 그림을 지우면 글이 그림을 완벽하게 묘사하고 있습니다. 그림을 그리는 사람의 노트만 바꿔서 그림을 '망각'하려고 하면, 글을 쓰는 사람의 노트가 그림을 그리는 사람을 원래 이야기로 되돌려 놓는 백업 앵커 역할을 합니다.
해결책 (양방향 지식 절제): EASE 는 그림만 지우는 것이 아니라 그림과 글을 동시에 지웁니다. 이는 양쪽이 특정 짝짓기를 동시에 놓아주도록 강요하여 어느 쪽도 기억을 되돌릴 수 없게 합니다.

2. 고유 부분공간 앵커 ("공유 노트" 문제)

비유: 그룹이 수학 시험을 준비한다고 상상해 보세요. 떠나는 학생 (떠나는 사람) 은 특정 문제를 푸는 독특한 방식 (고유한 방향) 을 가지고 있습니다. 하지만 그들의 노트는 남아있는 다른 학생들의 노트와 섞여 있습니다. 떠나는 학생의 노트를 삭제하기 위해 교과서 전체의 한 덩어리를 버리려고 하면, 실수로 남아있는 학생들이 필요로 하는 독특한 수학 트릭까지 삭제하게 됩니다.
해결책 (기울기 부분공간 분해): EASE 는 초지능 도서관 사서처럼 행동합니다. 수학 노트를 살펴보고 두 더미로 나눕니다.
1. 고유 더미: 떠난 학생만 알고 있던 것들. (이것들은 삭제됩니다.)
2. 공유 더미: 모두가 함께 배운 것들. (이것들은 안전하게 보관됩니다.)
  이는 공유 지식을 건드리지 않고 고유 더미만 외과 수술처럼 제거합니다.

3. 시간적 재앵커링 ("미끄럼틀" 문제)

비유: 떠난 학생의 노트를 성공적으로 삭제했다고 가정해 보세요. 하지만 다음 날 그룹이 다시 공부를 시작합니다. 남아있는 학생들의 노트에 떠난 학생의 스타일을 향한 아주 작고 숨겨진 편향이 남아있기 때문에, 그들은 실수로 삭제된 노트를 그룹의 새로운 학습 가이드에 다시 쓰게 됩니다. 시간이 지남에 따라 기억이 다시 스며듭니다.
해결책 (망각 잠금): EASE 는 삭제된 지식이 살았던 특정 방향에 '잠금'을 걸고 있습니다. 그룹이 공부를 계속함에 따라 AI 는 수학적으로 그 특정 방향에서 벗어나도록 강제됩니다. 마치 삭제된 기억의 골목에 "통행 금지" 표지판을 세워 그룹이 실수로 다시 들어가지 못하게 하는 것과 같습니다.

EASE 의 작동 원리 (해결책)

저자들은 이 세 가지 해결책을 하나의 워크플로우로 결합한 EASE(Entanglement-Aware Subspace Excision) 라는 시스템을 구축했습니다.

동시 삭제: 이미지와 텍스트 간의 연결을 양쪽에서 동시에 끊습니다 (모달리티 앵커 닫기).
외과적 분리: 코사인 - 사인 분해 (Cosine-Sine decomposition) 라는 수학적 기법을 사용하여 수학의 어떤 부분이 오직 떠나는 사람에게만 속하고 어떤 부분이 그룹에 속하는지 정확히 찾아냅니다 (고유 부분공간 앵커 닫기).
잠금: 향후 학습 세션 동안 AI 가 삭제된 기억의 골목으로 다시 표류하는 것을 방지하는 '망각 잠금'을 적용합니다 (시간적 재앵커링 닫기).

결과

이 논문은 AI 가 이미지와 텍스트 설명을 매칭하도록 학습하는 실제 데이터셋 (Flickr30K 및 COCO 등) 에서 EASE 를 테스트했습니다.

목표: AI 는 떠난 클라이언트의 데이터가 처음부터 없었던 것처럼 (처음부터 다시 학습한 것처럼) 행동해야 하지만, 모든 것을 다시 학습하는 막대한 비용은 들지 않아야 합니다.
결과: EASE 는 이전 방법들보다 훨씬 뛰어났습니다.
- 망각 측면: 특정 데이터를 성공적으로 지웠습니다 (예: 클라이언트가 떠났다면, AI 는 그들의 특정 개 사진을 인식하지 못하게 되었습니다).
- 유지 측면: 다른 사람들을 위해 AI 를 똑똑하게 유지했습니다 (고양이나 다른 개를 인식하는 법을 잊지 않았습니다).
- 효율성: 모델 전체를 처음부터 다시 학습하는 것보다 훨씬 빠르고 저렴하게 이를 수행했습니다.

요약

EASE 를 그룹 AI 프로젝트용 정밀 지우개로 생각하세요. 전체 화이트보드를 문지르고 혼란을 초래하는 대신, 제거해야 할 정확한 스티커 노트를 식별하여 아래에 있는 노트를 번지지 않게 떼어내고, 나중에 실수로 다시 붙이지 못하도록 장벽을 설치합니다. 이는 복잡하고 다감각적인 AI 시스템에서 '잊힐 권리'가 실제로 존중되도록 보장합니다.

다음은 "EASE: Entanglement-Aware Anchor Closure 를 통한 연합 멀티모달 망각" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 대규모 시각 - 언어 모델 (예: CLIP) 의 맥락에서 **연합 멀티모달 망각 (Federated Multimodal Unlearning, FML)**의 과제를 다룹니다. FML 에서는 여러 클라이언트가 원본 데이터를 공유하지 않고 사적인 이미지 - 텍스트 쌍으로 모델을 협력적으로 학습합니다. 클라이언트가 탈퇴하거나 특정 데이터 (샘플 또는 클래스) 가 개인정보 보호권 또는 유해 콘텐츠 등의 이유로 제거되어야 할 때, 시스템은 처음부터 재학습하지 않고도 해당 데이터를 "망각"해야 합니다.

저자들은 기존 연합 망각 방법들이 멀티모달 환경에서 실패하는 이유는 망각된 지식이 지속되도록 허용하는 세 가지 특정 **잔류 앵커 (residual anchors)**를 고려하지 않기 때문이라고 지적합니다.

모달리티 앵커 (Modality Anchor): 대비 손실 (예: InfoNCE) 의 이선형 결합 (bilinear coupling) 으로 인해 한 모달리티 (예: 텍스트) 의 기울기는 다른 모달리티 (예: 이미지) 의 임베딩에 의존합니다. 한 가지 분기만 수정될 경우, 수정되지 않은 분기가 앵커 역할을 하여 망각된 정렬을 재구성합니다.
고유 부분공간 앵커 (Unique-Subspace Anchor): 클라이언트 기울기 부분공간들은 얽혀 있습니다. 망각 특이적 방향은 유지되는 클라이언트들이 공유하는 방향과 혼합됩니다. 기존 방법들은 망각 부분공간을 단일 블록으로 취급하여, 데이터를 제거하지 못함 (과소 삭제) 이나 유지된 지식을 손상시킴 (과다 삭제) 사이의 트레이드오프를 초래합니다.
시간적 재앵커링 (Temporal Re-anchoring): 망각 시점에 앵커가 닫히더라도, 이후 유지되는 클라이언트들과의 연합 평균화 (FedAvg) 라운드가 제거된 방향을 점진적으로 다시 작성하여 모델이 시간이 지남에 따라 망각된 데이터를 "기억"하게 만듭니다.

2. 방법론: EASE 프레임워크

저자들은 세 가지 앵커 채널을 동시에 닫도록 설계된 EASE(Entanglement-Aware Subspace Excision, 얽힘 인식 부분공간 절제) 프레임워크를 제안합니다. 이는 경량 LoRA 어댑터를 사용하여 동결된 멀티모달 백본 위에서 작동합니다.

A. 양측 지식 절제 (Bilateral Knowledge Excision, BKE) – 모달리티 앵커 닫기

메커니즘: 시각 또는 텍스트 분기 중 하나만 수정하는 대신, EASE는 두 분기 모두를 동시에 이동시킵니다.
논리: 이선형 유사도 모델에서 정렬 기울기는 두 임베딩의 곱에 의존합니다. $z_v$ 와 $z_t$ 를 원래 값에서 동시에 이동시킴으로써, 이선형 유사도가 망각된 쌍을 더 이상 재구성하지 못하게 합니다.
결과: 이는 "수정되지 않은" 모달리티가 수정된 분기를 원래 정렬로 되돌리는 기억 앵커로 작용하는 것을 방지합니다.

B. 기울기 부분공간 분해 (Gradient Subspace Decomposition, GSD) – 고유 부분공간 앵커 닫기

메커니즘: 서버는 클라이언트들의 과거 기울기 업데이트를 수집하고 특이값 분해 (SVD) 를 수행하여 망각 부분공간 ( $S_f$ ) 과 유지 부분공간 ( $S_r$ ) 을 추출합니다.
논리: 코사인 - 사인 분해를 사용하여 $S_f$ $S_{f}$ 와 $S_r$ $S_{r}$ 사이의 주각 (principal angles) 을 계산합니다.
- $S_r$ 에 거의 수직인 방향은 **고유 부분공간 앵커 (제거 가능)**로 식별됩니다.
- $S_r$ 와 매우 정렬된 방향은 **유지 지원 (보존 필요)**으로 식별됩니다.
조치: 서버는 전역 모델 파라미터를 고유 부분공간의 여집합으로 투영하여, 공유된 지원은 보존하면서 망각 전용 방향만 효과적으로 절제합니다.

C. 망각 잠금 (Forget Lock) 을 통한 투영 (Projection with Forget Lock, PFL) – 시간적 재앵커링 닫기

메커니즘: 지속적인 학습 중 드리프트를 방지하기 위한 양면 접근법:
1. 서버 측 투영: 망각 직후, 전역 모델을 투영하여 고유 부분공간 성분을 제거합니다.
2. 클라이언트 측 망각 잠금: 이후 로컬 SGD 라운드 동안 클라이언트는 $L_{total} = L_{align} + \alpha \cdot L_f$ 로 결합된 목적 함수를 최적화합니다.
논리: $L_f$ 는 식별된 고유 부분공간 방향 ( $U_\mu$ ) 을 따라 발생하는 드리프트를 특히 패널티로 부과하는 2 차 패널티입니다.
결과: 이는 망각된 지식이 모델로 다시 드리프트하는 것을 제한하는 "잠금"을 생성하면서, 직교 여집합 (유지된 지식) 은 회복을 위해 제약 없이 두는 효과를 냅니다.

3. 주요 기여

앵커 원리: 이 논문은 연합 멀티모달 망각 실패를 유발하는 세 가지 명확한 메커니즘 (모달리티, 고유 부분공간, 시간적 재앵커링) 을 공식적으로 식별하고 특징화합니다. 이들 중 일부만 닫는 것은 측정 가능한 재구성 경로를 남긴다는 것을 입증합니다.
EASE 프레임워크: BKE, GSD, PFL 을 결합한 통합 솔루션입니다. 이는 연합 환경에서 교차 모달 결합과 부분공간 얽힘을 동시에 해결하는 최초의 방법입니다.
이론적 보장: 저자들은 다음을 보여주는 기하학적 증명을 제공합니다.
- BKE 는 지배적인 모달리티 앵커 신호를 제거합니다.
- GSD 는 임계값 $\delta$ 에 기반하여 유지된 지식에 대한 부수적 손상을 제한합니다.
- PFL 은 잠금 강도 $\alpha$ 에 반비례하여 망각된 지식의 시간적 드리프트를 제한합니다.
종합 평가: CLIP-B/32, CLIP-L/14, SigLIP 백본을 사용하여 Flickr30K, MS COCO, TextCaps 에서 광범위한 실험을 수행했습니다.

4. 실험 결과

EASE 는 Client, Class, Sample 세 가지 망각 시나리오에 걸쳐 FedEraser, Ferrari, FedOSD, GradAscent 를 포함한 9 가지 베이스라인과 비교되었습니다.

망각 완전성: EASE 는 망각 세트에 대한 검색 성능 (Forget R@1) 을 감소시키는 데 모든 베이스라인을 크게 능가했습니다. 예를 들어, CLIP-B/32 를 사용한 Flickr30K 에서 EASE 는 재학습 기준치인 0.1 에 근접한 Forget R@1 0.3을 달성한 반면, Ferrari 및 FedOSD 와 같은 베이스라인은 여전히 높게 (>60-80%) 유지되어 망각에 실패했음을 나타냈습니다.
유지 무결성: 유지된 지식을 파괴하는 공격적인 방법 (예: GradAscent) 과 달리, EASE 는 유지 세트에서 높은 성능을 유지합니다. 클라이언트 망각 시 유지 측에서 재학습 기준치를 4.2 R@1 포인트 이내로 일치시켰으며, 다른 방법들은 상당한 감소를 겪었습니다.
개인정보 보호 검증: EASE 는 가장 낮은 멤버십 추론 공격 (MIA) 점수와 Likelihood-Ratio Attack (LiRA) TPR 을 보여, 망각된 데이터가 비구성원과 구별 불가능함을 확인했습니다.
절제 연구 (Ablation Studies): 단일 구성 요소 (BKE, GSD, 또는 Lock) 를 제거하면 각각의 실패 모드가 발생하여 세 가지 앵커를 모두 해결해야 할 필요성을 검증했습니다.
효율성: EASE 는 재학습과 비교 가능한 성능을 달성하면서 통신 비용을 크게 줄입니다 (전체 재학습의 약 20-25%).

5. 의의

패러다임 전환: 이 논문은 연합 망각을 "블랙박스 삭제" 접근법에서 "기하학적, 얽힘 인식" 접근법으로 전환시킵니다. 멀티모달 시스템에서는 한 모달리티에 일방적으로 수행하거나 기울기를 독립적인 블록으로 취급하여 망각을 수행할 수 없음을 강조합니다.
실용적 적용 가능성: LoRA 어댑터와 투영 연산자를 사용함으로써 EASE 는 계산적으로 효율적이며 기존 연합 학습 인프라와 호환되어, "잊힐 권리"가 중요한 규제 분야 (예: 의료, 금융) 의 실제 배포에 적합합니다.
견고성: 이 프레임워크는 지속적인 학습에 대한 망각의 내구성을 보장하여 기존 많은 망각 알고리즘을 괴롭히는 "드리프트" 문제를 해결합니다.

결론적으로 EASE 는 연합 멀티모달 모델에서 데이터를 제거하기 위한 이론적으로 근거가 있으며 경험적으로 우수한 솔루션을 제공하여, 이전까지 진정한 망각을 방해했던 재구성 채널들을 효과적으로 닫습니다.