🤖 AI

Look But Don't Touch with Sparse Autoencoders for Unlearning in Diffusion Models

이 논문은 희소 오토인코더(Sparse Autoencoders)가 확산 모델(diffusion models)에서 의미론적 개념을 효과적으로 탐지하지만, 이러한 특징들을 이용한 직접적인 잠재 변수 개입(latent intervention)이 시각적 아티팩트를 유발한다는 점을 입증하며, 모델의 활성화 통계량을 보존함으로써 더 우수한 객체 삭제를 달성하는 탐지 기반 대체 전략을 제안한다.

원저자: Enrico Cassano, Riccardo Renzulli, Rayyan Ahmed, Marco Grangetto, Stephan Alaniz

게시일 2026-07-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Enrico Cassano, Riccardo Renzulli, Rayyan Ahmed, Marco Grangetto, Stephan Alaniz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 당신에게는 당신이 묘사하는 무엇이든 그려낼 수 있는 마법의 붓(디퓨전 모델)이 있습니다. 하지만 가끔은, 모델 전체를 처음부터 다시 학습시키지 않고도 말이나 저작권이 있는 캐릭터처럼 특정 사물을 그리는 법을 '잊게' 만들고 싶을 때가 있습니다. 이 과정을 '언러닝(unlearning, 망각)'이라고 부릅니다.

최 최근 연구자들은 이 붓을 돕기 위해 **희소 오토인코더(Sparse Autoencoder, SAE)**라는 특별한 도구를 사용해 보았습니다. SAE는 마치 매우 조직적인 사서와 같아서, 예술가의 뇌(모델의 내부 데이터)를 들여다보고 말이 그려지는 데 책임이 있는 특정 '생각'이나 '뉴런'이 정확히 어디인지 지목할 수 있습니다.

문제점: "보기만 하고 만지지는 마라 (Look But Don't Touch)"

연구자들은 다음과 같은 전략을 시도했습니다. 예술가에게 이렇게 말하는 것이죠. "이봐, 네가 지금 말을 생각하고 있는 게 보여. 그 생각을 멈춰!" 그들은 예술가의 뇌 속에서 그 특정 '말의 생각'에 대한 볼륨을 직접 줄이는 방식으로 이를 시도했습니다.

결과는 재앙이었습니다.

논문에서는 이를 **"Look But Don't Touch"**라고 부릅니다.

Look (보기): SAE는 말의 생각을 찾아내는 데 탁-월했습니다. 그것이 정확히 어디에 있는지 완벽하게 알고 있었습니다.
Don't Touch (만지지 마라): 하지만 그 생각을 바꾸려고 시도하자, 예술가의 뇌는 혼란에 빠졌습니다. '말의 생각'은 정체불명의 노이즈(out-of-distribution noise)로 대체되었습니다.

비유: 영화를 편집한다고 상상해 보세요. 당신은 말이 등장하는 정확한 프레임을 찾아냈습니다. 하지만 단순히 말을 잘라내는 대신, 영화 필름 전체에서 말의 색상을 '빼버리려고' 시도합니다. 그 결과는 말이 없는 깨끗한 장면이 아니라, 하늘은 보라색으로 변하고 풀밭은 노이즈처럼 보이는 글리치(glitch) 가득한 엉망진창이 됩니다. 예술가의 뇌는 한 번도 본 적 없는 상태로 내몰렸고, 이는 심각한 시각적 아티팩트(글리치)를 만들어냈습니다.

해결책: 패치 임베딩 교체 (Patch Embedding Replacement, PER)

저자들은 SAE가 훌륭한 '지우개'는 될 수 없지만, 아주 뛰어난 '탐지기'라는 사실을 깨달았습니다. 그래서 전략을 완전히 바꿨습니다.

예술가의 내부적인 생각을 직접 조작하는 대신, SAE를 오직 말을 찾아내는 데만 사용하기로 했습니다. SAE가 "이 이미지의 특정 패치에 말이 있다"라고 말하면, 연구자들은 단순히 그 패치를 동일한 이미지 내에서 말이 없는 깨끗한 패치로 **교체(swap)**해 버리는 것입니다.

비유:
사람들로 북적이는 공원 사진을 편집하면서 특정 인물(말)을 제거하고 싶다고 상상해 보세요.

기존 방식 (Steering): 당신은 마법 지팡이를 사용해 그 사람을 '없던 일'로 만들려고 합니다. 하지만 지팡이가 오작동하여, 그 사람의 얼굴이 배경 속으로 녹아내리며 사진 전체를 망쳐버립니다.
새로운 방식 (PER): 당신은 SAE를 사용하여 손가락으로 그 사람을 가리킵니다. 그런 다음, 같은 사진의 다른 부분에서 가져온 깨끗하고 빈 풀밭 조각을 그 사람 위에 덮어씌웁니다. 이미 존재하는, 그리고 완벽하게 어울리는 조각을 사용하기 때문에 결과는 자연스럽습니다. 글리치도, 이상한 색상도 없습니다.

핵심 발견

탐지는 쉽지만, 조작은 어렵다: 이 논문은 SAE가 이미지 안에 무엇이 있는지 식별하는 데는 뛰어나지만, 그것을 제거하기 위해 모델을 직접 제어하는 데는 서투르다는 것을 증명합니다. 직접적인 조작은 모델의 내부 로직을 파괴합니다.
"교체(Swap)"가 더 효과적이다: SAE를 오직 대상을 찾는 용도로만 사용하고 이미지 조각(패치)을 교체함으로써, 훨씬 더 깔끔한 결과를 얻었습니다.
추측할 필요가 없다: 기존 방식은 '말의 생각'을 얼마나 줄일지 결정하기 위해 수십 가지의 강도 설정을 시도하는 지루한 '그리드 탐색(grid search)'이 필요했습니다. 새로운 방식은 이러한 시행착오 없이 자동으로 작동합니다.
더 나은 결과: "UnlearnCanvas"라는 테스트에서, 이들의 새로운 방식은 이전 방식들보다 훨씬 덜 글리치하며(아티팩트가 적음), 이미지의 다른 부분(스타일이나 배경 등)을 훨씬 더 온전하게 유지했습니다.

요약

이 논문은 AI 제어에 관한 귀중한 교훈을 줍니다. 모델 내부에서 어떤 개념을 찾아낼 수 있다고 해서, 그것을 직접 수정하려고 해서는 안 된다는 것입니다. 때로는 무언가를 제거하는 가장 좋은 방법은, AI가 자신의 역할을 다해 원치 않는 항목을 찾아내게 한 뒤, AI의 뇌에게 그 개념을 '생각하지 말라'고 강요하는 대신 이미 잘 어울리는 다른 것으로 그 특정 부분을 교체하는 것입니다.

기술 요약: 확산 모델의 언러닝(Unlearning)을 위한 Sparse Autoencoder 활용 전략 — "보되 만지지는 마라 (Look But Don't Touch)"

문제 정의

본 논문은 확산 모델(Diffusion Models, DMs)에서의 기계 언러닝(Machine Unlearning), 구체적으로는 모델을 재학습시키지 않고 원치 않는 개념(예: 특정 객체 또는 스타일)을 선택적으로 삭제하는 과제를 다룹니다. Sparse Autoencoders(SAEs)는 밀집된 신경망 활성화 값을 희소하고 단일 의미적인(monosemantic) 특징으로 분해할 수 있는 능력 덕분에 개념 수준의 조작을 위한 유망한 도구로 부상했으나, 확산 모델에 적용할 때 결정적인 실패 모드에 직면합니다.

기존의 SAE 기반 언러닝 방식은 일반적으로 SAE 잠재 변수(latents)를 통해 타겟 개념을 식별한 후, 이를 스티어링(negative multiplier를 통한 조작)하여 개념을 억제하는 파이프라인을 따릅니다. 저자들은 이러한 직접적인 개입이 빈번하게 분포 외(Out-of-Distribution, OOD) 활성화를 유도한다는 점을 관찰했습니다. 조작된 잠재 벡터가 확산 모델이 학습한 매니폴드(manifold) 상에 존재하지 않기 때문에, 재구성 과정에서 심각한 시각적 아티팩트(artifacts)가 발생하여 이미지 품질을 저하시키고 언러닝 목적을 저해하게 됩니다. 핵심 문제는 개념 탐지(SAE가 잘 수행하는 영역)와 개념 개입(SAE가 실패하는 영역) 사이의 간극입니다.

방법론

저자들은 탐지와 개입을 분리하기 위해 **패치 임베딩 교체(Patch Embedding Replacement, PER)**라는 프레임워크를 제안합니다. PER는 잠재 공간을 직접 조작하는 대신, SAE를 오직 의미론적 탐지기로만 사용합니다.

1. SAE 학습 및 개념 식별

SAE 구조: 저자들은 확산 모델(예: Stable Diffusion v1.5, SDXL Turbo)의 디노이징 네트워크 내 크로스 어텐션(cross-attention) 레이어의 잔차 스트림(residual stream)에 SAE를 적용합니다. 고정된 희소 수준을 보장하기 위해 상위 $k$ 개의 활성화된 잠재 변수만을 유지하는 TopK SAE를 활용합니다.
개념-잠재 변수 매핑: 점수 기반 분석을 통해 특정 개념에 대응하는 SAE 잠별 변수를 식별합니다. 잠재 변수는 타겟 개념이 포함된 데이터셋과 포함되지 않은 데이터셋에서의 활성화 빈도를 기준으로 순위가 매겨집니다.
탐지 마스크(Detection Mask): 추론 과정 중 타겟 개념 $c$ 에 대한 이진 탐지 마스크 $M^c$ 가 생성됩니다. 특정 위치 $(h, w)$ 는 연관된 잠재 변수 중 적어도 하나가 검증 세트에서의 평균 활성화 임계값을 초과할 경우 해당 개념을 포함하는 것으로 표시됩니다.

2. 패치 임베딩 교체 (PER)

SAE 잠재 변수에 음수 승수(negative multiplier)를 적용하는 대신(이는 OOD 변화를 야기함), PER는 문제가 되는 데이터를 피처 맵(feature map)에서 직접 교체합니다.

교체 전략: 탐지 마스크 $M^c_{h,w} = 1$ 인 모든 패치 임베딩 $\mathbf{X}_{h,w}$ 에 대해, 해당 임베딩을 개념이 감지되지 않은( $M^c_{h',w'} = 0$ ) 위치에서 균등하게 샘플링한 임베딩 $\mathbf{X}_{h',w'}$ 로 교체합니다.
수학적 정식화:
$\tilde{\mathbf{X}}_{h,w} = (1 - \mathbf{M}^c_{h,w}\mathbf{X}_{h,w} + \mathbf{M}^c_{h,w}\mathbf{X}_{h',w'}$
여기서 $(h', w') \sim \mathcal{U}(\{(i, j) \mid \mathbf{M}^c_{i,j} = 0\})$ 입니다.
확장(Dilation): 개념 정보가 인접한 패치로 번지는 공간적 상관관계를 고려하여, 탐지 마스크를 패딩 계수 $p$ 만큼 확장할 수 있습니다. 저자들은 $p=1$ 이 커버리지와 무관한 콘텐츠 보존 사이의 최적의 균형임을 발견했습니다.
분포 내(In-Distribution) 보장: 모든 교체된 활성화 값이 디노이징 네트워크의 동일한 순방향 패스(forward pass)에서 유래하므로, 결과물인 $\tilde{\mathbf{X}}$ 는 엄격하게 분포 내(In-Distribution, ID) 상태를 유지합니다. 이는 모델의 활성화 통계량을 보존하며, OOD 스티어링으로 인한 아티팩트를 방지합니다.

주요 기여

실패 모드의 규명: 본 논문은 확산 모델에서 SAE 기반 언러닝의 구체적인 실패 모드를 체계적으로 규명했습니다. 즉, 음수 승수를 통한 직접적인 잠재 변수 스티어링은 활성화를 훈련 매니폴드 밖으로 밀어내어 체계적인 시각적 아티팩트를 발생시킵니다.
탐지 기반 프레임워크 (PER): 저자들은 SAE를 오직 개념 국소화(localization)를 위해서만 활용하는 PER을 도입했습니다. 탐지된 패치 임베딩을 동일한 피처 맵 내의 개념이 없는 임베딩으로 교체함으로써, PER은 시각적 일관성과 분포적 무결성을 유지하면서 원치 않는 개념을 제거합니다.
성능 향상: 이 방법은 개입 강도( $\gamma$ )를 위한 비용이 많이 드는 그리드 서치를 제거하며, UnlearnCanvas 벤치마크에서 최첨단(SOTA) 결과를 달em합니다.

실험 결과

저자들은 UnlearnCanvas 벤치마크(20개 객체 클래스, 5개 예술적 스타일)를 통해 네 가지 기존 SAE 기반 파이프라인(SAeUron, SAEmnesia, G-SAE, SDXL Turbo 상의 SAE)에 대해 PER을 평가했습니다.

아티팩트 감소: 승수 기반 스티어링 방식은 높은 **아티팩트율(Artifact Rate, AR)**을 보였습니다 (예: SAeUron 57.0%, SDXL Turbo 상의 SAE 61.0%). PER을 적용했을 때 이 비율은 급격히 감소했습니다 (예: SAeUron 16.3%, SDXL Turbo 8.0%).
언러닝 정확도: PER은 **언러닝 정확도(Unlearning Accuracy, UA)**를 유지하거나 향상시키는 동시에 **교차 도메인 유지 정확도(Cross-domain Retain Accuracy, CRA)**를 크게 높였습니다. 예를 들어, SAEmnesia의 경우 PER은 GA 점수를 81.18%에서 91.44%로 높였으며, 이는 주로 CRA가 88.48%에서 97.97%로 증가한 데 기인합니다.
인간 평가: SAEmnesia와 SAEmnesia+PER를 비교한 사용자 연구에서, 인간 평가자들은 동률(tie)이 아닌 경우의 **95.5%**에서 PER의 출력을 선호했습니다.
적대적 강건성: PER은 UnlearnDiffAtk와 같은 적대적 공격에 대해 경쟁력 있는 강건성을 보여주었으며, 특정 설정에서 베이스라인 대비 언러닝 효과의 저하가 더 작음을 입증했습니다.
효율성: PER은 모델 미세 조정이나 추가적인 SAE 학습, 개입 강도를 위한 하이퍼파라미터 탐색을 필요로 하지 않아 계산 효율적인 대안을 제공합니다.

의의 및 주장

본 논문은 SAE를 생성 모델을 분석하기 위한 강력한 해석 가능성 도구로 위치시키면서도, 근본적인 한계를 지적합니다. 즉, 단일 의미적 혹은 희소한 특징들이 확산 모델에서 직접적인 제어 노브(control knob)로서의 스티어링에는 본질적으로 적합하지 않다는 점입니다.

저자들은 자신들의 연구가 "개념 탐지와 개념 개입 사이의 근본적인 간극"을 드러낸다고 주장합니다. SAE를 오직 개념을 찾는 데만 사용하고 표준적인 분포 내 데이터를 사용하여 이를 교체함으로써, PER은 더 깨끗한 삭제 결과를 달성합니다. 결론적으로, 확산 모델의 언러닝을 위해서는 개입 벡터의 해석 가능성보다 활성화 매니폴드를 보존하는 것이 더 중요하며, 직접적인 조작보다 "보되 만지지는 마라(Look But Don't Touch, 즉 탐지만 하고 스티어링은 하지 마라)"는 전략이 더 효과적이라는 것을 보여줍니다.