기술 요약: 딥 드림은 이것으로 만들어진다

문제 제기

기존의 기계적 해석 가능성 연구는 최적화를 통한 특징 시각화 기법을 통해 합성곱 신경망 (CNN) 에서 크게 진전되었으나, 이러한 방법을 잠재 확산 모델 (LDM) 에 적용하는 것은 고유한 난제를 안고 있습니다. LDM 은 압축된 변분 오토인코더 (VAE) 잠재 공간에서 작동하며, 시간 단계에 조건부인 반복적 탈노이즈 과정을 활용합니다. 피크스페이스 입력을 최적화하여 특징 활성화를 극대화하는 고전적 특징 시각화 방법은 다음과 같은 이유로 이 맥락에서 실패합니다:

1. 다의성 (Polysemanticity): 원시 신경 특징은 종종 여러 개의 관련 없는 개념을 동시에 나타내어 시각화가 불일치하게 됩니다.
2. 잠재 공간 제약: 잠재 공간에서 직접 최적화하면 디코더의 범위 초과 값 (과포화 유발) 과 고주파수 노이즈 아티팩트와 같은 실패 모드가 발생합니다.
3. 시간적 복잡성: 확산 모델의 특징은 서로 다른 이유로 다른 시간 단계에서 활성화될 수 있으므로, 특정 활성화 조건을 분리할 수 있는 방법이 필요합니다.
4. 기존 도구의 한계: 데이터셋 예시와 특징 조종 (feature steering) 과 같은 현재 확산 모델 해석 가능성 방법들은 데이터셋 내용에 제한받거나, 특징을 활성화하는 구체적인 입력이 아닌 하류 효과를만 드러냅니다.

방법론: 최적화를 통한 잠재 시각화 (LVO)

저자들은 LDM 으로 최적화를 통한 특징 시각화를 확장한 최적화를 통한 잠재 시각화 (LVO) 기법을 제안합니다. 핵심 목표는 경사 상승을 통해 잠재 벡터 $z_{opt}$를 최적화하여 특정 목표 특징을 최대한 활성화하는 것입니다. 이 방법은 확산 모델에 특화된 네 가지 구성 요소를 도입합니다:

1. 시간 단계 활동 분석: 모든 1,000 개의 시간 단계에 걸쳐 특징을 시각화하는 대신, 이 방법은 데이터셋 전체에서 상위-$k$개 활성화 중 가장 빈번하게 나타나는 "활동 피크"를 식별합니다. 시각화는 탈노이즈의 해당 단계에서 특징의 역할을 분리하기 위해 이러한 피크 시간 단계에 대해 구체적으로 생성됩니다.
2. 잠재 공간 최적화: 디코더를 통한 역전파와 관련된 계산 비용 및 경사 아티팩트를 피하기 위해 최적화는 픽스 공간이 아닌 VAE 잠재 공간 내에서 수행됩니다.
3. 스케줄 일치 노이즈 주입: U-Net 에 대한 올바른 조건부 설정을 유지하기 위해, 최적화된 잠재 벡터는 타겟 시간 단계의 스케줄러 계수를 사용하여 각 순전파 단계에서 재노이즈됩니다 ($z_{noise} = \sqrt{\bar{\alpha}_t}z + \sqrt{1-\bar{\alpha}_t}\epsilon$). 이는 모델이 기대하는 신호 - 대 - 노이즈 비율을 보게 함을 보장합니다.
4. 사전 초기화: 최적화는 타겟 특징이 활성화되는 시간 단계에서 특징 조종을 통해 생성된 "사전 (prior)" 이미지에서 초기화됩니다. 이는 최적화 궤적이 해석 가능한 매니폴드 내에 유지되도록 하여 고주파수 노이즈로 붕괴되는 것을 방지합니다.

정규화 전략:
고주파수 노이즈와 잠재 공간 아티팩트를 완화하기 위해 저자들은 일련의 정규화기를 적용합니다:

• 픽스 공간 이전: 변환 강건성 (지터, 회전, 스케일링), 스펙트럼 필터링 (고주파수 경사 감쇠), 그리고 경사 평활화.
• 잠재 특화 페널티: 범위 페널티 (디코더의 훈련 범위, 일반적으로 $[-3, 3]$ 밖의 값을 페널티화) 와 모멘트 페널티 (잠재의 평균과 분산을 표준 정규 분포에 가깝게 유지).

SAE 를 통한 분리:
이 연구는 두 가지 변형을 비교합니다:

• 원시 계층 기준: 단일 원시 활성화 채널을 최적화합니다.
• SAE 변형: 최적화 전에 다의적 표현을 단일 의미 특징으로 분리하기 위해 해당 계층에서 훈련된 희소 오토인코더 (SAE) 를 사용합니다.

주요 기여

1. LVO 프레임워크: 시간 단계 분석, 스케줄 일치 노이즈, 사전 초기화, 그리고 잠재 특화 정규화를 통합한 LDM 의 특징 시각화를 위한 완전한 파이프라인 제안.
2. 분리 기준선: SAE 분리가 제공하는 해석 가능성 향상을 분리하기 위한 통제된 원시 계층 기준선 제공.
3. 정규화 제거 실험: 잠재 영역에서 픽스 공간 정규화기를 체계적으로 제거한 최초의 연구로, 원시 계층과 SAE 변형 간에 최적 정규화 전략이 크게 다르다는 것을 규명함 (예: SAE 특징은 모멘트 페널티의 혜택을 받지만 총변분과 경사 평활화에 대해 과민함).
4. 상호 보완적 통찰: 특징을 활성화하는 입력 조건을 직접 드러냄으로써 데이터셋 예시 및 조종과 구별되는 통찰을 LVO 가 제공함을 입증.

결과

이 방법은 Style50 데이터셋으로 미세 조정된 Stable Diffusion 1.5 에서 up_blocks.1.attentions.1 계층을 대상으로 평가되었습니다.

• 다의적 기준선: 원시 계층 활성화를 최적화하면 종종 불일치하거나 여러 개념이 혼합된 시각화 (예: 동물 Parts 를 섞어 눈과 털을 포함하지만 인식 가능한 동물을 형성하지 않음) 가 생성되었습니다. 이러한 원시 특징에 대한 조종은 정보력이 없는 일반적인 이미지를 생성했습니다.
• 단일 의미 SAE 특징: SAE 기반 LVO 는 여러 시드와 시간 단계에 걸쳐 인식 가능한 개념의 명확하고 일관된 시각화를 생성했습니다. 주목할 만한 예는 다음과 같습니다:
  • 특징 9984: 일관되게 "대각선 구성" (왼쪽 상단에서 오른쪽 하단으로 향하는 스트로크) 을 시각화했습니다. 이는 다양한 데이터셋 예시에서는 명확하지 않은 구조적 개념입니다.
  • 특징 10331: 인간 형상을 명확하게 묘사했습니다.
  • 기타 특징: 객체 부분 (케이블, 장미), 질감 (폭포 거품), 그리고 원근법을 성공적으로 시각화했습니다.
• 정규화 효과: 보정 결과, 노이즈 붕괴를 방지하기 위해 사전 초기화가 필수적이었음이 확인되었습니다. 또한, 변환 강건성 및 모멘트 페널티와 같은 정규화 항은 최적화기가 해석 불가능한 지역 최댓값을 탈출하도록 도와 더 명확한 구조를 드러내는 것으로 나타났습니다 (예: "진흙탕" 같은 질감을 뚜렷한 케이블 구조로 변환).

중요성 및 주장

이 논문은 LVO 가 확산 모델 해석 가능성에서 중요한 틈새를 채운다고 주장합니다. 데이터셋 예시는 내용 다양성에 제한받고 조종은 하류 효과를 드러내는 반면, LVO 는 "무엇이 특징을 활성화하는가"에 직접적으로 답합니다. 저자들은 이 기법이 제안된 네 가지 구성 요소 (시간 단계 분석, 노이즈 주입, 사전 초기화, 적절한 정규화) 를 모두 결합할 때만 실행 가능하다고 강조합니다.

이 작업은 주로 방어적 해석 가능성을 위한 도구로 제시되며, 안전 감사, 타겟 개념 망각, 그리고 콘텐츠 모니터링을 지원합니다. 저자들은 특징 활성화를 식별하는 것이 이론적으로 안전 필터를 우회하는 데 도움이 될 수 있는 이중 사용 위험을 인정하지만, 근본적인 모델과 SAE 가 이미 공개되어 있으며 이 방법이 활성화 원인을 드러낼 뿐 억제 기법을 드러내지 않는다는 점을 고려할 때 그 위험은 제한적이라고 평가합니다.

이 연구는 LVO 가 데이터셋 예시의 표준 검사로는 보이지 않는 구조적 및 구성적 특징 (예: 대각선 배열) 을 표면화하여 잠재 확산 모델의 기계적 연구에 필수적인 상호 보완적 관점을 제공한다고 결론지었습니다.