기술 요약: 개념 주석을 통한 희소 오토인코더(Sparse Autoencoders)의 해석 가능성 평가

문제 정의

희소 오토인코더(SAE)는 비전 및 비전-언어 모델(예: CLIP, DINOv2)의 고차원 내부 표현을 희소하고 해석 가능한 잠재 변수(latents)로 분해하는 데 점점 더 많이 사용되고 있다. 그러나 비전 기반 SAE에 대한 기존 평가 방법들은 구조적 프록시(예: 재구성 충실도, 희소성)나 질적 검사에 크게 의존한다. 이러한 방법들은 의미론적 대응(semantic correspondence)—즉, 학습된 잠재 변수가 인간이 이해할 수 있는 개념과 얼마나 일치하는지—를 측정하지 못한다.

또한, 비전 모델은 특징 분할(feature splitting)(하나의 개념이 여러 잠재 변수로 파편화됨), 특징 흡수(feature absorption)(일반적인 특징이 사각지대를 가짐), 특징 합성(feature composition)(공존하는 개념들이 병합됨)과 같은 체계적인 실패 모드를 보인다. 자연어 처리에서 채택된 기존 메트릭들은 특정 잠재 변수가 실제로 특정 의미 속성을 인코딩하는 것인지, 아니면 혼란 요인으로 인해 단순히 그것과 상관관계만 갖는 것인지를 검증하는 데 어려움을 겪는다. 결정적으로, 자연 이미지에서 단일한 의미적 변화를 격리하는 것은 통제된 개입 없이는 쉽지 않기 때문에 비전 분야에서의 기능적 평가는 어렵다.

방법론

저자들은 사용자 연구 없이도 SAE 잠재 변수와 인간이 주석을 달은 개념 사이의 정렬을 정량화하는 **인간 기반 평가 프레임워크(human-grounded evaluation framework)**를 제안한다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있다.

1. 잠재 변수-개념 매칭 (Latent-Concept Matching)

통계적 정렬을 측정하기 위해, 저자들은 이진화된 SAE 활성화 값과 이진 정답 속성 벡터를 비교한다.

• 일대일 매칭 (One-to-One Matching): 주어진 속성에 대해 F1 점수를 최대화하는 단일 잠재 변수를 선택한다.
• 완전 이진 매칭 추적 (Fully-Binary Matching Pursuit, FBMP): 특징이 여러 잠재 변수로 분산되는 경우가 많다는 점을 인식하여, 저자들은 연합 기반 매칭 절차를 도입한다. FBMP는 이진 도메인에 맞춤 설계된 탐욕적(greedy) 순차 선택 알고리즘이다. 표준 매칭 추적(Matching Pursuit)과 달리, 이는 완전히 이진 공간 내에서 작동한다:
  • 내적(inner product) 대신 이진 유사도 메트릭(예: $F_\beta$)을 사용한다.
  • 기여도를 합산하기 위해 논리적 OR($\lor$)을 사용하고, 잔차(residual)를 업데이트하기 위해 논리적 AND/NOT($\land, \neg$)을 사용한다.
  • 속성 주석을 집합적으로 재구성하는 작은 잠재 변수 부분 집합(연합, coalition)을 구축하며, 이를 통해 다대일(many-to-one) 매핑을 지원한다.
• $\Delta$MATCHScore: 더 큰 딕셔너리에서 매칭 점수가 팽창하는 현상(무작위 상관관계 증가)을 고려하기 위해, 저자들은 훈련되지 않은(무작위 가중치) SAE의 점수를 훈련된 SAE의 점수에서 뺸다.

2. 합성 개입 벤치마크 (Synthetic Intervention Benchmarks)

기능적 검증을 가능하게 하기 위해, 저자들은 이미지 쌍이 정확히 하나의 의미적 속성에서 차이가 나는 두 가지 합성 데이터셋을 구축한다.

• synCUB: CUB-200-2011에서 유도되었으며, 단일 객체 조류 이미지에서 미세한 속성 섭동(예: "단색" 배 패턴을 "점박이" 패턴으로 변경)을 대상으로 한다. 이는 참조 이미지를 가이드로 하여 기본 이미지를 편집하기 위해 Flux2를 사용하며, 정체성, 포즈 및 배경을 보존한다.
• synCOCO: MS-COCO에서 유도되었으며, 복잡한 다중 객체 장면에서 특정 객체를 제거하는 것을 목표로 한다. 이는 나머지 장면을 보존하면서 특정 객체를 제거함으로써, 자연스러운 환경에서의 통제된 개입 문제를 해결한다.

3. 표적 속성 섭동 정렬 점수 (Targeted Attribute Perturbation Alignment Score, TAPAScore)

이 메트릭은 매칭된 잠재 변수 연합이 표적 섭동에 대해 선택적이고 예상된 방향으로 반응하는지 테스트한다.

• 하나의 속성에서 차이가 나는 이미지 쌍 $(x, \hat{x})$에 대해, 저자들은 매칭된 잠재 변수 연합의 부호가 있는 응답(signed response)을 계산한다.
• TAPAScore는 $\Delta_{add} - \Delta_{rem}$으로 정의된다. 여기서 $\Delta$는 매칭된 잠재 변수 집합의 최대 활성화 값의 평균 변화를 나타낸다. 양수 점수는 속성이 추가될 때 잠재 변수가 증가하고 제거될 때 감소함을 나타내며, 이는 인과적 인코딩을 확인시켜 준다.

주요 기여

1. FBMP 알고리즘: 많은-대-하나(many-to-one) 매핑을 지원하는 새로운 연합 기반 매칭 절차를 제서한다. 저자들은 FBMP가 일관되게 일대일 베이스라인보다 우수한 성능을 보이며, 기존 메트릭(Feature Monosemanticity Score 또는 CKNNA 등)이 실패하는 산점 검사(sanity checks)를 통과함을 입증한다.
2. 합성 벤치마크 (synCUB & synCOCO): 자연스러운 이미지에서의 SAE 평가를 위한 최초의 개입 스타일 벤치마크로, 통제된 속성 및 객체 섭동을 가능하게 한다.
3. TAPAScore: 표적 섭동 하에서 응답 방향성을 테스트함으로써, 통계적 매칭이 인과적 의미 인코딩과 일치하는지 검증하는 기능적 메트릭이다.
4. 경험적 가이드라인: 본 연구는 실무자들에게 실행 가능한 지침을 제공하며, 최적의 해석 가능성 평가를 위해 적절한 딕셔너리 크기와 FBMP와 TAPAScore의 조합을 권장한다.

실험 결과

프레임워크는 다양한 딕셔너리 크기($128$~$4096$)와 SAE 변형(TopK, BatchTopK, Matryoshka, JumpReLU)에 대해 CLIP 및 DINOv2 임베딩으로 훈련된 SAE를 대상으로 평가되었다.

• 산점 검사 (Sanity Checks): TAPAScore와 $\Delta$MATCHScore(FBMP 포함)만이 훈련된 SAE와 훈련되지 않았거나 무작위인 베이스라인을 신뢰성 있게 구별할 수 있는 유일한 메트릭이었다. CKNNA 및 Feature Monosemanticity Score(FMS)와 같은 메트릭은 제한적인 민감도를 보이거나 일관성 없는 동작(예: 훈련되지 않은 SAE에 대해 CKNNA가 증가함)을 보였다.
• 매칭 성능: FBMP는 모든 변형에서 일대일 매칭보다 일관되게 우수한 성능을 보였다. 정밀도(precision)를 선호하는 $F_{0.5}$ 변형의 FBMP가 일반적으로 가장 높은 점수를 기록했다.
• 딕셔너리 크기 트레이드오프:
  • 딕셔너리 크기(과잉성, overcompleteness)를 늘리는 것은 특정 지점까지 통계적 매칭 점수($\Delta$MATCHScore)를 개선하지만, 종종 섭동 정렬(TAPAScore)을 저하시킨다.
  • CUB에 대한 TopK SAE의 경우, TAPAScore는 초기에 정점을 찍은 후 딕셔너리 크기가 증가함에 따라 급격히 감소했다. 이는 더 큰 딕셔너리가 통계적 정렬은 개선할지라도 인과적으로 유효한 개념을 인코딩하지 못함을 나타낸다.
  • 중간 정도의 딕셔너리 크기(변형에 따라 256–1024)가 의미적 커버리지와 기능적 선택성 사이의 최적의 균형을 제공한다.
• 상관관계: 매칭 점수와 TAPAScore는 일반적으로 양의 상관관계를 보였으나, 큰 딕셔너리 크기에서 발생하는 괴리(매칭은 개선되지만 TAPAScore는 떨어지는 현상)는 통계적 정렬이 해석 가능성을 보장하기에는 불충분하다는 점을 강조했다.

의의 및 주장

본 논문은 해석 가능성이 건축적 설계나 재구성 품질만으로 가정될 수 없으며, 반드시 인간이 이해할 수 있는 개념에 대해 명시적으로 평가되어야 한다고 주장한다. 제안된 프레임워크는 해석 가능성을 학습된 특징과 주석이 달린 개념 사이의 정렬로 공식화하고, 이를 통제된 개입을 통해 검증한다.

저자들은 중간 정도의 딕셔너리 크기가 가장 해석 가능한 SAE를 생성하는 최적의 균형을 제공한다고 결론짓는다. 저자들은 FBMP ($F_{0.5}$, $k=3$)와 TAPAScore를 결드로 사용하는 것을 기본 평가 프로토콜로 권장한다. 이 연구는 과잉성이 높아질수록 섭동 정렬이 감소할 수 있음을 보여주며, 이는 통계적 메트릭이 개선되더라도 해석 가능성은 오히려 줄어들 수 있음을 시사한다.

저자들은 본 프레임워크의 품질이 인간 주석의 세밀함과 정확도에 의해 제한된다는 한계를 인정한다. 향후 연구에서는 비전-언어 모델을 활용하여 자동 속성 생성을 수행함으로써 인간 주석에 대한 의존도를 줄이고, TAPAScore를 능동적인 모델 스티어링(steering) 도구로 사용하는 방안을 탐구할 것을 제안한다.