Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?

기술 요약: 희소 오토인코더(Sparse Autoencoders)는 의미 있는 개념 계층을 학습하는가?

문제 정의
희소 오토인코더(SAE)는 대규모 언어 및 시각-언어 모델에서 비지도 개념 발견을 위한 주요 도구로 부상하였으며, 모델 활성화 값을 고차원의 희소 잠재 특징으로 분해한다. 그러나 이러한 특징 공간이 커짐에 따라, 내재적 구조의 결여로 인해 탐색과 해석이 어려워진다. 인간은 자연스럽게 개념을 계층적으로 조직하지만(예: 테니스 $\to$ 테니스 라켓), 현재의 SAE 방식은 종종 순서가 없는 개념 공간을 생성한다. 최근의 방법론들은 계층 구조를 명시적으로 학습 과정에 도입하거나 제약 조건을 통해 암묵적으로 부여하려고 시도하고 있으나, 무엇이 "의미 있는" 특징 계층을 구성하는지에 대한 합의된 프레임워크는 존재하지 않는다. 결과적으로, 방법론 간의 엄격한 비교가 어렵고, 평가는 주로 질적인 예시나 파편화된 정량적 프로토콜에 의존해 왔다.

방법론
표준화된 평가의 부재를 해결하기 위해, 저자들은 시맨틱 네트워크 연구, 분류 체계 평가, 그리고 최근의 SAE 문헌으로부터 도출된 비지도 개념 학습을 위한 일반화/특수화 계층의 포괄적인 요구사항 세트를 도출하였다. 이 요구사항들은 세 가지 수준으로 분류된다:

1. 개념 수준 (Concept-Level): 개별 특징에 집중한다.
   • 해석 가능성 (A1): 노드는 인간이 이해할 수 있는 개념에 대응해야 한다.
2. 구조 수준 (Structure-Level): 정적 그래프 토폴로지에 집중한다.
   • 계층적 추상성 (B1): 자식 노드는 부모 노드보다 의미론적으로 더 구체적이어야 한다.
   • 형제 유사성 (B2): 동일한 부모를 가진 자식 노드들은 일관되고 의미론적으로 연관된 집합을 형성해야 한다.
3. 공동 활성화 수준 (Co-Activation-Level): 구체적인 입력값에 대한 동적 활성화 동작에 집중한다.
   • 활성화 함축 (C1): 활성화된 자식은 활성화된 부모를 함축해야 한다 (강한 흡수 현상 없음).
   • 활성화 지배 (C2): 두 특징이 모두 활성화되었을 때, 부모의 활성화 강도는 자식의 강도와 최소한 같거나 높아야 한다.
   • 빈번한 정교화 (C3): 활성화된 부모는 적어도 하나의 활성화된 자식과 빈번하게 공동 활성화되어야 한다.
   • 조건부 상관관계 (C4): 부모의 활성화 크기는 활성화된 자식들의 최대 활성화와 양의 상관관계를 가져야 한다 ("연성" 흡수 문제를 다룸).

이러한 요구사항을 바탕으로, 저자들은 특정 지표(예: 단일 의미성 점수, 계층적 추상성 점수, 활성화 함축 점수 등)로 구성된 통합된 비지도 평가 프로토콜을 도출하였다. 저자들은 이 프로토콜을 시각 데이터(CLIP ViT-L/14 및 DINOv2 임베딩)로 학습된 6가지 SAE 접근 방식(표준 TopK SAE, Matryoshka SAEs (ActMSAE, ArchMSAE), EWG-SAE, Matching-Pursuit SAE (MP-SAE), H-SAE)에 적용하여 평가하였다.

주요 결과
평가는 SAE의 계층적 개념 학습에 관한 몇 가지 중요한 사실을 밝혀냈다:

• 얕은 계층 구조: 대부분의 방법론(TopK, EWG-SAE, ArchMSAE, H-SAE)은 주로 2단계 계층 구조를 생성한다. 오직 ActMSAE만이 일관되게 더 깊은 구조(2단계 이상의 구조)를 생성한다.
• 의미적 구조 vs. 활성화 일관성: 특징 공간은 일반적으로 의미론적 구조를 가진 그래프의 기초를 제공하지만(높은 추상성 및 형제 유사성 점수), 일관된 계층적 활성화 동작을 확립하는 것은 여전히 어려운 과제이다.
• 흡수 문제 (The Absorption Problem): 계층 품질을 저하시키는 체계적인 원인으로 '특징 흡수' 현상이 확인되었다.
  • 강한 흡수 (Hard Absorption): 자식이 활성화될 때 부모의 활성화가 억제되는 현상.
  • 연성 흡수 (Soft Absorption): 새롭게 식별된 현상으로, 강한 자식 활성화가 두 특징이 모두 활성화된 상태에서도 부모의 활성화를 점진적으로 억제하여, 낮은 조건부 상관관계 점수와 지배력 점수를 초래하는 현상.
• 방법론별 성능:
  • Matryoshka 접근법 (ActMSAE): 가장 우수한 공동 활성화 지표와 다층 구조를 보여주지만, 연성 흡수가 지속된다.
  • H-SAE (명시적 계층): 설계상 일관된 공동 활성화를 강제하지만, 의미적 의미를 유지하는 데 실패한다. 그 특징들은 종종 해석 가능성이 떨어지며, 자식이 부모보다 더 추상적으로 나타나기도 한다.
  • 표준 TopK SAE: 놀랍게도 의미 있는 의미론적 그룹핑을 형성하지만, 부모와 자식 간의 일관되지 않은 활성화 강도로 인해 큰 어려움을 겪는다.
• 인코더 독립성: 계층적 공간을 학습하는 데 발생하는 어려움은 임베딩이 충분한 정보를 포함하고 있다는 전제하에, 기반이 되는 비전 인코더(CLIP vs. DINOv2)보다는 SAE 학습 전략에 의해 주도되는 것으로 보인다.

의의 및 주장
본 논문은 비지도 개념 계층을 위한 최초의 일반적인 요구사항 세트와 그에 따른 정량적 평가 프로토콜을 구축했다고 주장한다. 주요 기여는 SAE가 의미 있는 계층을 형성할 수 있는 특징을 학습할 수는 있지만, 현재의 접근 방식들이 이러한 계층이 실용적으로 유용하기 위해 필요한 동적 일관성을 유지하는 데 어려움을 겪고 있음을 식별한 것이다.

저자들은 분야가 희소성(sparsity)과 계층적 활성화 일관성 사이의 근본적인 긴장 관계를 헤쳐 나가야 한다고 주장한다. 이들은 미래의 접근 방식이 강한 희소성 제약을 재고해야 할 수도 있다고 제안하며, 계층적 활성화 동작이 일관된 덜 희소한 SAE가 파편화된 구조를 가진 더 희소한 SAE보다 더 가치 있을 수 있다고 상정한다. 나아가, 명시적인 구조적 제약만으로는 계층 내의 의미적 일관성을 보장하지 못한다면 불충분하다는 점을 강조한다.

결론적으로, 제안된 지표와 요구사항이 미래의 추출기를 위한 학습 제약 조건으로 기능할 수 있으나, 잠재 공간으로부터 계층 그래프를 추출하는 최적의 방법과 명시적 강제와 암묵적 유도 사이의 균형에 대해서는 여전히 열린 질문이 남아 있다고 밝히고 있다.