기술 요약: 구조적 희소성: 블록 희소 피처라이저 (Block-Sparse Featurizers)

1. 문제 정의

현재의 해석 가능성 방법론, 특히 희소 오토인코더(Sparse Autoencoders, SAEs)는 신경망 활성화를 고립된 방향(atoms)들의 희소한 조합으로 분해한다. 이 접근 방식은 개념이 활성화 공간 내의 단일 벡터로 표현된다고 가정한다. 그러나 최근 연구들은 신경 개념이 종종 단순한 고립된 방향이 아니라, 저차원 매니폴드(manifold), 볼록 영역(convex regions), 또는 밀집된 특징(dense features)과 같은 내부 기하학적 구조를 가지고 있음을 시사한다.

이는 신경 표현의 현상학(구조적이고 다차원적인 것)과 이를 분석하는 도구(고립된 방향) 사이에 불일치를 발생시킨다. 본 논문은 개념을 단일 방향으로 취급하는 것이 하나의 개념을 여러 원자(atoms)로 파편화시켜, 개념 내부의 본질적인 기하학과 연속적인 변화를 포착하지 못하게 만드는 "산산조각 난(shattered)" 관점을 강요한다고 주장한다.

2. 방법론

2.1 이론적 토대: 구조적 희소성 (Structured Sparsity)

저자들은 이 간극을 메우기 위해 **블록 희소 피처라이저(Block-Sparse Featurizers, BSFs)**를 제안한다. 구조적 희소성 문헌(특히 그룹 희소성)에서 착안하여, 저자들은 신경 활성화가 저차원 매니폴드의 희소한 합으로 생성된다는 가설을 세운다.

• 데이터 생성 과정 (DGP): 활성화 $x$는 $x = \sum_{i \in S} m_i + \epsilon$로 모델링된다. 여기서 $m_i$는 저차원 매니폴드 $M_i$ 위에 존재하며, $S$는 활성화된 요인들의 작은 집합이다.
• 베이지안 유도: 좌표 블록에 스파이크 앤 슬래브(spike-and-slab) 사전 분포를 배치함으로써(여기서 "슬래브"는 $\mathbb{R}^b$ 내의 구(ball) 위의 균등 분포), 최대 사후 확률(MAP) 추정은 자연스럽게 블록 희소 페널티($\ell_{2,0}$ 노름)로 이어진다. 이 페널티는 방향들의 그룹 전체에 대해 희소성을 강제하는 동시에, 활성화된 그룹 내부에서의 밀집된 변화를 허용한다.
• 기하학적 해석: 단일 방향을 선택하는 SAE와 달리, BSF는 부분 공간(subspaces)을 선택한다. 여기서 "원자(atom)"는 부분 공간 그 자체이며, 블록 내의 코드는 매니폴드 상의 위치를 나타낸다.

2.2 세 가지 블록 희소 피처라이저 변형

본 논문은 이 원리를 구현하기 위해 세 가지 별개의 아키텍처를 구현한다:

1. 바닐라 BSF (Vanilla BSF): 선형 인코더와 디코더를 사용한다. 희소성은 가장 큰 $\ell_2$ 노름을 가진 $k$개의 블록만을 유지하는 하드 투영 연산자($\Pi_k$)에 의해 강제된다.
2. 그라스만 BSF (Grassmannian BSF): 블록 내의 방향들이 직교(orthonormal)하도록 강제한다(디코더 블록들이 스티펠 다양체(Stiefel manifold) 위에 존재함). 인코더는 디코더의 전치 행렬과 결합되며($z = \gamma x D^\top$), 희소성은 $\Pi_k$를 통해 강제된다. 이는 블록을 명시적으로 부분 공간으로 모델링한다.
3. 그룹 라쏘 BSF (Group Lasso BSF): 블ック 노름을 0으로 수축시키는 소프트 임계값 활성화 함수($sh_\theta$)를 갖는 선형 인코더를 사용한다. 희소성은 손실 함수에서의 $\ell_{2,1}$ 페널티를 통해 유도되며, 이는 부드러운 목적 함수를 위해 하드 제약을 완화한다.

2.3 평가 프레임워크

• 합성 데이터 검증: 원형, 구, 토러스 등 기하학적 형태의 매니폴드가 임베딩되어 합산되는 통제된 토이 모델을 사용한다. 복구 성능은 단일 블록이 특정 매니폴드 기여분을 얼마나 잘 재구성하는지($R^2$)로 측정된다.
• 실제 세계 분석: DINOv3(비전 파운데이션 모델), InceptionV1, SDXL(확산 모델)에 적용되었다.
• 지표:
  • 최소 기술 길이 (Minimum Description Length, MDL): BSFs를 SAEs와 비교하는 데 사용된다. 비용에는 서포트(어떤 블록이 활성화되는지), 코드(블록 내 좌표), 잔차(residual), 그리고 딕셔너리에 대한 비트 수가 포함된다.
  • 안정적 랭크 (Stable Rank): 복구된 특징의 고유 차원을 정량화하는 데 사용된다.
  • 다운스트림 태스크: 분류, 세그멘테이션, 깊이 추정에 대한 선형 프로빙(linear probing).
  • 매니폴드 스티어링 (Manifold Steering): 이미지 생성을 제어하기 위해 활성화 공간에 개입한다.

3. 주요 기여

1. 이론적 정렬: 본 논문은 개념이 매니폴드라는 가설을 구조적 희소성 문헌과 공식적으로 연결하며, 블록 희소성이 매니폴드의 가법적 혼합에 부합하는 사전 분포임을 유도한다.
2. 알고리즘 구현: "하나의 방향당 하나의 개념"이라는 가정을 넘어선 세 가지 BSF 변형(Vanilla, Grassmannian, Group Lasso)을 도입한다.
3. 정량적 증거:
   • MDL 분석: BSFs는 SAEs보다 활성화를 더 압축적으로 설명한다. 최적의 블록 차원은 2~4차원으로 발견되었으며, 이는 개념이 본질적으로 다차원적임을 시사한다.
   • 합성 데이터 복구: BSFs는 높은 충실도($R^2 \approx 0.93-0.97$)로 가법적 매니폴드 중첩을 복구하는 반면, 표준 SAEs는 이러한 구조를 산산조각 낸다($R^2 \approx 0.53$).
4. 개념 매니폴드 발견:
   • InceptionV1: "곡선 검출기(curve detector)" 뉴런과 SAE 특징들이 실제로는 단일 연속 곡선 매니폴드의 파편임을 입증했다. BSF는 이를 하나의 연결된 영역으로 복구하며, 이전에는 가려져 있던 고차 푸리에 모드(예: 180° 불변성)를 드러낸다.
   • DINOv3: 조명 및 그림자와 같은 물리적 장면 속성에 대응하는 매니폴드를 발견했으며, 이는 객체의 정체성과 상관없이 일관되게 조명을 추적한다.
   • SDXL: 특정 객체(예: 프레첼)에 대한 매니폴드를 식별하였으며, 이 매니폴드의 부분 공간 내에서 스티어링하는 것은 고립된 SAE 방향을 따르는 것과 달리 의미론적으로 일관된 변화를 만들어낸다.

4. 결과

• 재구성 효율성: 고정된 왜곡 하한선(태스크 성능 허용 범위에 의해 결정됨)에서, BSFs는 SAEs보다 낮은 기술 길이를 달eric한다. 가장 효율적인 기술은 더 큰 용량이 있음에도 불구하고 블록 차원이 2와 4 사이일 때 나타난다.
• 특징 차원: 안정적 랭크 분석은 DINOv3에서 복구된 개념들이 일반적으로 2~4차원임을 보여주며, 이는 블록이 단순히 과잉 매개변수화된 방향이 아니라 내부 기하학을 활용하고 있음을 확인시켜 준다.
• 공간적 일관성: BSF 개념 맵은 SAE 맵보다 훨씬 더 매끄러운(낮은 Total Variation 및 Dirichlet Energy) 특성을 보이며, 이는 장면의 연속적인 속성을 더 잘 추적함을 나타낸다.
• 매니폴드 스티어링: SDXL에서 학습된 매니폴드 기하학을 따라 스티어링(부분 공간을 순회하기 위한 코호넌 맵 사용)하면, 이미지 품질을 저하시키지 않으면서 개념의 내부 차원(예: 프레첼의 모양 변화)을 따라 매끄럽게 변화하는 이미지를 생성할 수 있다. 이는 고립된 SAE 방향으로는 어려운 작업이다.

5. 의의 및 주장

본 논문은 **블록 희소성이 신경 표현이 저차원 매니폴드로 구조화되어 있을 때 이를 분해하기 위한 올바른 귀납적 편향(inductive bias)**이라고 주장한다.

• 신경과학적 연결: 이 연구는 특징이 단일 튜닝 단위가 아니라 조정된 뉴런 그룹에 의해 전달된다는 신경과학 모델(예: 에너지 모델, 복합 세포 모델)과 궤를 같이한다. BSFs는 불변성을 위해 위상/기하학 정보를 풀링하여 없애는 대신, 내부 좌표를 유지함으로써 "복합 세포(complex cell)"의 동작을 복구한다.
• 해석 가능성 패러다임: 저자들은 피처라이저가 데이터 생성 과정에 대한 가설이라고 주장한다. 피처라이저의 구조(블록)를 표현의 기하학(매니폴드)과 일치시킴으로써, 더 풍부하고 일관된 개념을 복구할 수 있다.
• 한계 및 범위: 본 논문은 블록 희소성이 모든 양상(예: 언어나 비디오는 시간적 또는 계층적 블록과 같은 다른 구조가 필요할 수 있음)에 대한 보편적인 원자는 아닐 수 있음을 겸허히 언급한다. 이 기여는 테스트된 시각 모델에서 관찰된 것처럼, 표현이 저차원 매니폴드의 가법적 혼합이라는 경우에 특화되어 있다.

요약하자면, 본 논문은 "방향 기반"에서 "영역 기반(블록 기반)" 피처라이저로의 전환에 대한 이론적, 경험적 근거를 제공하며, 이러한 전환이 개념의 내부 기하학을 복구하고, 기술 효율성을 개선하며, 생성 모델에 대한 정밀한 제어를 가능하게 함을 입증한다.