기술적 요약: 코호트 INR 이 인코딩하는 내용과 동결해야 할 위치

문제 제기

암시적 신경 표현 (Implicit Neural Representations, INR) 은 신호의 연속적인 함수 근사를 학습하는 좌표 기반의 다층 퍼셉트론 (MLP) 입니다. 표준 INR 의 주요 한계는 각 네트워크가 특정 신호의 형태에 정밀하게 조정된 특징을 학습하며, 처음부터 단일 신호에 맞춰 적합한다는 점입니다. 이로 인해 신호별 최적화 비용이 매우 높습니다. 최근 연구인 STRAINER 는 이러한 문제를 완화하기 위해 초기 인코더 레이어를 공유하면서 신호별 디코더는 유지하는 INR 의 '코호트 (cohort)'를 학습하려는 시도를 했습니다. 공유된 인코더는 새로운 신호에 대한 초기화 (initialization) 로 사용됩니다.

그러나 이러한 전이 학습 패러다임에 대해 두 가지 중요한 질문은 여전히 답이 나지 않았습니다:

1. 공유된 인코더 중 어떤 레이어가 실제로 전이 가능한 표현을 운반하는가?
2. 그 특정 레이어들은 무엇을 인코딩하는가?

현재 STRAINER 프로토콜은 테스트 시간 적합 (test-time fitting) 동안 모든 레이어를 업데이트하므로, 레이어별 전이 가능성을 분리하여 분석할 수 없습니다. furthermore, 비전과 언어 분야에서의 전이 학습은 종종 전이 가능한 특징을 중간 레이어에 국한시키는 경향이 있지만, 이것이 INR 에도 적용되는지는 불분명합니다. 특히 SIREN 과 푸리에 특징 MLP(FFMLP) 와 같은 지배적인 백본이 좌표 위치를 근본적으로 다른 메커니즘으로 인코딩하기 때문입니다.

방법론

저자들은 세 가지 데이터셋 (CelebA-HQ, OASIS-MRI, Kodak) 에 대해 두 가지 백본 (SIREN 과 FFMLP) 을 사용하여 코호트 학습된 INR 을 분석하기 위한 양면 진단 접근법을 제안합니다.

1. 가중치 안정적 랭크 (Weight Stable Rank) 를 통한 전이 가능 표현의 위치 파악

어떤 레이어가 가장 잘 전이되는지 식별하기 위해, 저자들은 **테스트 시간 동결 스윕 프로토콜 (test-time freeze sweep protocol)**을 도입했습니다. 모든 레이어를 업데이트하는 대신, 특정 깊이 $\tau$까지 인코더를 동결하고 나머지 레이어 및 디코더 헤드를 재초기화합니다. 그런 다음 모든 가능한 동결 깊이에서 새로운 신호의 성능 (PSNR) 을 평가합니다.

최적의 동결 깊이를 사전에 (a priori) 예측하기 위해, 학습된 인코더 레이어의 **가중치 안정적 랭크 (weight stable rank, $sr(W_\ell)$)**를 활용합니다. 활성화 랭크가 특정 입력 분포에 의존하는 것과 달리, 가중치 안정적 랭크는 학습된 가중치의 고유한 속성으로, 가중치 행렬이 span 하는 부분 공간의 유효 차원을 측정합니다. 가설은 가중치 안정적 랭크가 가장 높은 레이어가 코호트 전반에 걸쳐 가장 재사용 가능한 구조적 정보를 학습하는 '좌표 임베딩 (coordinate embedding)' 레이어라는 것입니다.

2. 희소 오토인코더 (SAEs) 를 통한 인코딩된 표현의 특성 규명

전이 가능한 레이어들이 무엇을 인코딩하는지 결정하기 위해, 저자들은 학습된 인코더의 숨겨진 활성화 (hidden activations) 에 **희소 오토인코더 (Sparse Autoencoders, SAEs)**를 적용합니다. SAE 는 밀집된 활성화를 희소한 '원자 (atoms)'의 과완전 사전 (overcomplete dictionary) 으로 분해합니다.

• 아키텍처: 각 숨겨진 레이어의 활성화에 $n=4096$개의 원자와 희소성 $k=32$를 갖는 TopK SAE 를 적합시킵니다.
• 진단:
  • 원자 맵 (Atom Maps): 좌표 도메인 전반에 걸친 원자의 공간적 발화 패턴을 시각화합니다.
  • 단일 원자 제거 (Single-Atom Ablations): 개별 원자를 체계적으로 제거 (기여도를 0 으로 설정) 하여 최종 신호 재구성에 대한 인과적 영향 (PSNR 감소) 을 측정합니다.

주요 결과

1. 최적 동결 깊이는 피크 가중치 안정적 랭크와 일치

실험 결과, 최적 동결 깊이 $\tau^\star$는 코호트 학습된 인코더에서 피크 가중치 안정적 랭크를 보이는 레이어와 일관되게 일치하는 것으로 나타났습니다.

• SIREN: 최적 동결 깊이는 $\tau^\star = 1$입니다. 첫 번째 학습 가능 레이어 ($W_1$) 는 발생적 위치 임베딩으로 작용하며, 가장 높은 가중치 랭크를 달성합니다.
• FFMLP: 최적 동결 깊이는 $\tau^\star = 0$입니다. FFMLP 는 첫 번째 학습 가능 레이어 이전에 고정된 푸리에 투영을 사용하므로, 임베딩은 외부에서 발생하며 첫 번째 학습 가능 레이어 ($W_0$) 는 이 고랭크 입력을 기반으로 작동합니다.
• 성능: 이 특정 깊이에서 동결하는 것은 모든 레이어를 업데이트하는 표준 STRAINER 레시피와 일치하거나 크게 개선된 결과를 보입니다. 특히 고해상도 Kodak 데이터셋에서 동결 프로토콜은 SIREN 의 경우 평균 +3.1 dB, FFMLP 의 경우 +1.3 dB 의 향상을 가져왔는데, 이는 모델이 좌표 임베딩을 재학습하는 데 제한된 테스트 시간 최적화 예산을 낭비하는 것을 방지하기 때문입니다.

2. 질적으로 다른 사전: 국소화 대 기억

코호트 적합 품질이 동등함을 달성했음에도 불구하고, SIREN 과 FFMLP 는 근본적으로 다른 내부 표현을 학습합니다:

• SIREN (국소화): SAE 원자들은 좌표 평면을 타일링하는 공간적으로 국소화된 (spatially localized) 형태를 띱니다. 각 원자는 코호트 콘텐츠의 구체적인 내용과 무관하게 제한된 영역에서 발화합니다. 이는 SIREN 이 콘텐츠와 무관한 위치 코드를 학습함을 시사합니다.
• FFMLP (이미지 전체 확장/기억): 원자들은 이미지 전체에 걸쳐 퍼져 있으며 (image-spanning) 확산적입니다. 이들은 기억된 코호트 신호의 윤곽 (예: CelebA 의 얼굴 특징, OASIS 의 뇌 해부학) 을 추적합니다. 사전은 이미지의 상당 부분을 덮는 소수의 고진폭 원자에 집중됩니다.

3. 제거 실험을 통한 인과적 검증

단일 원자 제거 실험은 이러한 사전들의 인과적 역할을 확인해 줍니다:

• SIREN: 단일 원자를 제거하면 해당 원자가 발화하는 공간 영역에 국한된 PSNR 감소 (2–3 dB) 가 발생합니다. 나머지 이미지는 다른 원자들이 보상합니다.
• FFMLP: 단일 원자를 제거하면 이미지 전체에 걸쳐 최대 10.6 dB에 이르는 PSNR 감소로 전역적 저하가 발생합니다. 이는 FFMLP 가 글로벌 신호 구조를 재구성하기 위해 소수의 '슈퍼 원자 (super-atoms)'에 의존하며, 결과적으로 코호트 콘텐츠를 기억하고 있음을 나타냅니다.

의의 및 주장

본 논문은 코호트 학습된 INR 에서 무엇이 전이되는지에 대한 **최초의 기계적 설명 (mechanistic account)**을 제공한다고 주장합니다.

• 진단 도구: 가중치 안정적 랭크 지표는 계산 가능하고 대상 데이터가 필요 없는 방법으로 최적 전이 가능 레이어 깊이를 식별하여, 하이퍼파라미터 스윕의 필요성을 제거합니다.
• 해석 가능성: INR 활성화를 희소 원자로 분해함으로써, 저자들은 '블랙박스' 활성화를 검사 가능한 사전 원자로 변환하여, SIREN 이 재사용 가능한 위치 구조를 인코딩하는 반면 FFMLP 는 기억된 콘텐츠를 인코딩함을 드러냈습니다.
• 아키텍처 통찰: 이 발견들은 아키텍처 선택 (SIREN 대 FFMLP) 이 네트워크가 일반화 가능한 구조적 사전 (priors) 을 학습할지, 아니면 기억된 코호트 신호에 과적합할지를 결정함을 시사합니다.
• 향후 방향: 이러한 도구들은 INR 인코딩을 특성화하고 기억이 아닌 일반화를 위해 아키텍처를 설계하는 길을 엽니다.

저자들은 분석이 현재 SIREN 과 FFMLP 백본으로 제한되어 있으며, 개별 원자의 의미론적 의미 (예: 에지, 색상) 를 특성화하거나 단일 원자 제거를 넘어선 재구성 조정을 탐구하지는 않았다는 한계를 지적합니다.