기술적 요약: 장난감 조합적 해석 가능 모델이 초기 특징 공간에서 발견한 로또 티켓

문제 제기

로또 티켓 가설 (LTH) 은 밀집 신경망이 희소 서브넷 ("승리 티켓") 을 포함하고 있으며, 이를 초기 가중치로 되돌려 고립적으로 재학습할 때 전체 모델의 성능과 일치한다고 주장합니다. 이전 연구들은 이러한 티켓의 존재를 입증하고 그 발견 조건을 정제해 왔습니다 (예: 약간 더 늦은 체크포인트로 되돌리기). 그러나 기계론적 질문은 여전히 답을 얻지 못했습니다: 승리 티켓이 보존하는 내부 객체는 무엇입니까?

기존 설명들은 티켓이 "운 좋은" 가중치 집합, 특정 마스크, 또는 유리한 최적화 분지를 보존한다고 제안합니다. 그러나 표준 심층 네트워크에서는 은닉 표현이 너무 불투명하여 마스크가 정확히 어떤 구조적 객체에 해당하는지 판단하기 어렵습니다. 본 논문은 티켓이 희소 학습이 필요한 계산을 재구성할 수 있게 해주는 특정 특징 공간 발판 (scaffold) 을 보존하는지 여부를 묻습니다.

방법론

저자들은 디스저티브 정규형 (DNF) 감지기 기반의 조합적이고 절 구조화된 장난감 설정을 사용하여 이 문제를 조사합니다. 이 설정은 특징 간에 잘 정의된 조합적 거리를 가진 해석 가능한 특징 공간 표현을 허용하기 때문에 선택되었습니다.

모델 아키텍처 및 특징 공간

• 설정: 모델은 학습 가능한 선형 투영 $C_0$를 거쳐 숨겨진 층 $W_1$과 출력 층 $W_2$로 구성됩니다. 네트워크는 $z = W_2 \cdot \text{ReLU}(W_1 C_0 x + b_1) + b_2$를 계산합니다.
• 특징 공간 ($C_1$): 분석의 핵심 객체는 $C_1 = W_1 C_0$입니다. 이 행렬은 입력 임베딩에서 특징을 분리하여 특징 공간에서 네트워크의 계산을 나타냅니다.
• 코드: 작업은 DNF 절에 대한 긍정적 및 부정적 증거를 감지하는 것입니다. 모델은 특정 국소 부호 패턴 (코드) 을 학습합니다:
  • 4P: 긍정적 증거를 위한 $(+1, +1, +1, +1)$.
  • 3N1P: 부정적 증거를 위한 하나의 긍정 부호와 세 개의 부정 부호.
• 지표: 저자들은 국소 벡터가 이러한 표준 코드 군에 얼마나 가까운지를 측정하기 위해 조합적 거리 ($d_\tau$) 와 마진 ($m$) 을 정의합니다.

실험 설계

1. 티켓 사이클: 저자들은 밀집 학습 $\to$ 마스킹 (프루닝) $\to$ 초기화 상태로의 되돌림 $\to$ 희소 재학습의 전체 LTH 사이클을 시뮬레이션합니다.
2. 특징 공간 대 가중치 공간: 그들은 초기 가중치에 마스크를 적용하는 것이 초기 특징 공간 상태 ($C_1$) 를 어떻게 변화시키는지 분석합니다. 프루닝이 단순히 가중치의 시각적 제한이 아니라 특징 공간에서 행 패턴을 근본적으로 변경한다는 것을 보여줍니다.
3. 프로브: 본 논문은 다음 기준에 따라 특징 공간 위치를 순위 매기는 "메커니즘에서 영감을 받은" 감지기를 도입합니다:
   • 정적 거리: 표준 코드 군에 대한 근접성.
   • 운동: 초기 밀집 학습 중 코드로 향하는 유한 차분 이동.
   • 호환성: 혼잡한 행 (중첩) 을 피함.
4. 비교: 이러한 특징 공간 규칙은 표준 가중치 공간 베이스라인 (SNIP, GraSP, SynFlow, Early-Bird 크기) 및 무작위 희소 확장 대비 비교됩니다.

주요 기여

1. 티켓은 마스크가 아닌 특징 공간 발판입니다

본 논문은 승리 티켓이 고정된 가중치 집합이 아니라 호환 가능한 특징 공간 위치의 군이라고 주장합니다.

• 군 수준 복구: 희소 재학습은 종종 올바른 절/템플릿 군(예: 4P) 을 복구하지만, 밀집 모델과는 다른 행에서 복구합니다. 따라서 보존된 객체는 미시적 행 정체성이 아닌 코드 군입니다.
• 전구체 위치: 승리 티켓은 초기 특징 공간에서 최종 특징 채널 코드에 이미 가깝게 (초기화 시) 있는 전구체 위치에 해당합니다.

2. 밀집 SGD 와 중첩의 메커니즘

밀집 SGD 는 특징 공간에서 선택기로 작용합니다:

• 증폭: 선택된 전구체 위치를 정확한 표준 코드로 유도합니다.
• 거부: 특히 "혼잡한" 행 (높은 부하를 가진 행) 에 있는 다른 타당한 초기 위치를 거부합니다.
• 경쟁: 이는 티켓 형성이 제한된 표현 차원을 공유하는 다중 특징 간의 중첩 하에서 경쟁을 해결하는 과정임을 시사합니다. 티켓은 최종 코드에 대한 근접성과 낮은 특징 간 간섭을 균형 있게 유지하는 위치 집합입니다.

3. 프루닝은 초기 특징 상태를 변경합니다

초기 가중치 ($W_1$) 에 마스크를 적용하면 전체 초기 특징 공간 상태 ($C_1$) 가 변경됩니다.

• 마스크 외부의 좌표를 0 으로 설정하면 $C_1$의 전체 행 패턴이 변경됩니다.
• 결과적으로 "희소 초기화"는 밀집 초기 상태의 부분집합이 아니라 새로운 투영된 특징 공간 상태입니다.
• 승리 티켓은 이 새로운 상태 내에서 희소 SGD 가 호환 가능한 코드를 재구성할 수 있도록 충분한 자유도를 남기는 위치의 군입니다.

4. 진단 프로브는 가중치 기반 방법보다 우수합니다

저자들은 특징 공간 거리와 운동에 기반한 경량 프로브를 제안합니다.

• 결과: 장난감 설정에서 이러한 특징 공간 프로브는 정확도와 정확한 코드 복구 측면에서 초기 학습 단계에서 특히 SNIP 나 크기 같은 확립된 가중치 기반 티켓 발견 방법보다 자주 더 나은 성과를 냅니다.
• 한계: 특징 공간 규칙이 올바른 위치를 식별하더라도, 이러한 위치를 희소 가중치 좌표 집합으로 구현하는 "번역 문제"가 여전히 존재합니다.

결과

• 구조 보존: OBS(최적 뇌 외과 의사) 티켓은 무작위 희소 확장 (약 20%) 에 비해 밀집 모델의 코드 기하학을 훨씬 더 많이 보존합니다 (약 53-54% 의 동일 사이트 복구).
• 전구체 근접성: 마스크가 적용된 초기 상태에서, OBS 티켓은 무작위 마스크에 비해 최종 코드 사이트의 훨씬 더 큰 비율을 목표 템플릿으로부터 거리 0 또는 1 에 위치시킵니다. 예를 들어, 에포크 10 되돌림 상태에서, 최종 코드 사이트의 78.9% 가 하나의 결함 이내에 있었으며, 무작위 희소의 경우 54.6% 였습니다.
• 중첩 역학: 후보 코드의 거부는 하중이 큰 행에 집중되어 있어, 밀집 SGD 가 후보 운반자 간의 경쟁을 해결한다는 것을 확인시켜 줍니다.
• 프로브 성능: 특징 공간 진단 (정적 거리 + 동적 운동) 은 정확한 코드 복구에서 선도하며, 가중치 공간 베이스라인 대비 정확도에서도 경쟁력 있는 성과를 보여, 초기 티켓 구조가 원시 가중치 중요도가 아닌 특징 공간의 기하학으로 가시화된다는 가설을 검증합니다.

중요성 및 주장

본 논문은 모든 신경망을 위한 완성된 이론이 아닌 모델 생물체 연구로 자신을 위치시킵니다.

• 겸손한 범위: 저자들은 명시적으로 그들의 발견이 장난감 설정 (부울 공식을 계산하는 작은 네트워크) 에 기반한다고 밝힙니다. 그들은 유다 폴크만의 암 연구에 비유합니다: "만약 당신이 암을 가진 쥐라면, 우리는 아마 당신을 치료할 수 있을 것입니다." 마찬가지로, "만약 당신이 부울 공식을 계산하는 작은 신경망이라면, 우리는 아마 당신의 로또 티켓을 이해할 수 있을 것입니다."
• 핵심 통찰: 주요 기여는 관점의 전환입니다: 로또 티켓 구조는 가중치 공간 서브넷 정체성이 아닌 숨겨진 특징 공간 기하학에 의해 지배됩니다.
• 향후 방향: 본 논문은 이러한 아이디어를 더 큰 모델로 확장하려면 근사 특징 사전이나 희소 오토인코더 스타일 분해가 필요할 수 있다고 제안합니다. 특징 공간 위치 선택과 희소 가중치로 구현하는 것 사이의 열린 "번역 문제"를 강조합니다.
• 해석 가능성: 이 작업은 불투명한 가중치 공간 분석을 넘어 희소 학습이 재구성하는 "발판"을 이해하는 특징 공간 측정이 가능한 해석 가능성 연구의 새로운 길을 제시합니다.

요약하자면, 본 논문은 통제된 설정에서 로또 티켓 가설에 대한 기계론적 설명을 제공하며, 승리 티켓이 이미 해법에 가까운 전구체 위치의 특징 공간 발판을 보존하고, 밀집 학습이 중첩 경쟁을 해결함으로써 이 발판을 선택하고 정제한다는 것을 보여줍니다.