Beyond Routing: Characterising Expert Tuning and Representation in Vision Mixture-of-Experts

기술적 요약: 라우팅을 넘어선 비전 혼합 전문가 (Vision MoE) 의 전문가 조정 및 표현 특성화

문제 제기
혼합 전문가 (MoE) 모델은 딥러닝에서 점점 더 보편화되고 있으며, 작업을 별도의 서브네트워크 (전문가) 로 분할함으로써 해석 가능성을 제공합니다. 그러나 현재 비전 MoE 에 대한 해석 가능성 노력은 주로 라우팅 통계(예: 게이트 가중치, 토큰 - 전문가 할당, 또는 클래스 기반 히트맵) 분석에 국한되어 있습니다. 저자들은 라우팅 결정이 전문화를 위한 대리 지표로 작용하지만, 전문가들이 실제로 무엇을 인코딩하는지는 드러내지 못한다고 주장합니다. 기존 문헌은 종종 전문가가 단순히 수신하는 입력에 기반하여 이산적인 의미 범주 (예: "동물"또는 "차량") 로 조정되었다고 가정합니다. 이러한 접근법은 전문가의 내부 특징 조정 프로파일과 표현 기하학을 간과하여, 전문가 전문화의 본질이 제대로 이해되지 못하게 합니다.

방법론
이를 해결하기 위해 저자들은 레이블이 없는 STL10 데이터셋에서 자기지도 대조적 목적 함수(NT-Xent 손실) 를 사용하여 희소 게이트가 적용된 컨볼루션 MoE 모델 (MoE-CNN) 을 훈련시켰습니다. 이 훈련 방식은 학습 신호에 사전 정의된 범주 구조를 주입하지 않아, 데이터 기반의 시각적 특징 전문화가 자연스럽게 나타나도록 합니다.

• 아키텍처: 이 모델은 처음 세 개의 블록이 공유되는 ResNet 백본을 활용합니다. 그런 다음 게이트 네트워크가 입력을 $E \in \{4, 8, 16\}$개의 전문가 풀에서 선택된 $k=2$개의 전문가로 라우팅합니다. 파라미터 수를 통제하기 위해 전문가의 채널 너비를 $1/\sqrt{E}$로 스케일링하여 모든 구성에서 총 파라미터 수 (~46M) 가 일정하도록 보장합니다.
• 분석 도구: 이 연구는 시각 신경과학의 도구를 활용하여 게이트 수준에서 전문가 수준으로, 그리고 범주 수준에서 특징 수준으로 분석을 확장합니다:
  1. 가장 흥분하는 입력 (MEIs): 전문가의 리드아웃 임베딩의 $L_2$ 노름을 최대화하는 입력을 시각화합니다.
  2. THINGS 데이터셋: 1,854 개의 객체 개념을 가진 THINGS 데이터셋과 이에 연관된 THINGS 유사성 데이터셋(66 개의 인간 행동에서 유도된 시각 및 의미 차원) 을 분포 외 (OOD) 프로브로 사용합니다.
  3. 회귀 분석: 66 개의 THINGS 차원에서 게이트 로짓과 리드아웃 크기를 예측하기 위해 음수가 아닌 Lasso 회귀를 적합시켜 연속적인 조정 프로파일을 식별합니다.
  4. 표현 유사성 분석 (RSA): 10 개의 독립적으로 훈련된 모델 (서로 다른 무작위 시드) 에서 표현 기하학의 안정성을 평가하기 위해 쌍별 범주 분리도와 2 차 RSA 를 계산합니다.

주요 기여

1. 라우팅을 넘어선 접근: 저자들은 라우팅 통계가 전문가 인코딩을 체계적으로 오인식시킨다는 것을 입증합니다. 라우팅은 희소하고 범주적인 선호도를 시사하지만, 실제 전문가 조정은 더 광범위하며 연속적인 차원에 의해 주도됨을 보여줍니다.
2. 범주를 넘어선 접근: THINGS 데이터셋을 활용함으로써, 이 연구는 전문가 조정을 훈련 집합의 범주 구조에서 분리합니다. 이는 이산적인 클래스가 아닌 의미 및 시각 차원 (예: "금속성", "가시형", "동물 관련") 에 기반한 해석 가능한 연속 조정 프로파일을 복원합니다.
3. 표현 안정성: 이 논문은 특정 표현 모티프 (특히 생체 - 무생물 구분) 가 독립적인 모델 초기화에서 신뢰성 있게 재등장함을 확인하여, 이러한 것들이 무작위 산물이 아닌 견고한 조직 원리임을 시사합니다.

결과

• 라우팅 대 조정 이질성: STL10 테스트 세트에 대한 라우팅 분석은 전문가가 거친 범주 (예: 트럭, 새) 에 전문화되었음을 시사했습니다. 그러나 MEI 분석과 THINGS 데이터셋에 대한 회귀 분석은 전문가가 종종 라우팅이 제안한 범주 레이블과 일치하지 않는 저수준 이미지 통계(예: 입자감, 공간 주파수) 또는 특정 연속 특징 (예: "금속성", "반복적/가시형") 에 조정되었음을 드러냈습니다.
• 게이트 대 리드아웃 불일치: 게이트 로짓 (무엇이 전문가로 라우팅되는지) 과 리드아웃 활성화 크기 (전문가가 실제로 인코딩하는 것) 사이에는 선형 관계가 없었습니다. 전문가들은 라우팅된 입력을 변환하여 라우팅에 사용된 것과 구별되는 특징을 발견하고 증폭시킵니다.
• 생동감의 지배성: 다양한 특징 조정에도 불구하고, 이진 생체 - 무생물 구분이 전문가 분할을 지배했습니다. 이는 게이트, 리드아웃, 그리고 표현 기하학에서 모두 명확했습니다. 이 분할은 모든 모델 구성 ($E=4, 8, 16$) 과 독립적인 초기화에서 안정적이었습니다.
• 공유된 기하학, 상이한 구현: 전문가들이 서로 다른 특징 조정 (MEI) 을 보였음에도 불구하고, 그들의 표현 기하학 (범주 분리도) 은 놀라울 정도로 유사했습니다. 이는 기능적으로 동등한 범주 수준의 구조가 서로 다른 개체군 수준의 반응 패턴을 통해 실현될 수 있음을 나타냅니다.

의의 및 주장
이 논문은 비전 MoE 에서의 전문가 전문화가 이산적인 범주 클래스에 대한 희소 조정이 아니라, 연속적이고 행동적으로 관련 있는 차원에 대한 희소 조정으로 이해되어야 한다고 주장합니다.

• 해석 가능성의 재정의: 저자들은 라우팅을 넘어 미세한 전문가 수준의 조정과 표현 구조를 탐구함으로써 MoE 가 무엇을 학습하는지에 대한 더 정확한 그림을 제공할 수 있다고 주장합니다.
• 신경과학적 유사성: 이 발견은 인간 복시 피질에서의 분산된 조정에 대한 현대적 설명과 일치합니다. 여기서 "전문가"영역 (예: FFA 또는 PPA) 은 순수하게 범주 선택적이기보다는 생동감, 크기, 질감 등 연속적인 차원에 광범위하게 민감합니다.
• 안정성: 독립적인 실행을 통해 생체 - 무생물 분할이 복원된다는 사실은 생물학적 및 인공 시각 시스템 모두 자연 이미지의 통계적 구조에 의해 제약받으며, 이로 인해 일관된 조직 축이 형성됨을 시사합니다.

저자들은 범위에 대해 겸손한 태도를 유지하며, 그들의 발견은 상대적으로 작은 데이터셋 (STL10) 에 대한 자기지도 학습에 기반하며, 더 대규모의 산업용 MoE 나 다른 훈련 목적에서는 결과가 다를 수 있음을 지적합니다. 그러나 그들은 MoE 모델이 시각적 특징이 왜 그렇게 피질에 분포하는지 조사하기 위한 계산적 프레임워크를 제공한다고 주장합니다.