기술적 요약: 데이터 증강이 신경 표현에 미치는 영향

문제 제기

데이터 증강 (DA) 은 심층 신경망의 일반화 성능을 향상시키는 핵심 기법이지만, 다양한 증강 전략이 학습된 내부 표현의 기하학적 구조를 어떻게 변화시키는지에 대한 구체적인 메커니즘은 여전히 잘 이해되지 않고 있습니다. 현재의 관행은 종종 증강 하이퍼파라미터 (예: 강도, 확률, 공간적 범위) 를 조정하기 위해 휴리스틱이나 성능 기반 탐색에 의존합니다. 그러나 이러한 하이퍼파라미터의 서로 다른 조합이 거의 동일한 작업 정확도를 산출할 수 있다는 사실은, 표준 성능 지표가 모델이 데이터를 표현하는 방식의 의미 있는 차이를 가리고 있음을 시사합니다.

저자들은 다음과 같은 핵심 질문들을 제기합니다:

1. 하이퍼파라미터가 변함에 따라 DA 방법이 잘 정의된 궤적을 따라 표현을 이동시키는가?
2. 서로 다른 증강 유형 (예: 회전 대 잘라내기) 은 숨겨진 레이어의 연산을 근본적으로 다른 방식으로 조각하는가, 아니면 그 효과가 중복되는가?
3. 표현의 기하학적 다양성이 서로 다른 증강으로 훈련된 모델을 앙상블할 때 달성되는 기능적 이득을 예측할 수 있는가?
4. 증강으로 인한 변화의 크기는 무작위 가중치 초기화로 인한 변동성과 비교하여 어떠한가?

방법론

이 논문은 신경 표현을 **리만 형상 공간 (Riemannian shape space)**에 임베딩하여 분석하는 기하학적 프레임워크를 제안합니다. 이 접근법은 숨겨진 레이어의 활성화 패턴을 고차원 공간의 점 구름 (landmarks) 으로 간주하고, 임의의 선형 변환과 무관하게 그 기하학을 분석합니다.

1. 리만 형상 거리

서로 다른 DA 전략 또는 하이퍼파라미터로 훈련된 두 네트워크로부터 $M$개의 깨끗한 프로브 이미지 세트에 대해 얻은 표현 $X^A_\ell$과 $X^B_\ell$을 비교하기 위해, 저자들은 이동, 스케일링, 회전, 반사에 불변인 거리 척도를 정의합니다.

• 전처리: 신경 반응을 중심에 맞추고 단위 노름으로 재조정하여 "프리-셰이프 (pre-shapes)"($Z_i$) 를 형성합니다.
• 정렬: 거리는 프리-셰이프를 정렬하는 최적의 직교 변환 $O \in O(N)$을 찾아 계산합니다.
• 척도: 리만 형상 거리 $\rho(X_i, X_j)$는 프리-셰이프 초구면 (pre-shape hypersphere) 위의 측지선 거리로 정의됩니다:
  $$\rho(X_i, X_j) = \arccos\left( \sup_{O \in O(N)} \text{Tr}[Z_j^\top Z_i O] \right)$$
  이 척도는 두 표현의 점 구름이 강체 변환과 스케일링을 통해 중첩될 수 있다면 두 표현을 동등한 것으로 간주하며, 이는 동일한 선형적으로 디코딩 가능한 정보를 담고 있음을 의미합니다.

2. 궤적 분석

이 프레임워크는 증강 강도의 점진적인 변화를 형상 다양체 (shape manifold) 위의 매끄러운 경로 (측지선) 를 따른 움직임으로 개념화합니다.

• 측지선 각도: 기준 형상 (증강 없음) 에서 시작하는 두 궤적 사이의 각도는 형상 다양체에서의 접선 벡터를 사용하여 계산됩니다. 이는 서로 다른 증강이 표현을 재구성하는 방향적 유사성을 정량화합니다.
• 랜드마크 변위: 저자들은 정렬된 표현 사이의 개별 프로브 이미지 (랜드마크) 의 특정 변위 벡터 ($\Delta z_\mu$) 를 분석합니다. 이는 어떤 특정 입력이 주어진 증강에 의해 가장 왜곡되는지, 그리고 이러한 왜곡이 네트워크 레이어를 따라 어떻게 변하는지를 드러냅니다.

3. 실험 설정

• 모델: ResNet-18 및 Vision Transformers (ViT).
• 데이터셋: CIFAR-10 (부록에 ImageNet 미세 조정 예제 포함).
• 증강: 가우시안 노이즈, 패치 가우시안 (CutOut 유사), 회전, 전단, 컬러 지터, 회색조, 무작위 잘라내기 등 다양한 강도로 적용된 방법들의 스펙트럼.
• 평가: 10,000 개의 깨끗한 테스트 이미지에 대해 숨겨진 레이어 (예: 레이어 2, avgpool) 에서 표현을 수집했습니다.

주요 결과

1. 형상 공간 내의 구조화된 궤적

저자들은 증강 강도를 증가시키는 것이 표현을 잘 정렬되고 구조화된 궤적을 따라 이끈다는 것을 증명하지만, 이는 단순한 유클리드 공간에서는 그렇지 않습니다.

• 정렬의 필요성: 직교 정렬 없이는 거리 행렬과 MDS-PCA 시각화가 증강 매개변수에 대해 일관된 조직을 보이지 않습니다. 정렬을 적용하면 거리가 증강 크기와 상관관계를 갖는 명확하고 매끄러운 궤적이 나타납니다.
• 예측 가능성: 선형 회귀 모델은 정렬된 형상 표현으로부터 깨끗한 이미지의 증강 하이퍼파라미터 (예: 노이즈 표준 편차 $\sigma$, 패치 크기 $C$) 를 정확하게 예측할 수 있으며, 이는 표현이 DA 매개변수에 대해 체계적으로 조직화되어 있음을 확인시켜 줍니다.

2. 변화의 크기: DA 대 무작위 시드

이 연구는 DA 로 인한 표현 변화의 규모를 서로 다른 무작위 시드로 인한 변동성과 비교합니다.

• 자연 단위: $D_{aug}$(DA 로 인한 거리) 와 $D_{seed}$(시드로 인한 거리) 를 정의함으로써 저자들은 전환점을 식별합니다. 작은 증강 강도에서는 $D_{aug} \approx D_{seed}$입니다. 강도가 증가함에 따라 (예: 노이즈 표준 편차 $s > 0.2$), $D_{aug}$는 $D_{seed}$와 분리되어 이를 초과합니다. 이는 DA 효과가 초기화 노이즈와 구별 가능해지는 시점을 결정하는 "자연 단위" 척도를 제공합니다.

3. 기하학적 다양성이 앙상블 이득을 예측함

서로 다른 증강 유형은 형상 공간에서 서로 다른 궤적을 생성합니다.

• 서로 다른 방향: 서로 다른 DA 유형 (예: 회전 대 노이즈) 의 궤적 사이의 측지선 각도 히트맵은 표현을 중복되지 않는 방향으로 이동시킴을 보여줍니다.
• 앙상블 상관관계: 두 증강 궤적 사이의 측지선 각도와 해당 증강으로 훈련된 모델을 앙상블함으로써 달성되는 정확도 이득 사이에는 강한 양의 상관관계가 있습니다. 기하학적으로 다양한 표현 (큰 각도) 으로 훈련된 모델은 더 큰 앙상블 개선을 제공합니다.

4. 레이어 의존적 랜드마크 변위

랜드마크 변위에 대한 분석은 DA 효과가 네트워크 전체에 걸쳐 균일하지 않음을 보여줍니다.

• 레이어 특이성: 초기 레이어 (예: ResNet-18 의 레이어 2) 에서 최대 변위를 보이는 랜드마크는 저수준 이미지 특징 (예: 대각선 가장자리, 밝은 배경) 과 상관관계가 있습니다. 더 깊은 레이어 (예: avgpool) 에서는 이러한 패턴이 덜 명확하며 변위는 저차원적입니다.
• 메커니즘: 이는 DA 가 레이어별 메커니즘을 통해 표현을 재구성하며, 증강 유형과 네트워크 깊이에 따라 특정 이미지 부분집합의 특징을 감쇠시키거나 증폭시킴을 시사합니다.

중요성과 주장

이 논문은 표현 기하학의 관점을 통해 데이터 증강 방법을 이해하고 비교하기 위한 원칙적인 도구를 제공한다고 주장합니다.

• 정확도 너머: 저자들은 성능 지표만으로는 유사한 정확도를 내지만 내부 표현이 다른 훈련 프로토콜을 구별하기에 부족하다고 주장합니다. 형상 공간 분석은 이러한 숨겨진 차이를 드러냅니다.
• 통합 프레임워크: 이 프레임워크는 미분기하학의 도구를 사용하여 서로 다른 하이퍼파라미터, 아키텍처, 또는 초기화 시드로 훈련된 모델을 비교할 수 있는 공통 언어를 제공합니다.
• 실용적 유용성: 이 발견들은 형상 공간 궤적을 분석하는 것이 다음을 안내할 수 있음을 시사합니다:
  • 하이퍼파라미터 탐색: DA 효과가 유의미한 영역을 식별.
  • 앙상블 구성: 앙상블 성능을 향상시키기 위해 기하학적 다양성을 극대화하는 증강 전략 선택.
  • 해석 가능성: 랜드마크 변위 분석을 통해 특정 증강이 레이어별로 표현을 어떻게 변형시키는지 이해.

저자들은 명시적으로 이미지 분류, 고전적인 DA 방법, 고정된 프로브 이미지의 사후 분석에 범위를 제한하며, 학습된 증강 정책이나 훈련 역동성으로의 확장은 향후 작업이라고 언급합니다. 또한 고차원 표현에 대한 리만 형상 거리의 계산 비용을 인정하며, 실제 적용 시 차원 축소 기법이 필요함을 지적합니다.