기술 요약: 불변성 인지 모델 스티칭을 통한 기능적 유사성의 근거 확립

문제 정의

기능적 유사성 평가는 독립적으로 훈련된 신경망이 얼마나 유사한 입력-출력 관계를 학습했는지를 정량화하는 것을 목표로 한다. 이를 위한 주요 방법 중 하나는 **모델 스티칭(model stitching)**으로, 한 네트워크의 앞부분 레이어(front model)를 다른 네트워크의 뒷부분 레이어(end model)에 학습 가능한 정렬 레이어를 통해 연결하는 방식이다. 만약 이렇게 결합된 구성이 높은 성능을 유지한다면, 두 모델은 기능적으로 유사하다고 간주된다.

그러나 최근 연구(예: Smith et al., 2025)는 표준 모델 스티칭의 결정적인 한계를 지적했다. 즉, 표준 방식은 오직 **순방향 호환성(forward compatibility)**에만 의존한다는 점이다. 이는 앞부분 모델의 표현(representation)이 end model의 과업을 해결할 수 있도록 정렬될 수 있는지만을 평가한다. 결과적으로, 근본적으로 다른 정보 단서(예: 색상 vs 형태, 또는 강건한 특징 vs 비강건한 특징)에 의존하는 모델들도 호환 가능한 표현을 생성할 수 있으며, 이는 유사성에 대한 "오도된" 평가로 이어진다. 또한, 표준 스티칭은 정렬을 달성하기 위해 이전에 보지 못한 예측 단서(shortcuts)를 악용할 수 있어, 실제 기능적 차이를 더욱 은폐할 수 있다.

저자들은 표준 스티칭이 모델의 **불변성 속성(invariance properties)**을 본질적으로 인지하지 못한다고 주장한다. 구체적으로, 표준 방식은 end model이 자신의 고유한 표현을 처리할 때와 마찬가지로, 스티칭된 표현을 처리하는 방식(특히 공유된 불변성과 관련하여)에 대해 **역방향 호환성(backward direction)**을 고려하지 못한다.

방법론

1. 순방향-역방향 호환성 요구사항

순방향 전용 평가의 한계를 해결하기 위해, 저자들은 순방향-역방향 호환성(forward–backward compatibility) 요구사항을 도입한다. 이 프레임워크는 두 모델이 기능적으로 유사하기 위해서는 다음 두 가지 조건을 충족해야 한다고 상정한다:

• 순방향 호환성 (Forward Compatibility): 앞부분 모델의 표현이 end model에 정렬되어 과업을 해결할 수 있어야 한다.
• 역방향 호환성 (Backward Compatibility): 앞부분 모델이 동일하게 표현하는 입력(Indistinguishable Representations)에 대해, end model은 해당 표현이 앞부분 모델에서 왔는지 혹은 자신의 고유한 경로에서 왔는지와 관계없이 동일하게 처리해야 한다.

이 요구사항은 스티칭된 구성이 앞부분 모델에 의해 유도된 불변성 클래스(invariance classes)를 존중하도록 보장한다.

2. 불변성 인지 모델 스티칭 (Invariance-Aware Model Stitching)

저자들은 이 요구사항을 불변성 인지 모델 스티칭을 통해 구체화한다. 핵심 메커니즘은 다음과 같다:

• 동일하게 표현된 입력 (Identically Represented Inputs, IRIs): 앞부분 모델 $f_{\le i}$를 사용하여, 원래 입력 $x$와 스티칭 레이어에서의 표현이 거의 동일하도록($||f_{\le i}(x') - f_{\le i}(x)|| \approx 0$) 최적화된 입력 $x'$로 구성된 데이터셋 $D_{IRIs}$를 생성한다.
• 훈련 프로토콜: 스티칭 레이어는 $D_{IRIs}$(앞부분 모델의 표현 사용)로 훈련되지만, 표준 테스트 세트 $D_{test}$로 평가된다.
• 논리: 만약 모델들이 진정으로 기능적으로 유사하다면, IRIs에서 학습된 스티칭 정렬은 표준 테스트 세트로 일반화되어야 한다. 만약 정렬이 IRIs 생성에 특화된 단서에 의존하거나 end model의 불변성을 준수하지 못한다 있다면, 성능이 하락하여 기능적 불일치를 드러낼 것이다.

3. 스티칭 정렬 목적 함수 (Stitching Alignment Objectives)

본 논문은 스티칭 변환 $T_\theta$를 설정하기 위해 몇 가지 정렬 목적 함수를 평가한다:

• 하드 라벨 매칭 (Hard Label Matching, HLM): 스티칭된 출력과 실제 정답(ground truth) 사이의 크로스 엔트로피를 최소화한다.
• 소프트 라벨 매칭 (Soft Label Matching, SLM): 스티칭된 출력과 단독(standalone) end model의 소프트 예측값 사이의 크로스 엔트로피를 최소화한다.
• 직접 매칭 (Direct Matching, DM): 앞부분 모델의 출력과 스티칭 레벨에서의 end model 중간 특징(intermediate features) 사이의 $L_2$ 거리를 최소화한다.
• 기능적 잠재 정렬 (Functional Latent Alignment, FuLA): 저자들이 제안한 새로운 목적 함수이다. 이는 스티칭 단계부터 펜얼티메이트(penultimate) 레이어까지 여러 레이어에 걸쳐 스티칭된 구성의 내부 특징과 end model의 특징 사이의 거리를 최소화하며, 출력 라벨에 의존하지 않고 end model의 내부 처리 흐름을 모사한다.

주요 기여

1. 실패 모드 식별: 저자들은 표준 모델 스티칭(SLM 및 DM 환경에서도 포함)이 서로 다른 정보 단서에 의존하는 모델들을 구분하는 데 실패함을 입증한다. 이들은 이러한 방법들이 서로 다른 시각적 단서(예: 픽셀 shortcut)를 사용하거나 한 모델은 강건하고 다른 모델은 그렇지 않은 경우에도 높은 유사도 점수를 생성할 수 있음을 보여준다.
2. 불변성 인지 프레임워크: 저자들은 불변성 인지 모델 스티칭이 더 원칙적인 접근 방식임을 제안하고 검증한다. 순방향-역방향 호환성을 강제함으로써, 이 방법은 표준 스티칭이 은폐하는 기능적 불일치를 드러낸다.
3. 강건성 재평가: 본 논문은 강건한(adversarially trained) 네트워크와 비강건한 네트워크 간의 기능적 유사성을 재검토한다. 기존 연구는 이들이 기능적으로 유사하다고 시사했으나, 저자들은 불변성 인지 스티칭 하에서 이들이 특히 적대적 섭동(adversarial perturbations)을 처리하는 방식에 있어 상당한 기능적 불합치성을 보인다는 것을 보여준다.
4. 정렬 목적 함수 분석: 연구는 다양한 스티칭 목적 함수 간의 상호작용을 분석한다. FuLA와 SLM이 일반적으로 더 높은 기능적 유사성을 보이는 반면, Direct Matching(DM)은 잠재 레벨(latent level)에서의 불일치를 자주 드러낸다는 것을 발견했다. 저자들은 트레이드오프를 강조한다: 더 엄격한 잠재 정렬을 강제하는 목적 함수(예: DM)는 보이지 않는 단서를 악용할 가능성은 낮지만, 전반적인 유사도 점수는 더 낮게 나타날 수 있다.

실험 결과

저자들은 ResNet-18, VGG-16, ViT-Tiny, ViT-Base 아키텍처를 포함하여 CIFAR-10, LS-ImageNet-10, ImageNet-100을 사용한 이미지 분류 작업에서 실험을 수행했다.

• 서로 다른 정보 단서: 서로 다른 변형된 CIFAR-10(예: 픽셀 shortcut으로 훈련된 모델)으로 훈련된 모델들을 스티칭했을 때, 표준 스티칭은 깊은 레이어에서 높은 유사성을 보였다. 반면, 불변성 인지 스티칭은 교차 편향(cross-bias) 구성에 대해 유사도가 급격히 떨어지는 것을 보여주어, 기능적 유사성의 결여를 정확히 식별했다.
• 보이지 않는 예측 정보: 표준 스티칭 공식은 모델을 정렬하기 위해 "shortcut"(원래 훈련 데이터에는 존재하지 않는 예측 단서)을 악용하는 것으로 나타났다. 불변성 인지 스티칭은 이러한 행동을 실질적으로 완화하여, 그러한 단서가 없을 때 "과도한 일치(excessive agreement)"를 거의 제로에 가깝게 줄였다.
• 강건한 모델 vs 비강건한 모델: 표준 스티칭은 강건한 모델과 비강건한 모델이 기능적으로 유사하다고 시사했다. 그러나 불변성 인지 스티칭은 강건한 모델들은 서로 더 일관된 표현 구조를 공유하는 반면, 비강건한 모델들은 강건한 모델들과 공유되지 않는 독자적인 불변성을 발달시킨다는 것을 드러냈다.
• 목적 함수 비교: FuLA와 SLM은 일반적으로 유사한 기능적 유사성을 달성한 반면, DM은 종종 더 낮은 유사도 점수를 기록했다. 이는 출력 레이어 이전의 특징 표현 레벨에서 불일치가 존재함을 시사한다.

의의 및 주장

본 논문은 불변성 인지 모델 스티칭이 기능적 유사성에 대한 더 근거 있고 원칙적인 지표를 제공한다고 주장한다. 순방향 호환성을 넘어 역방향 호환성을 포함함으로써, 이 방법은 모델들이 단순히 과업을 해결하기 위해 정렬될 수 있다는 이유만으로 기능적으로 유사해 보이는 오도된 결론을 방지한다.

저자들은 자신들의 접근 방식이 "이전에 은폐되었던 기능적 불일치"를 드러내며, 신경망이 내부적으로 어떻게 작동하는지에 대한 더 미세한 이해을 제공한다고 강조한다. 저자들은 특히 강건성과 다양한 훈련 목적이 관련된 맥락에서, 심층 신경망의 내부 작동을 정확하게 평가하기 위해서는 다각적인 관점(순방향 및 역방향)에서 평가하는 것이 필수적이라고 결론짓는다.

한계점: 저자들은 "오라클(oracle)" 개념의 기능적 유사성이 부재함을 인정하며, 이로 인해 어떤 설정이 "가장 충실한(most faithful)" 것인지에 대한 확정적인 결론을 내리는 것이 여전히 도전적인 과제임을 밝히고 있다. 또한, 본 연구는 현재 이미지 분류 모델에 국한되어 있다.