기술 요약: REPTRAN - 트랜스포머 모델을 위한 탐색 기반 복구(Search-Based Repair)

문제 정의

트랜스포머(Transformer) 모델이 AI 기반 소프트웨어 시스템(예: 자율 주행, 의료 영상)의 핵심적인 부분으로 자리 잡음에 따라, 이들의 오작동은 시스템 신뢰성에 치명적인 위험을 초사합니다. 특정 오분류를 수정하기 위해 전체 재학습을 수행하지 않고도 DNN(심층 신경망)을 복구하는 방법들이 존재하지만, 대부분의 기존 접근 방식은 CNN(합성곱 신경망)이나 RNN(순환 신경 혹은 RNN)과 같은 전통적인 아키텍처를 대상으로 합니다. 이러한 방법들은 트랜스포머 모델의 고유한 구조적 구성 요소, 특히 멀티 헤드 셀프 어텐션(Multi-Head Self-Attention, MSA)과 피드 포워드 네트워크(Feed-Forward Networks, FFN)를 간과하는 경우가 많습니다. 결과적으로, 트랜스포머 모델의 구조적 및 기능적 특성, 특히 '지식 뉴런(knowledge neurons)'으로서 의미론적 연관성을 저장하는 중간 FFN 뉴런의 역할을 고려하여 설계된 복구 기술이 부족한 실정입니다.

방법론: REPTRAN

저자들은 트랜스포사 모델을 위해 특별히 설계된 탐색 기반 복구 방법인 REPTRAN을 제안합니다. 이 접근 방식은 트랜스포머 아키텍처의 중심인 FFN 레이어 내의 가중치(weights)를 수정하는 데 집중합니다. REPTRAN은 두 가지 별도의 단계로 작동합니다.

1. 선택 단계 (Localization)

목표는 오작동에 기여하는 FFN 행렬($W_{bef}$ 및 $W_{aft}$) 내의 "의심스러운" 가중치를 식별하는 것입니다. REPTRAN은 각 가중치에 대해 다음 두 가지 구성 요소를 결합하여 **가중치 의심 점수(Weight Suspiciousness Score)**를 계산합니다.

• 뉴런 점수 (Neuron Score - 새로운 기여): 이 점수는 오작동에 대한 중간 FFN 뉴런의 기여도를 정량화합니다. 이는 단일 순전파(forward pass)를 통해 계산되는 두 가지 지표로부터 도출됩니다.
  • VDiff: 올바르게 분류된 입력과 잘못 분류된 입력 사이의 뉴런 활성화 분산을 측정하여, 행동적 다양성의 차이를 포착합니다.
  • MisAct: 오작동 상황에서의 뉴런 평균 활성도를 측정하여, 발화(firing)의 강도를 포착합니다.
  • 최종 뉴런 점수는 VDiff와 MisAct의 정규화된 곱입니다.
• 양방향 점수 (Bidirectional Score): 최신 기법인 ARACHNE에서 채택된 이 점수는 순방향 영향력(Forward Impact, FI)(최종 출력에 미치는 영향)과 그래디언트 손실(Gradient Loss, GL)(오작동에 대한 기여도)을 결합합니다.

최종 가중치 의심 점수는 양방향 점수를 뉴런 점수로 변조(modulating)하여 계산됩니다. 점수가 가장 높은 상위 $N_w$개의 가중치가 복구 대상으로 선택됩니다.

2. 탐색 단계 (Optimization)

의심스러운 가중치가 식별되면, REPTRAN은 인구 기반 메타휴리스틱인 **차분 진화 알고리즘(Differential Evolution, DE)**을 사용하여 해당 값들을 최적화합니다.

• 적합도 함수 (Fitness Function): 알고리즘은 두 가지 목표 사이의 균형을 맞추는 적합도 함수를 최대화하는 것을 목표로 합니다: 즉, 올바른 동작을 보존하는 것(올바르게 분류된 샘플에 대한 정확도 극대화)과 오작동을 줄이는 것(대상 오분류 샘플에 대한 오류 최소화)입니다.
• 종료 조건: 최대 세대 수에 도달하거나 적합도가 정체될 때 탐색이 종료됩니다.

주요 기여

1. REPTRAN 프레임워크: 일반적인 네트워크 구조가 아닌, 트랜스포머 모델의 FFN 레이어를 타겟팅하여 설계된 새로운 맞춤형 복구 방법입니다.
2. 뉴런 점수 전략: 중간 FFN 뉴런의 활성화 평균 및 분산을 기반으로 한 새로운 가중치 선택 전략을 도입했습니다. 이는 FFN 뉴런이 지식 저장소 역할을 한다는 이해를 활용하여, 결함이 있는 구성 요소를 더욱 정밀하게 국지화(localization)할 수 있게 합니다.
3. 포괄적인 평가: CIFAR-100 및 Tiny-ImageNet 데이터셋으로 구축된 18개의 결함 벤치마크를 통해 Vision Transformer (ViT) 모델을 대상으로 광범위한 평가를 수행했습니다.
4. 비교 분석: 무작위 선택(random selection), ARACHNE(선도적인 DNN 복구 방법), 그리고 PRoViT(ViT 전용 솔버 기반 복구 방법)와의 엄격한 비교를 수행했습니다.

실험 결과

평가는 세 가지 오분류 유형(SRC-TGT, TGT-FP, TGT-FN)과 세 가지 빈도 순위를 포함하는 18개의 결함 벤치마크에서 수행되었습니다.

• 복구율 (효과성): REPTRAN은 모든 벤치마크에서 평균 74.7%, 최고 **95.2%**의 평균 복구율을 달 기록했습니다. 이는 ARACHNE(평균 17.1%) 및 무작위 베이스라인을 크게 상회하는 수치입니다. Wilcoxon 부호 순위 검정(Wilcoxon signed-rank test)을 통한 통계적 테스트 결과, 이러한 개선은 큰 효과 크기(effect size)와 함께 유의미한 것으로 확인되었습니다.
• 파괴율 (부작용): REPTRAN은 ARACHNE(0.2%)에 비해 높은 평균 파괴율(1.5%)을 보였으나, 최대 파괴율은 5.7% 미만으로 유지되어, 상당한 복구 효과를 얻기 위한 합리적인 트레이드오프임을 시사했습니다.
• 효율성: REPTRAN은 우수한 효율성을 입증했습니다. 평균 실행 시간은 476.19초로, ARACHNE의 620.93초보다 빨랐습니다. 더 많은 변수(472개 가중치 vs ARACHNE의 11개)를 최적화했음에도 불구하고, REPTRAN은 더 빠른 수렴을 달성하여 87.8%의 실행에서 조기에 종료되었습니다.
• PRoViT와의 비교: PRoViT 변체들(LP 기반 및 미세 조정 기반)과 비교했을 때, 모든 지표(복구율, 파괴율, 시간)에서 REPTRAN을 능가하는 단일 PRoViT 변체는 없었습니다. PRoViT 변체들은 (LP 기반의 경우) 현저히 느리거나, (미세 조정 기반의 경우) 복구 세트에 과적합(overfitting)되는 경향이 있어 더 높은 파괴율을 보였습니다.
• 절제 연구 (Ablation Studies): 뉴런 점수의 구성 요소를 분석한 결과, MisAct 성분이 지배적이며 VDiff가 보완적인 가치를 제공한다는 것이 밝혀졌습니다. 또한, 균형 계수($p$ 및 $\alpha$)는 최종 결과에 미미한 영향을 미쳤으며, 이는 파라미터 튜닝의 견고성(robustness)을 나타냅니다.

의의 및 주장

본 논문은 특정 오분류를 수정하기 위해 모델 전체를 재학습하지 않고도 특정 오작동을 해결함으로써, 트랜스포머 모델의 신뢰성을 높이는 효과적인 접근법으로서 REPTRAN을 제시합니다. 저자들은 다음과 같이 강조합니다:

• 기존 DNN 복구 방법은 FFN 뉴런의 고유한 역할을 반영하지 못하므로 트랜스포머에는 불충분합니다.
• 제안된 뉴런 점수는 활성화 분산과 크기를 활용하여 순방향 영향력 및 그래디언트 손실에만 의존하는 방식보다 효과적으로 결함 가중치를 식별합니다.
• 탐색 기반 복구는 CNN/RNN에서 현대적인 트랜스포머 아키텍처로 성공적으로 확장될 수 있으며, 특정 오작동을 수정하기 위한 실용적인 대안을 제공합니다.
• 본 방법은 높은 복구율을 달성하면서도 올바른 동작의 저하(파괴율)를 허용 가능한 범위 내로 유지하는 균형 잡힌 트레이드오프를 제공합니다.

결론적으로, 이 연구는 REPTRAN이 모델 전체를 재학습하지 않고도 특정 오분류를 교정해야 하는 안전 필수(safety-critical) 애플리케이션에서 트랜스포머 기반 시스템을 더욱 견고하고 신뢰할 수 있게 만드는 중요한 진전임을 보여줍니다.