🤖 machine learning

Why Does Robustness Reduce Superposition?

이 논문은 적대적 훈련이 모델로 하여금 비강건한 특징들을 포기하도록 강제함으로써 중첩을 줄이고, 결과적으로 네트워크 내에 표현되어야 하는 전체 특징의 수를 감소시킨다는 점을 경험적으로 설명한다.

원저자: Adam Elimadi

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

원저자: Adam Elimadi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 컴퓨터 모델은 종종 '블랙박스'로 취급됩니다. 데이터를 입력하면 결과값을 내놓지만, 그 내부 작동 방식은 미스터리로 남습니다. 수년 동안 연구자들은 이러한 시스템에서 나타나는 기이한 취약성에 대해 의문을 품어왔습니다. 가장 정확한 모델조차도 '적대적 예제(adversarial examples)'에 의해 속을 수 있는데, 이는 이미지나 소리에 인간의 눈에는 거의 보이지 않는 미세한 변화를 주어 컴퓨터가 완전히 잘못된 판단을 내리게 만드는 것입니다. 예를 들어, 팬다 사진의 픽셀 몇 개를 인간의 눈에는 감지할 수 없을 정도로 수정하면, 컴퓨터는 갑자기 자신이 보고 있는 것이 긴팔원숭이라고 확신하게 됩니다. 과학자들은 오래전부터 이 모델들이 결정을 내릴 때 데이터의 특정 패턴에 의존한다는 사실을 알고 있었지만, 그 패턴들이 기계의 뇌 속에 어떻게 저장되는지, 혹은 왜 기계가 그 패턴들에 의해 이토록 쉽게 속아 넘어가는지는 완전히 이해하지 못했습니다.

최근의 연구는 이 저장 문제를 설명하기 위해 '중첩(superposition)'이라는 개념을 도입했습니다. 모델을 고정된 수의 선반이 있는 방이라고 상상해 보십시오. 만약 모델이 기억해야 할 것이 선반의 수보다 많다면, 모델은 물건들을 서로 겹쳐 쌓거나 같은 공간에 밀어 넣기 시작해야 합니다. 이것이 바로 중첩입니다. 즉, 모델이 가진 물리적 공간보다 더 많은 특징(feature)을 담으려고 시도하는 것입니다. 별도의 연구 라인은 모델이 이러한 까다로운 적대적 예제에 저항하도록 훈련받을 때 더 견고해지지만, 동시에 너무 많은 것들을 함께 쌓아두지 않는다는 것을 보여주었습니다. 모델이 중첩을 멈추는 것처럼 보인다는 것입니다. 그러나 아무도 이 변화 뒤에 숨겨진 메커니즘을 설명할 수 없었습니다. 왜 모델에게 작은 속임수를 무시하도록 가르치는 것이 단순히 특정 정보들을 기억하지 않게 만드는 결과로 이어지는 것일까요?

독립 연구자인 아담 엘리마디(Adam Elimadi)가 AI 해석 가능성 워크숍에서 발표한 새로운 연구는 이 질문에 명확한 답을 제공합니다. 연구자는 강건한 모델을 훈련할 때 발생하는 일련의 사건들을 추적하고자 했습니다. 더 큰 실제 시스템의 동작을 모방한 단순화된 컴퓨터 모델을 사용하여, 이 연구는 적대적 훈련이 모델로 하여금 특정 유형의 정보를 포기하도록 강제한다는 것을 입증했습니다. 모델은 데이터의 특정 패턴들이 공격을 받을 때 유용하기에는 너무 취약하다는 것을 학습합니다. '비강건한 특징(non-robust features)'이라 불리는 이 패턴들은 마치 소음에 의해 쉽게 묻혀버리는 속삭임과 같습니다. 모델이 소음에 견디도록 훈련받을 때, 모델은 이러한 취약한 속삭임을 붙들고 있는 것이 오히려 위험 요소라는 것을 깨닫습니다. 결과적으로 모델은 이를 완전히 버리게 됩니다. 모델은 더 이상 이 버려진 특징들을 저장할 필요가 없으므로, 제한된 공간에 채워 넣어야 할 것들이 줄어들게 되고, 중첩의 필요성도 자연스럽게 사라집니다.

이를 증명하기 위해, 연구자는 먼저 일반적인 데이터로 훈련된 모델보다 적대적 공격에 저항하도록 훈련된 모델이 일관되게 더 적은 특징을 표현한다는 것을 관찰했습니다. 이 실험에서 모델에는 얼마나 많은 특징을 활성화할 수 있는지를 제어하는 설정값인 '희소성(sparsity)'이 주어졌습니다. 다양한 설정값에 걸쳐, 강건한 모델들은 항상 더 적은 특징을 표현하는 쪽을 선택했습니다. 연구는 이어 이 특징들의 기하학적 구조, 즉 모델의 내부 공간에 어떻게 자리 잡고 있는지를 살펴보았습니다. 연구 결과, 강건한 모델들이 버리기로 선택한 특징들은 서로 가장 많은 간섭을 일으키는 것들이었습니다. 즉, 함께 쌓였을 때 혼란과 오류를 만들어내는 특징들이었습니다. 훈련에서 살아남은 모델들은 서로 충돌을 최소 최소화하기 위해 특징들을 서로 반대 방향으로 정렬시키는 등, 깔arly 깔끔하게 어우러지는 특징들만을 유지하고 나머지는 폐기했습니다.

연구의 가장 결정적인 부분은 연구자가 훈련이 시작되기 전부터 어떤 특징이 '강건한' 것이고 어떤 것이 '비강한' 것인지 정확히 알고 있는 합성 데이터셋을 사용하는 것이었습니다. 이 통제된 환경에서 강건한 특징은 강력하고 안정적인 신호였던 반면, 비강한 특징은 약하고 쉽게 교란되는 신호였습니다. 모델이 공격에 저항하도록 훈련받았을 때, 모델은 가용 공간이 얼마나 되느냐에 관계없이 매번 정확히 비강한 특징들의 집합을 버렸습니다. 모델에게 모든 것을 저장할 충분한 공간이 있을 때조차도, 적대적 훈련은 비강한 특징들을 간직하는 것이 너무 위험하다는 확신을 주었습니다. 이 연구는 중첩의 감소가 무작위적인 부작용이 아니라, 모델을 속이는 데 사용되는 구체적이고 취약한 특징들을 모델이 스스로 솎아낸 직접적인 결과임을 확인해 줍니다.

이 발견은 인공지능의 보안과 효율성 사이의 관계를 이해하는 새로운 방법을 제시합니다. 이는 모델을 강건하게 만드는 것이 단순히 더 많은 방어책을 추가하는 것이 아니라, 모델이 무엇을 기억할 가치가 있는 것으로 간주하는지를 근본적으로 바꾸는 것임을 시사합니다. 모델이 자신의 지식의 취약성을 직면하게 함으로써, 적대적 훈련은 모델의 내부 구조를 단순화합니다. 모델은 가능한 모든 패턴을 붙들려고 노력하는 대신, 안정적이고 신뢰할 수 있는 패턴에만 집중하게 됩니다. 비록 이러한 결과가 단순화된 토이 모델을 통해 확립되었지만, 이는 이전에 미스터리로 남아있던 현상에 대해 명확하고 기계적인 설명을 제공합니다. 연구자들의 다음 단계는 이와 동일한 과정, 즉 취약한 특징을 버리고 중첩을 줄이는 과정이 현대 기술을 움직이는 복잡한 실제 모델에서도 발생하는지 확인하는 것이 될 것입니다.

기술 요약: 왜 강건성(Robustness)이 중첩(Superposition)을 감소시키는가?

문제 제기
정확한 모델을 속이는 미세한 섭동(perturbable)인 적대적 예제(adversarial examples)의 존재는 여전히 해결되지 않은 연구 과제이다. Ilyas 등(2019)은 모델이 "비강건한 특징(non-robust features)"(깨끗한 데이터에서는 예측력이 있으나 섭동에 취약한 패턴)에 의존한다는 사실을 확립했지만, 이 설명은 이러한 특징들의 내부 표현 방식까지는 설명하지 못했다. 최근 Gorton & Lewis (2025)의 연구는 적대적 취약성을 중첩(차원보다 더 많은 특징을 표현 공간에 채워 넣는 현상)과 연결 지었으며, 적대적 훈련이 중첩을 감소시킨다는 것을 경험적으로 입증했다. 그러나 Gorton & Lewis (2025)는 왜 섭동에 대한 훈련이 모델로 하여가 표현하는 특징의 수를 줄이게 만드는지에 대한 기계론적 설명을 제공하지 않았다. 본 논문은 그 누락된 기계론적 설명을 제공하는 것을 목표로 한다.

방법론
저자는 $n=20$ 의 은닉 차원과 $m=100$ 의 입력 특징으로 구성된 선형 오토인코더(linear autoencoder)를 활용한 단순화된 토이 모델 설정(Elhage et al., 2022; Gorton & Lewis, 2025)을 사용한다. 모델은 평균 제곱 오차(MSE) 손실 함수 하에서 희소 입력 $x$ 를 재구성하도록 훈련된다.

훈련 레짐(Training Regimes): 본 연구는 두 가지 훈련 프로토콜을 비교한다:
- 표준 훈련(Standard Training): 깨끗한 데이터에 대한 손실을 최소화한다.
- 적대적 훈련(Adversarial Training): 깨끗한 예시와 적대적 예시의 혼합에 대한 가중치 손실 $L_{adv} = \alpha L(x) + (1-\alpha) L(x_{adv})$ 를 최소화한다. 여기서 $x_{adv}$ 는 1단계 $\ell_2$ 그래디언트 공격을 통해 생성된다.
희소도 스윕(Sparsity Sweep): 특징 밀도가 중첩에 미치는 영향을 격리하기 위해 다양한 희소도 임계값( $S \in \{0.78, 0.80, 0.88, 0.90\}$ )에 걸쳐 실험을 수행한다.
지표(Metrics):
- 중첩( $\Phi$ ): 차원당 가중치의 제곱 프로베니우스 노름( $\|W\|_F^2 / n$ )으로 측정한다.
- 표현 능력( $P$ ): 전체 제곱 프로베니우스 노름( $\|W\|_F^2$ )이다.
- 특징 탈락(Feature Dropping): 가중치 열 노름 $\|W_{:,i}\|_2$ 가 임계값 $\tau = 0.01$ 미만인 경우 "탈락된" 특징으로 분류한다.
- 간섭(Interference): 그람 행렬(Gram matrix) $G = WW^\top$ 의 비대각 성분을 통해 계산하며, 이는 특징 방향 간의 비직교성을 측정한다.
합성 정답(Synthetic Ground Truth): 탈락된 특징과 강건성 사이의 관계를 명시적으로 테스트하기 위해, 저자는 Ilyas et al. (2019) 및 Li & Li (2025)의 분류 체계에 따라 특징들을 "강건한"(높은 진폭, $a_r=6.0$ ) 또는 "비강건한"(낮은 진폭, $a_{nr}=0.2$ ) 것으로 사전 라벨링한 합성 데이터셋을 구축한다.

주요 기여 및 결과

적대적 훈련은 특징 개수를 감소시킨다:
본 연구는 적대적으로 훈련된 모델이 희소도 스윕 전반에 걸쳐 표준적으로 훈련된 모델보다 일관되게 낮은 중첩과 표현 능력을 보임을 확인한다. 이러한 감소는 적대적으로 훈련된 모델이 표준 모델보다 훨씬 더 많은 특징을 탈락시킨다는 사실에 의해 기인한다.
탈락된 특징의 기하학적 비용:
적대적으로 훈련된 모델에 의해 탈락된 특징들은 무작위가 아니며, 가장 "비용이 많이 드는" 간섭 기하 구조를 가진 특징들이다.
- 탈락된 특징들은 유지된 특징들에 비해 평균 총 간섭(total interference)이 높거나(즉, 간섭 값이 덜 음수임) 나타난다.
- 유지된 특징들은 특징 간의 활성화 및 가짜 재구성을 최소화하는 대척점 방향에 해당하는 간섭 값 $\approx -1$ 근처에 군집한다.
- 이는 적대적 훈련이 해로운 간섭을 유발하는 특징을 제거하고, 직교성(또는 반직교성)을 극대화하는 구성을 선호하도록 강제함을 시사한다.
비강건한 특징과의 직접적인 연결:
알려진 정답 파티션을 가진 합성 데이터셋을 사용하여, 저자는 다음과 같은 정밀한 대응 관계를 입증한다: 적대적으로 훈련된 모델에 의해 탈락된 특징들은 정확히 데이터 생성 과정에서 정의된 비강건한 특징들의 집합이다.
- 표준 모델이 모든 특징을 유지하는 희소도 수준에서도, 적대적 훈련 모델은 비강건한 특징 전체( $|N|=70$ )를 일관되게 탈락시킨다.
- 이러한 동작은 희소도 수준에 관계없이 불변하며, 이는 모델이 비강건한 특징을 제거하기 위해 이를 명시적으로 타겟팅함을 시사한다.

기계론적 설명
본 논문은 중첩 감소를 설명하는 인과적 사슬을 제안한다:

적대적 훈련은 비강건한 특징을 포기한다: 비강건한 특징은 섭동에 매우 민감하여, 공격 시 값이 반전되며 이는 재구성 손실( $L_{adv}$ )의 직접적인 상승을 초래한다.
표현할 총 특징 수가 줄어든다: 적대적 손실을 최소화하기 위해, 모델은 이러한 고비용의 비강건한 특징들을 완전히 버리는 법을 배운다.
중첩이 감소한다: 동일한 고정 차원 공간 내에서 표현해야 할 특징의 수가 줄어듦에 따라, 차원당 특징 밀도가 낮아져 중첩이 감소한다.

의의 및 한계
본 논문은 Ilyas et al. (2019)의 특징 분류와 Gorton & Lewis (2025)에서 관찰된 표현 기하학 사이의 간극을 메우는, 왜 적대적 훈련이 중첩을 감소시키는지에 대한 첫 번째 경험적 및 기계론적 설명을 제공한다고 주장한다. 이러한 결과는 강건성이 단순히 가중치를 조정하는 것뿐만 아니라, 비강건하고 간섭을 일으키는 구성 요소를 제거하기 위해 특징 집합을 근본적으로 가지치기함으로써 달성된다는 점을 시사한다.

저자는 이러한 결과가 재구성 손실을 최적화하는 토이 모델 설정에 국한되어 있음을 언급한다. 저자는 기계론적 해석 도구(예: 희소 오토인코더)를 사용하여 실제 모델에서 이 이론을 검증하는 것이 필요한 다음 단계임을 밝힌다. 본 논문은 더 넓은 의미의 적대적 강건성 문제를 해결하려는 것이 아니라, 강건한 훈련의 내부적인 표현적 결과를 명확히 하는 데 목적이 있다.

유사한 논문