기술 요약: 신경망의 전사성(Surjectivity)에 관하여

문제 정의

본 논문은 심층 생성 모델의 안전성과 역량에 관한 근본적인 질문을 다룹니다: 어떠한 지정된 출력이라도 어떤 입력을 통해 생성될 수 있는가? 수학적 관점에서, 학습된 신경망이 입력 공간에서 출력 공간으로의 전사 함수(surjective function)에 대응하는가 하는 문제입니다.

기존의 안전성 연구는 모델의 행동을 제한하기 위해 데이터 큐레이션과 미세 조정(fine-tuning)에 집중해 왔으나, 중요한 격차가 남아 있습니다: 학습된 모델이 유해한 콘텐츠를 절대로 생성하지 않도록 보장할 수 있는가? 만약 모델이 전사적(surjective)이라면, 임의의 목표 출력(유해하거나, 위험하거나, 저작권이 있는 콘텐츠를 포함하여)에 대해 이를 생성하는 입력이 적어도 하나 존재하게 됩니다. 이는 현대적 아키텍처가 "탈옥(jailbreak)" 공격, 즉 공격자가 바람직하지 않은 행동을 유도하는 공격에 본질적으로 취약하다는 우려를 낳습니다. 본 논문은 전사성이 현대적으로 널리 사용되는 신경망 아키텍처에서 "거의 항상(almost always)" 성립하는 속성(즉, 측도가 0인 부분 집합을 제외한 모든 파라미터 구성에 대해 성립하는 속성)인지 확인하고자 합니다.

방법론

저자들은 **미분 위상수학(differential topology)**과 결합된 확률적 관점을 채택합니다. 단순히 모든 또는 일부 파라미터 설정이 전사성을 갖는지 묻는 대신, 고정된 아키텍처 내에서 거의 모든 파라미터 구성이 전사성을 갖는지 묻습니다. 이러한 접근 방식은 학습 과정에서 무작위성(최적화 도구, 데이터 분포 등)이 도입되어 최종 모델이 고차원 분포로부터 추출된 표본이 된다는 점을 인정합니다.

핵심 방법론적 도구로는 다음의 미분 위상수학이 포함됩니다:

1. 브라우어의 부동점 정리(Brouwer's Fixed Point Theorem): 특정 유계 조건 하에서 연속 함수의 역상(pre-image)의 존재를 증명하는 데 사용됩니다.
2. 브라우어 차수 이론(Brouwer Degree Theory): 사상의 차수(degree)가 0이 아님을 보여줌으로써 전사성을 증명하는 데 사용되는 위상 불변량입니다. 이는 역상의 존재를 함의합니다.
3. 호모토피 불변성(Homotopy Invariance): 복잡한 함수를 차수를 보존하면서 더 단순한 함수로 변형하여, 복잡한 신경망 블록을 분석할 수 있게 합니다.

저자들은 기초적인 빌딩 블록(MLP, 어텐션 메커니즘, LayerNorm 변형)의 전사성을 분석한 후, 이를 트랜스포머(Transformer) 및 확산 모델(Diffusion models)과 같은 합성 아키텍처로 확장합니다.

주요 기여 및 결과

1. 아키텍처 블록에 대한 이론적 보장

본 논문은 특정 아키텍처 구성 요소가 거의 항상 전사적인 조건을 엄격하게 확립합니다:

• Pre-LayerNorm은 전사적이다: 정리 3.1은 Pre-LayerNorm으로 감싸진 임의의 연속 함수 $f$ (정의: $g(x) = f(\text{LN}(x)) + x$)가 전사적임을 증명합니다. 이는 LayerNorm이 입력을 유계 집합으로 매핑한다는 사실에 기반하며, 이를 통해 브라우어의 부동점 정리를 적용할 수 있습니다. 결과적으로, Pre-LayerNorm으로 감싸진 MLP와 어텐션 레이어는 전사적입니다.
• 선형 어텐션(Retention)은 거의 항상 전사적이다: 정리 3.4는 리텐션 메커니즘(softmax가 없는 선형 어텐션의 형태)이 거의 항상 전사적임을 보여줍니다. 증명은 시퀀스 수준의 문제를 $f(x) = Mx + (x^\top N x)x$ 형태의 토큰 수준 사상으로 환원하며, 차수 이론을 사용하여 거의 모든 파라미터 선택에 대해 전사성을 보입니다.
• 트랜스포머는 거의 항상 전사적이다: 현대적 트랜스포머(예: GPT 스타일)는 Pre-LayerNorm으로 감싸진 블록들의 합성체이므로, 추론 4.1은 전체 트랜스포포머 아키텍처가 거의 항상 전사적임을 명시합니다.

2. 부정적 결과 (비전사성)

본 논문은 특정 설계 선택의 중요성을 강조하며, 전사적이지 않은 아키텍처 또한 식별합니다:

• Softmax 어텐션: 정리 3.5는 표준 어텐션 메커니즘(softmax 포함)이 거의 항상 전사적이지 않음을 증명합니다. 어텐션 가중치의 지수적 감소로 인해, 특정 출력 쌍(특히 첫 번째 토큰은 유계이고 두 번째 토큰은 임의로 큰 경우)은 양의 측도를 가진 도달 불가능한 집합을 형성합니다.
• 표준 MLP (ReLU/GeLU): 정리 B.1과 B.2는 ReLU 또는 GeLU 활성화 함수를 사용하는 2층 MLP가 거의 항상 전사적이지 않음을 보여줍니다. 가중치 구성에 따라 이러한 네트워크는 특정 부분 공간이나 유계 영역(예: 출력이 특정 상수보다 아래로 제한됨)으로 제한될 수 있습니다.

3. 실제 모델에 대한 시사점

저자들은 이론적 발견을 구체적인 생성 프레임워크에 적용합니다:

• 언어 모델: GPT 스타일의 트랜스포머는 거의 항상 전사적입니다. 이는 원칙적으로, 모델이 자기회귀적(autoregressive)으로 학습되었더라도 적절한 입력 임베딩으로부터 디코딩을 통해 저작권이 있거나 유해한 텍스트를 포함한 모든 문장을 생성할 수 있음을 의미합니다.
• 확산 모델: (속도 예측기가 트랜스포머나 U-Net인) ODE 솔버를 사용하는 결정론적 확산 모델은 노이즈 공간에서 출력 공간으로 거의 항상 전사적입니다. 이는 유해한 이미지를 생성하는 적대적 노이즈 벡터에 대한 본질적인 취약성을 시사합니다.
• 로보틱스: 인과적 마스킹(causally masked) 트랜스포머를 사용하는 로보틱스의 정책 네트워크는 거의 항상 전사적인 것으로 나타나며, 이는 모든 행동 시퀀스(안전하지 않은 궤적을 포함하여)가 어떤 입력 시퀀스에 의해 유도될 수 있음을 의미합니다.

의의 및 주장

본 논문은 피할 수 없는 취약성을 이해하기 위한 형식화를 제공한다고 주장합니다.

• 안전 학습의 근본적 한계: 저자들은 전사성이 안전 학습(예: RLHF, 미세 조정)이 모델의 유해한 행동 출력을 이론적으로 막을 수 없음을 의미한다고 주장합니다. 모델이 전사적이라면, 유해한 출력은 범위(range) 내에 존재합니다. 따라서 문제는 유해한 행동을 생성할 수 있는지 여부가 아니라, 공격자가 그에 상응하는 입력을 얼마나 효율적으로 찾아낼 수 있는지의 문제로 전환됩니다.
• 위험의 분리: 이 연구는 행동을 '유도'하는 위험(탈옥의 영역)과 행동 자체의 위험(도메인 특화된 위험)을 분리합니다. 전사성은 행동을 유도할 수 있는 능력이 모델의 구체적인 능력이나 학습 데이터와 독립적인, 아키텍처의 존재론적 속성임을 시사합니다.
• 안전 평가에 대한 경고: 본 논문은 출력 행동 탐색만을 근거로 모델의 안전성에 대한 결론을 내리는 것에 대해 경고합니다. 전사성은 원칙적으로 모든 출력이 가능하다는 것을 의미하므로, 유해한 출력을 찾아내지 못한 표준 평가들은 단지 유해한 출력을 유도하는 데 필요한 잠재적으로 복잡한 입력을 찾는 데 실패했을 뿐일 수 있습니다.

저자들은 전사성이 구성적(constructive) 속성이 아니라 존재론적(existential) 속성임을 명시하며 신중한 입장을 유지합니다. 이는 임의의 출력에 대해 입자의 존재를 보장하지만, 그러한 입자를 효율적으로 혹은 실행 가능한 정보로 찾을 수 있다는 것을 보장하지는 않습니다. 그러나 성공적인 탈옥 사례가 급증하고 있다는 점은 실무에서 계산적 난이도가 종종 병목 현상이 되지 않음을 시사한다고 언급합니다.

요약하자면, 본 논문은 현대 신경망을 강력하고 학습 가능하게 만드는 바로 그 아키텍처적 선택들(특히 Pre-LayerNorm과 잔차 연결)이 그들을 근본적으로 전사적으로 만들며, 이는 학습만으로는 달성할 수 있는 안전 보장에 대한 이론적 천장을 만든다고 제언합니다.