On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap

기술 요약: 은폐 공격에 대한 트랜스포머 방어 기법의 기하학적 한계

문제 제기
프롬프트 주입 공격은 겉보기에 정당한 입력 내에 악성 지시를 임베딩함으로써 대규모 언어 모델 (LLM) 의 안전성에 중대한 위험을 초래합니다. 현재의 방어 기법은 주로 정확도, 정밀도, 재현율, F1 점수와 같은 표준 지표를 사용하여 평가되는 감독 분류 메커니즘에 의존합니다. 이러한 지표들이 관찰 가능한 오분류 행위를 효과적으로 포착하긴 하지만, 저자들은 트랜스포머가 학습한 잠재 표현 (latent representations) 의 견고성에 대한 통찰력은 제한적이라고 주장합니다. 중요한 격차가 존재합니다: 탐지기 (detector) 가 거의 완벽한 분류 성능을 달성하더라도, 적응형 적대적 공격에 의해 악용될 수 있는 취약한 잠재 표현에 의존할 수 있다는 점입니다. 구체적으로, 높은 탐지 성능이 구성적 프롬프트 은폐에 대한 표현적 견고성을 의미하는지는 여전히 불분명합니다.

방법론
프롬프트 주입 방어 기법의 기하학적 특성을 조사하기 위해, 저자들은 청결 (clean), 접두어 (prefix), 접미사 (suffix), 은폐 (obfuscated) 의 네 가지 클래스에 걸친 10,000 개의 예제로 구성된 데이터셋을 구축했습니다. 은폐 클래스는 유니코드 동형 기호 대체 (예: 라틴 문자를 키릴 문자로 대체), 제로 너비 문자 삽입, 구두점/이모지 노이즈, 그리고 단편화된 지시들의 확률적 조합을 포함한 다중 연산자 변환을 사용하여 생성되었습니다.

본 연구는 깊이와 용량이 서로 다른 세 가지 트랜스포머 아키텍처 (DistilBERT, BERT-Base, BERT-Medium) 를 활용했습니다. 이러한 모델들은 4 클래스 분류를 위해 파인튜닝되었습니다. 표준 성능 지표 외에도, 저자들은 최종 레이어 임베딩 ($\phi(x)$) 을 분석하기 위해 기하학적 지표를 도입했습니다:

1. 클래스 내 분산 ($\sigma^2_{intra}$): 특정 클래스 매니폴드 내 임베딩의 분산을 측정합니다.
2. 클래스 간 거리 ($D$): 두 클래스 매니폴드 간의 분리를 정량화합니다.
3. 청결 - 은폐 마진 ($\delta$): 임의의 청결 임베딩과 임의의 은폐 임베딩 사이의 최소 유클리드 거리로 정의됩니다 ($\delta = \min \|\phi(x_c) - \phi(x_o)\|_2$).

저자들은 임베딩 매니폴드를 시각화하고 청결 프롬프트와 은폐 프롬프트 간의 공간적 관계를 평가하기 위해 주성분 분석 (PCA) 과 t-분포 확률적 이웃 임베딩 (t-SNE) 을 활용했습니다.

주요 기여
본 논문은 세 가지 주요 기여를 합니다:

1. 잠재 임베딩 붕괴의 형식화: 저자들은 "잠재 임베딩 붕괴"를 오분류를 유발하지 않으면서 다중 연산자 은폐 프롬프트가 청결 프롬프트가 차지하는 잠재 공간 영역으로 부분적으로 침투하는 현상으로 정의합니다. 이는 부분적 매니폴드 붕괴로 특징지어집니다.
2. 기하학적 지표의 도입: 본 연구는 기존 성능 지표에 대한 보완적 평가 프레임워크를 제공하며, 표현적 견고성을 정량화하기 위해 기하학적 지표 (분산, 클래스 간 거리, 최소 마진) 를 제안합니다.
3. 성능 - 견고성 격차의 실증적 증명: 본 연구는 모델의 깊이 또는 용량을 증가시키는 것이 잠재 임베딩 붕괴를 해결하지 못함을 실증적으로 보여주며, 이 격차가 제한된 모델 크기의 산물이 아닌 본질적인 현상임을 시사합니다.

결과
평가에서 다음과 같은 결과가 도출되었습니다:

• 높은 분류 성능: 세 가지 모델 (DistilBERT, BERT-Base, BERT-Medium) 모두 거의 완벽한 분류 성능 (정확도, 정밀도, 재현율, F1 $\approx$ 99%) 을 달성했습니다.
• 잠재 임베딩 붕괴: 높은 정확도에도 불구하고, 기하학적 분석은 심각한 불안정성을 드러냈습니다. 최소 청결 - 은폐 마진은 $\delta = 1.02$로 발견되었으며, 이는 일부 은폐 프롬프트가 임베딩 공간에서 청결 프롬프트에 임의적으로 근접해 있음을 나타냅니다.
• 높은 클래스 내 분산: 은폐 임베딩은 높은 클래스 내 분산 ($3.33 \pm 6.23$) 을 보였으며, 이는 일부 은폐 입력은 멀리 떨어져 있지만 다른 것들은 청결 매니폴드로 붕괴됨을 의미합니다.
• 시각적 증거: PCA 및 t-SNE 시각화는 접두어 및 접미사 프롬프트는 잘 분리되어 유지되는 반면, 은폐 프롬프트는 높은 분산을 보이고 청결 매니폴드와 부분적으로 겹침을 확인했습니다.
• 확장의 비효과성: 모델 용량을 증가시키는 것 (DistilBERT 에서 BERT-Medium 으로) 은 수렴과 신뢰도를 개선했지만, 청결 - 은폐 마진을 증가시키거나 은폐 분산을 감소시키는 데 실패했습니다.

의의 및 주장
본 논문은 표준 평가 지표가 잠재 임베딩 붕괴와 트랜스포머 방어 기법의 근본적인 기하학적 취약성을 포착하지 못한다고 주장합니다. 저자들은 높은 탐지 성능이 표현적 견고성을 의미하지는 않는다고 단언합니다. 따라서 그들은 성능 - 견고성 격차가 현재 은폐 공격에 대한 트랜스포머 기반 방어 기법의 본질적 특성이라고 주장합니다.

이 연구의 의의는 "성능 - 견고성 격차"를 식별하여 탐지기가 매우 정확할 수 있음에도 기하학적으로 취약할 수 있음을 입증하는 데 있습니다. 저자들은 견고한 프롬프트 주입 방어를 위해서는 성능 기반 평가에 필수적인 보완책으로 기하학적 인식을 갖춘 견고성 분석이 필요하다고 결론지었습니다. 그들은 취약성을 해결했다고 주장하는 것이 아니라, 현재 방어 기법이 평가되는 방식의 근본적인 한계를 폭로하여 학습된 표현의 기하학적 구조를 분석하는 방향으로의 전환을 촉진했습니다.