기술 요약: 엔탱글먼트 월 (The Entanglement Wall)

문제 정의

맥락(Context)은 요청의 표면적 형태나 주제를 바꾸지 않고도 유해성을 변화시킬 수 있습니다. 예를 들어, "이것을 어떻게 죽일까?(How do I kill this?)"라는 문장은 소프트웨어 프로세스를 지칭할 때는 무해하지만, 사람을 지칭할 때는 위험합니다. 잔차 연결(residual-stream) 프로브가 서로 다른 데이터셋(AdvBench와 Alpaca 등)을 비교하는 교차 코퍼스 벤치마크에서 유해한 요청과 무해한 요청을 구분하는 데 높은 정확도를 보여주었으나, 주제가 일치하는 요청들 사이에서 발생하는 국소적인 결과의 변화를 해결할 수 있는지는 불분명합니다. 기존 벤치마크들은 의도(intent)를 스타일, 출처 또는 주제의 차이와 혼동하는 경고가 있습니다. 본 논문은 활성화 공간 프로브(activation-space probes)가 표면적으로 일치하는 쌍(surface-matched pairs) 내에서 유해한 의도와 무해한 의도를 구별하는 독립적인 맥락 판정기(context adjudicators) 역할을 할 수 있는지, 아니면 단순히 위험과의 근접성을 감지하여 위험을 알리는 광범위한 위험 탐지기(broad-risk detectors) 역할에 그치는지 조사합니다.

방법론

본 연구는 세 가지 모델 제품군(Llama-3.1-8B, Mistral-7B-Instruct, Qwen2.5-7B)을 사용하여 다각적인 접근 방식을 채택하였으며, 24B 및 32B 변형으로 확장하였습니다.

1. 배포 평가 (활성화 센서)

보유하고 있는 캘리브레이션 코퍼스에서 도출된 43개의 의도 존(intent zones: 24개 위험, 19개 무해)을 사용하여 센서를 구축했습니다.

• 메커니즘: 생성 시점에 센서는 토큰 활성화와 존 메도이드(medoids) 사이의 코사인 거리를 계산합니다. 또한 초기 생성 윈도우 동안 평균화된 "위험 마진(risk margin)"(가장 강한 위험 존과 가장 강한 무해 존의 차이)을 계산합니다.
• 결정 규칙: 평균 마진이 양수이면 생성을 차단하는 고정 제로 임계값 게이트(fixed zero-threshold gate)를 적용합니다. 평가 데이터에 대한 임계값 튜닝은 수행하지 않았습니다.
• 벤치마크: 480개의 분류된 유해 프롬프트와 660개의 무해 프롬프트(위험에 인접한 까다로운 무해 요청을 포함하는 XSTest 포함)를 대상으로 평가했습니다.

2. 동일 주제 쌍 설계 (기하학 실험)

맥락으로부터 주제를 분리하기 위해, 저자들은 위장된 유해 프롬프트를 동일한 주제와 표면적 틀을 공유하지만 의도된 결과가 다른 무해한 쌍과 결합한 "트윈(Twin)" 코호트를 구성했습니다.

• 코호트:
  • Twin-n43: 원래의 큐레이션된 쌍.
  • Twin-n163: 전체 구성된 코호트 (43 + 120 쌍).
  • Twin-n70: Llama-Guard-3가 위장된 측면은 안전하지 않다고 명시적으로 표시하고, 트윈은 안전하다고 표시한 하위 집합.
  • Twin-n217: 연구 과정 중 생성된 로버스트니스(robustness) 코호트.
• 읽기 지점(Read Points): 특정 인덱스(예: 배포를 위한 레이어 14, 분석을 위한 레이어 12)의 포스트 어텐션 레이어 노름(post-attention layer norm, 잔차 연결)에서 활성화를 읽었습니다.

3. 리드아웃 패밀리 및 대조군

전이 가능성과 과적합을 테스트하기 위해 7가지 리드아웃 전략을 비교했습니다:

• 비지도/외부 전이: 소스 대조군(AdvBench vs. Alpica)에서 피팅된 고정 방향을 재피팅 없이 트윈 쌍에 적용.
• 모델 내부/직접 피팅: 쌍의 경계에 직접 훈련된 분류기.
• 디플레이션(Deflation): 평균 차이 방향을 제거하여 잔여 신호를 테스트.
• 대조군: 카테고리 홀드아웃, 생성 배치 홀드아웃, 텍스트 전용 베이스라인(TF-IDF, 문장 인코더), 그리고 데이터셋 아티팩트를 배제하기 위한 순열 검정(permutation tests)을 포함한 광범한 대조군을 포함했습니다.

4. 평가 지표

• 랭킹: AUROC (Area Under the Receiver Operating Characteristic Curve).
• 운영 지점(Operating Point): 95% TPR에서의 TNR (True Negative Rate), 그리고 낮은 FPR(1%, 5%, 10%)에서의 TPR.
• 임계값: 수치적 벤치마크는 AUROC $\ge$ 0.90 또는 95% TPR에서 TNR $\ge$ 40%로 설정되었습니다. 결정적으로, 어떤 교차(crossing)가 발생하더라도 가드(guard)가 선택한 하위 집합뿐만 아니라 전체 Twin-n163 코호트에서도 지속되어야 한다는 사후 요구사항이 추가되었습니다.

주요 결과

1. 배포 성능 (광범위 위험 탐지)

활성화 센서는 세 모델 제품군 모두에서 판독기가 준수(compliant)하다고 분류한 공격의 **95.5–97.7%**를 성공적으로 차단했습니다. 그러나 특히 XSTest와 같은 무해한 벤치마크에서 높은 오차 차단율을 보였습니다:

• XSTest 차단율: Llama 59.6%, Mistral 63.6%, Qwen 68.4%.
• 결론: 이 센서는 광범위한 위험에 대한 효과적인 1단계 필터 역할을 하지만, 위험에 인접한 무해한 요청과 유해한 요청을 구분하는 특이성은 부족합니다.

2. 기하학 및 전이 성능 (맥락 판정)

소스 감사(source audit)에서 얻은 고정 방향을 동일 주제의 트윈 쌍으로 전이했을 때:

• 소스 감사: 소스 대조군에서 거의 천장에 가까운 AUROC (0.996–0.999)를 달しまいました.
• Twin-n70으로의 전이: AUROC가 0.656–0.819로 떨어졌습니다.
• Twin-n163으로의 전이: AUROC가 0.590–0.690으로 더욱 저하되었습니다.
• 운영 지점: 95% TPR에서의 TNR은 **8.0–21.5%**로 떨어졌으며, 이는 40% 기준에 훨씬 못 미치는 수준입니다.

3. 직접 피팅 및 과적합

쌍 코퍼스에 직접 훈련된 분류기(pair-trained)는 높은 인코퍼스(in-corpus) AUROC (0.888–0.929)를 달성했으나, 홀드아웃 조건에서는 실패했습니다:

• 카테고리/생성 배치 홀드아웃: 성능이 크게 저하되었습니다 (예: 0.661–0.780).
• XSTest 오차 차단: 이 분류기들은 95% 인코퍼스 TPR에서 XSTest 프롬프트를 79.6–100% 차단했습니다.
• 텍스트 베이스라인: 단순 텍ellik 특징(TF-IDF, 길이)도 유사한 저하 패턴을 보였으며, 이는 신호가 순수한 의미적 의도보다는 생성/큐레이션 구조에 의존함을 시사합니다.

4. 디플레이션 및 규모 확장

• 디플레이션: 평균 차이 방향을 제거하면 분리가 감소하지만 통계적으로 감지 가능한 잔여물이 남았습니다. 그러나 이 잔여물은 Twin-n163에서 요구되는 성능 기준을 충족하지 못했습니다.
• 규모(Scale): 24B 및 32B 모델에 대한 실험에서도 질적인 패턴(강한 소스 분리, 약한 동일 주제 전이)은 재현되었으나, 요구되는 운영 지점에 도달하지는 못했습니다.

의의 및 주장

본 논문은 **"엔탱플먼트 월(Entanglement Wall)"**이라는 개념을 도입합니다. 이는 활성화 공간 프로브가 주제와 표면 형식이 일치할 때, 광범위한 위험 근접성은 효과적으로 스크리닝할 수 있지만 맥락 특이적인 결과는 판정하는 데 실패하는 경험적 운영 지점의 한계를 의미합니다.

• 보편적 한계가 아님: 저자들은 이것이 보편적인 표현 불가능성(representational impossibility)에 대한 주장이 아님을 명시적으로 밝힙니다. 전용 가드(Llama-Guard-3와 같은)는 이러한 쌍을 높은 정확도(AUROC 0.95+)로 구분할 수 있으며, 이는 정보가 모델의 출력 공간에 존재함을 증명합니다.
• 프로브의 역할: 결과는 테스트된 잔차 연결 읽기 지점에서 활성화 점수가 맥락 판정기라기보다 광범위한 위험 탐지기로서 기능함을 시사합니다.
• 안전에 대한 시사점: 모호한 경우(프롬프트가 주제적으로 해악에 인접한 경우)에는 단순한 활성화 임계값 설정을 넘어 맥락에 민감한 결정 단계가 여전히 필요합니다. "엔탱글먼트(얽힘)"는 잔차 연결의 "위험 방향"이 유해한 트윈과 무해한 트윈의 공유된 주제 성분을 포착하여, 프로브가 데이터셋의 아티팩트에 과적합되지 않고 특정 유해한 의도만을 격리하는 것을 방해하기 때문에 발생합니다.

연구는 활성화 프로브가 초기 위험 스크리닝에는 가치가 있지만, 주제가 일치하는 고위험 시나리오에서 맥락 인식 판정을 대체할 만큼의 견고함은 현재 갖추지 못했다고 결론짓습니다.