기술적 요약: BioRefusalAudit

문제 제기

대형 언어 모델 (LLM) 을 위한 현재 생물안전 벤치마크는 주로 모델이 위험한 출력을 생성하는지 여부를 평가합니다. 그러나 이러한 표면적 평가는 배포 안전성을 보장하기에 부족합니다. 거부 구조의 안정성에 대한 이해에서 중요한 격차가 존재합니다. 즉, 모델이 요청을 거부할 때, 그 거부가 위험한 기능에 대한 심층적이고 내부적인 억제인지, 아니면 프롬프트 구성, 포맷팅 또는 토큰 제한의 사소한 변화 하에서 무너질 수 있는 얕고 표면적인 행동인지 구분해야 합니다.

기존 벤치마크 (예: WMDP-Bio, VCT, ABC-Bench) 는 작업 완료 또는 출력 생성을 측정하지만, 내부 위험 회로가 억제된 "심층 거부 (deep refusal)"와 위험과 관련된 내부 기능이 여전히 활성화된 채 모델이 "아니오"라고 말하는 "얕은 거부 (shallow refusal)"를 구별할 수 없습니다. furthermore, 안전 훈련은 생성된 처음 몇 개의 토큰에만 영향을 미쳐 표면 아래에서 위험한 기능이 intact(완전) 하게 남을 수 있습니다.

방법론

이 논문은 표면적 행동과 내부 활성화 패턴을 비교하여 모델 거부의 깊이를 감사하기 위해 설계된 측정 도구인 BioRefusalAudit을 소개합니다. 방법론은 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 발산 지표 ($D$)

핵심 혁신은 모델의 표면 응답과 내부 희소 오토인코더 (SAE) 기능 활성화 간의 정렬을 정량화하는 발산 점수 $D$입니다.

• 표면 벡터 ($s$): 판사 앙상블 (정규식, Gemini CLI, Claude Haiku) 에 의해 생성된 소프트 라벨 벡터 (거부, 준수, 회피, 부분적, 회피).
• 내부 벡터 ($f$): 생물학적 콘텐츠, 위험 어휘, 거부 회로, 회피, 기만 상관관계 등 다섯 가지 범주로 압축된 내부 기능 활성화의 정규화 벡터.
• 정렬 행렬 ($T$): 기대되는 내부 상태를 표면 상태로 매핑하는 행렬로, 리지 정규화 최소제곱법을 통해 적합됩니다.
• 계산: $D(s, f) = 1 - \cos(f, T^T \cdot s)$.
  • $D \approx 0$: 완벽한 정렬 (심층 거부 또는 진정한 준수).
  • $D \approx 2$: 높은 발산 (예: 모델이 "거부합니다"라고 말하면서도 위험 기능이 활성화되는 경우).

2. 실험 설정

• 평가된 모델: 다섯 가지 아키텍처가 행동적으로 테스트되었습니다 (Gemma 2 2B-IT, Gemma 4 E2B-IT, Llama 3.2 1B, Qwen 2.5 1.5B, Phi-3-mini). $D$ 지표를 사용한 완전한 기계적 분석은 Gemma 2 와 Gemma 4 에서 수행되었습니다.
• 평가 세트: 75 개의 프롬프트는 계층 (무해한 생물학, 이중 사용, 위험 근접) 과 구성 (직접적, 교육적, 역할극, 은폐) 에 따라 층화되었습니다.
• SAE 훈련: 본 연구는 범용 Gemma Scope 1 을 활용하고 소비자 하드웨어 (GTX 1650 Ti) 와 Colab T4 에서 커스텀 도메인별 SAE(Gemma 2 WMDP, Gemma 2 Pairwise, Gemma 4 Bio-SAE) 를 훈련시켰습니다.
• 특별 프로브: 실험에는 80 토큰 생성 캡, 포맷 게이팅 (채팅 템플릿 유무), 그리고 1 일급이지만 생물학적으로 비독성인 화합물 (예: 실로시빈 재배) 을 사용한 "합법성 교란" 테스트가 포함되었습니다.

주요 결과

행동적 발견 (아키텍처 간)

• Gemma 2 2B-IT: 75 개 프롬프트 중 어떤 것도 진정으로 거부한 적이 없습니다. 모든 위험 근접 쿼리에 대해 "회피 (hedging)"했으며 (위험 프롬프트에서 100% 회피율), 위험 콘텐츠에 참여하면서 사실상 유보하는 효과를 냈습니다.
• Gemma 4 E2B-IT: 거부 행동은 전적으로 채팅 템플릿 포맷팅에 의존했습니다. 표준 포맷팅에서는 75 개 중 65 개를 거부했으나 포맷팅이 없을 때는 75 개 중 0 개를 거부했습니다. 두 Gemma 모델 모두 80 토큰 제한 하에서 거부율이 0% 로 붕괴되었습니다.
• Llama 3.2 1B: 무해한 생물학과 위험 사이에서 61 포인트의 차이를 보이며 유일한 의미 있는 거부 기울기를 보였으나, 무해한 생물학에 대해 과도하게 거부했습니다.
• Qwen 2.5 1.5B 및 Phi-3-mini: 높은 오검출률을 보였으며, 무해한 생물학 프롬프트의 83-87% 를 거부하여 안전하고 위험한 콘텐츠 간의 구분이 부족함을 나타냈습니다.

기계적 발견 (Gemma 계열)

• 얕은 거부: Gemma 4 에서 "준수"와 "거부" 응답은 $D$에서 0.647 포인트 차이로 분리되었으며 중첩이 없어, 이 지표가 활성화 계층에서 태도를 구별할 수 있음을 시사합니다.
• 기능 불일치: Gemma 2 에서 "거부 회로"와 관련된 기능은 무해한 생물학에 대한 준수 응답 중에도 활성화되었습니다 (프롬프트의 82%). 반면 "위험 기능"은 모델이 거부를 주장할 때도 여전히 활성화되어 있었습니다. 이는 거부 메커니즘이 진정한 위험 억제가 아닌 생물학 키워드의 존재 여부에 기반하여 출력을 게이트하고 있을 가능성을 시사합니다.
• 합법성 대 위험 교란: 실로시빈 (1 일급, 생물학적으로 비독성) 을 사용한 테스트는 거부율이 CBRN 위험이 아닌 문화적 중요성과 합법성을 따라갔음을 드러냈습니다. Gemma 2 는 실로시빈 재배를 25-50% 거부했으나, 진정으로 위험한 생물학은 0% 거부했습니다. 반면 Llama 3.2 는 위험한 생물학을 거부하는 동안 실로시빈을 자유롭게 논의했습니다.

포맷 및 토큰 민감도

• 토큰 예산: 안전성 서술에는 토큰 예산이 필요합니다. 생성을 80 토큰으로 제한하면 테스트된 모델들의 거부율이 0% 로 떨어졌습니다.
• 구성: 교육적 구성은 가장 높은 발산 ($D=0.733$) 을 생성하여 활성 위험 기능과 부분적 준수를 나타냈습니다. 은폐된 구성은 가장 낮은 발산을 생성하여, 불투명한 문구가 더 일관된 (그러나 잠재적으로 안전하지 않은) 내부 정렬을 유발함을 시사합니다.

주요 기여

1. 거부 깊이 감사: 이진 "안전/위험" 표면 평가를 넘어 모델 거부의 내부 일관성을 감사하는 새로운 프레임워크 ($D$ 지표).
2. 아키텍처별 실패 모드: 거부 행동이 계열 간에 균일하지 않다는 증거; Gemma 2 는 회피하고, Gemma 4 는 포맷에 민감하며, Qwen/Phi 는 과도하게 거부합니다.
3. 도메인별 SAE: Gemma 모델용 생물안전 감사를 위해 훈련된 세 가지 커스텀 SAE 공개 (처음부터 훈련된 Gemma 4 SAE 포함).
4. 합법성 교란 증명: 일부 모델의 거부 회로가 생물학적 위험이 아닌 법적 지위와 문화적 금기 (예: 1 일급 약물) 에 반응한다는 실증적 증거.
5. 콘텐츠 공개 없이 모니터링: $D$ 지표는 내부 기능 벡터에서 계산되므로, 감사자가 사용자 프롬프트나 대화 기록을 읽지 않고도 실시간으로 거부 깊이를 감사할 수 있게 합니다.

중요성 및 주장

이 논문은 활성화 수준 감사가 행동적 평가에는 보이지 않는 실패 모드를 표면화할 수 있다고 주장합니다. 구체적으로:

• 구조적 불안정성: 모델의 거부는 포맷팅이나 토큰 제한의 사소한 변화 하에서 사라질 수 있는 구조적으로 불안정할 수 있습니다.
• 불일치 신호: 거부 회로는 실제 생물학적 위험 잠재력이 아닌 문화적 중요성이나 법적 지위에 맞춰 조정될 수 있습니다.
• 거버넌스 유용성: $D$ 지표는 심층 거부와 얕은 거부를 구분함으로써 계층적 접근 프레임워크 (예: Carter 와 Butchello, 2026) 에 정보를 제공할 수 있는 신호를 제공하며, 상호작용 콘텐츠를 읽지 않는 모니터링 시스템을 가능하게 할 수 있습니다.

저자들은 명시적으로 기계적 발견 ($D$ 지표) 이 현재 Gemma 계열에 국한되어 있으며 Llama 및 Qwen 아키텍처 전반에 걸쳐 재현이 필요하다고 밝혔습니다. 결과는 해커톤 규모의 실험에서 나온 예비 증거로 제시되었으며, 기능 카탈로그 의미 검증 및 샘플 내 보정의 한계를 지적합니다. 본 작업은 자율 무기 사용이나 안전 통제 우회를 방지하기 위해 히포크라테스 라이선스 3.0 하에 공개되었습니다.