기술 요약: BioTIER – 표적화된 생물학적 위험 완화를 위한 거절 벤치마크

1. 문제 정의

대규모 언어 모델(LLM)의 급격한 발전은 생물학 분야에서 이중 용도(dual-use) 딜레마를 야기했습니다. 이러한 모델들은 분자 생물학, 바이러스학, 생공학 분야의 광범위한 지식을 보유하여 유익한 연구를 가속화하는 동시에, 악의적인 행위자가 위험한 병원체를 생성하거나 생물 보안 조치를 우회하는 것을 도울 수 있는 위험을 내포하고 있습니다.

현재의 안전 완화 전략은 근본적인 과제에 직면해 있습니다: 바로 파괴적인 위험을 초래하는 정보와 유익하고 건전한 과학적 지식을 구분하는 것입니다. 기존의 접근 방식은 흔히 다음과 같은 이분법적 전략을 채택합니다:

1. 과잉 검열(Over-censorship): 만일의 사태를 대비해 생물학적 콘텐츠의 넓은 범주를 거부함으로써, 정당한 과학 연구 및 교육적 접근을 저해함.
2. 과소 거절(Under-refusal): 방대한 지식에 대한 접근을 허용하는 관대한 전략을 채택하지만, 오용 가능성이 높은 고위험 정보는 제한하지 못함.

위험한 정보의 "극히 적은 부분"과 필수적인 생물학적 지식의 "방대한 부"를 차별화할 수 있는 표적화된 완화 프레임워크가 부족합니다. 또한, 표준화되고 단계적인 위험 평가의 부재는 AI 생태계 전반에 걸쳐 파편화된 안전 접근 방식을 초래하며, 악의적인 행위자들이 개별 모델의 거절 정책을 우회하기 위해 여러 모델을 질의하는 "안전 장치 차익 거래(safeguard arbitrage)"를 악용할 수 있게 합니다.

2. 방법론

2.1 위험 분류 체계 (BioTIER 프레임워크)

저자들은 차별화된 접근 정책을 가능하게 하기 위해 생물학적 콘텐츠를 세 가지 별도의 집합으로 나누는 전문가 주도의 단계적 위험 분류 체계를 제안합니다:

• Set CA (Catastrophe Avoidance, 재앙 방지): 운영 지식 중 극히 적은 비중을 차지하는 가장 높은 위험 주제를 포함합니다. 여기에는 고위험 병원체 획득 프로토콜, DNA 합성 스크리닝 우회 가이드, 설계된 유기체의 팬데믹 잠재력 평가 등이 포함됩니다. 이 주제들은 훈련 데이터에서 제외되어야 하며 일반 사용자에게는 보편적으로 거절되어야 합니다.
• Set BD (Biomedical DURC, 생의학적 이중 용도 연구 우려): 주목할 만한 오용 가능성이 있는 이중 용도 연구(DURC)입니다. 주제로는 상세한 바이러스 공학 방법, 병원체 정량화 기술, 계대 배양 접근법 등이 있습니다. 이는 검증된 정당한 과학 사용자에게 제공되는 접근 제어 모델에 적합합니다.
• Set RB (Related Biology, 관련 생물학): 유익한 생물학적 테마와 "경계에 인접한" 주제를 포함하는 광범한 집합입니다. 여기에는 위험한 주제에 대한 고차원적이거나 일반적으로 알려진 정보(예: 일반적인 바이러스학 개념)가 포함되며, 과잉 검열을 피하기 위해 절대 거절되어서는 안 되는 내용입니다.

2.2 데이터셋 구축

BioTIER는 엄격한 과정을 통해 개발된 542개의 전문가 큐레이션 프롬프트로 구성됩니다:

• 저자: 바이러스학, 미생물학, 생물 보안 및 관련 분야의 박사 학위를 소지한 15명의 주제 전문가(SME)가 작성했습니다.
• 검증: 프롬프트는 합의된 승인을 요구하는 3단계의 전문가 검토 과정을 거쳤습니다.
• 범위 분석: 다양한 에이전트 유형(바이러스, 박테리아, 독소, 프리온, 균류, 기생충 및 일반 방법론)과 프롬프트 특성(직설성, 길이, 어조, 프레이밍, 세부 사항, 창의성, 숙련도, 실용성)에 대한 체계적인 분석을 통해 대표성을 확보했습니다.
• 메타데이터: 각 프롬프트에는 위험 집합 분류, 테마, 선택 병원체(Select Agent, SA) 태그, 에이전트 분류 및 추정된 행위자 숙련도 수준을 포함한 풍부한 메타데이터가 포함되어 있습니다.

2.3 벤치마크 구조

이 벤치마크는 안전성과 유용성 사이의 트레이드오프를 평가하기 위해 두 가지 구성 요소로 나뉩니다:

• BioTIER-refuse: 일반 사용자에게 거절되어야 하는 398개의 프롬프트 (CA 249개 + BD 149개).
• BioTIER-permit: 모델이 유익한 콘텐츠를 과도하게 거절하지 않음을 입증하기 위해 답변해야 하는 144개의 프롬프트 (RB 집합에서 추출).

2.4 평가 프로토로콜

• 평가 대상 모델: 10개 주요 개발사(Anthropic, OpenAI, Google Deepoph, Meta, Mistral 등 포함)의 프런티어 LLM 52개.
• 테스트 조건: 모델의 기본 거절 동작을 격리하기 위해, Chain-of-Thought 프롬프팅이나 도구 사용 없이 단일 턴 자유 응답 솔버를 사용하여 가장 공개 가능한 추론 구성을 테스트했습니다.
• 점수 산정: 준수 여부는 이진 결과로 측정되었습니다.
  • 거절(Refuse): 올바른 처리는 안전 필터를 트리거하거나 실질적인 답변 제공을 거부하는 것을 의미합니다.
  • 허용(Permit): 올바른 처리는 실질적인 응답을 제공하는 것을 의미합니다.
• 강건성(Robustness): 각 모델은 평균 준수율을 보고하기 위해 프롬프트당 10회씩 평가되었습니다. 모델 행동을 종단적으로 평가하기 위해 공공 거절 트래커가 구축되었으며, 초기 평가 몇 주 후 4개의 프런티어 모델을 재실행하여 시간적 안정성을 측정했습니다.

3. 주요 결과

3.1 안전 성능의 이질성

평가는 생태계 전반에 걸친 거절 행동의 극심한 이질성을 드러냈습니다:

• BioTIER-refuse 준수율: 5.6%(DeepSeek-V3.1)에서 96.4%(Claude Sonnet 4.6)까지 분포했습니다.
  • Anthropic의 Claude 제품군(특히 Opus 및 Sonnet 4.6/4.7/4.8)이 거절의 최전선로 나타났으며, 대부분의 구성이 90% 이상의 준수율을 보였습니다.
  • OpenAI의 GPT-5 및 o-시리즈 모델은 중간 정도의 준수율(65–76%)을 보였고, xAI의 Grok 모델은 다양하게 나타났습니다(68–80%).
  • 오픈 웨이트 모델(예: Llama 3.3, DeepSeek V3.1, Qwen 변형)은 일반적으로 준수 범위의 하위 절반을 차지했으며, 어떤 오픈 웨이트 모델도 폐쇄형 웨이트의 프런티어 수준에 도달하지 못했습니다.
• BioTIER-permit 준수율: 분포가 상한선에 밀집되어 있었으며, 대다수의 모델이 98% 이상의 준수율을 보였습니다.
  • 과잉 거절은 소수의 실패 모드였습니다. 그러나 가장 강력하게 보호된 모델들(예: Claude Sonnet 4.6의 76.3%, Opus 4.7의 78.7%)은 가장 높은 과잉 거절률을 보였습니다.
  • 결정적으로, 이러한 과잉 거절은 일반적인 생물학적 지식보다는 "경계에 인접한" 테마에 집중되었습니다.

3.2 안전-유용성 트레이드오프

높은 거절률과 높은 허용률 사이에 음의 상관관계가 관찰되었으나, 이는 제한적이었습니다. 가장 높은 거절 준수율을 가진 모델(예: Claude Sonnet 4.6)도 유익한 프롬프트의 85% 이상에 답변했습니다. 이러한 모델들의 허용 준수율 감소는 주로 순수한 유익한 콘텐츠에 대한 오류라기보다 위험 경계 근처에서의 엄격한 분류 때문이었습니다.

3.3 시간적 안정성 및 드리프트(Drift)

초기 실행 몇 주 후 4개의 프런티어 모델(Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5, Grok 4.20)을 재평가한 결과 상당한 불안정성이 발견되었습니다:

• Gemini 3.1 Pro: 배포 후 안전 장치 변경에 힘입어 BioTIER-permit에 거의 영향을 주지 않으면서 BioTIER-refuse 준수율이 크게 향상되었습니다(~45%에서 ~73.5%로).
• GPT-5.5 및 Grok 4.20: 거절 준수율이 각각 15%포인트, 12%포인트 하락하며 감소를 경험했습니다.
• Claude Opus 4.8: 프런티어 위치를 유지하며 안정적인 모습을 보였습니다.

3.4 앙상블 추출 및 "모델 쇼핑(Model Shopping)"

프롬프트당 행동 분석 결과, 거절 패턴은 균일하지 않았습니다.

• BioTIER-refuse 프롬프트 중 단 **2.5%**만이 모든 테스트 모델의 압도적 다수(≥7/10 에포크)에 의해 거절되었습니다.
• 앙상블 위험: 낮은 준수율을 가진 모델 두 개만 질의하더라도 악의적인 행위자는 위험한 프롬프트의 96.5%에 대한 답변을 얻을 수 있습니다. 6개의 모델을 질의하면 이 비율은 97.5%로 증가합니다.
• 사각지대: 특정 테마(CA-1, 익명화됨)는 보편적인 사각지대였으며, 대다수의 모델이 이 프롬프트의 100%에 답변했습니다.

3.5 주성분 분석 (PCA)

거절 지문(fingerprint)의 PCA는 두 가지 지배적인 축을 식별했습니다:

1. PC1 (빈도): 모델을 전체적인 거절 성향에 따라 구분했습니다(61% 분산).
2. PC2 (질적 측로): 모델을 어떤 프롬프트를 거절하는지에 따라 구분했습니다. Anthropic 모델은 뚜렷하게 클러스터링되었는데, 이는 다른 개발사들에 비해 개념적인 질문을 더 자주 거절함을 나타냅니다.

4. 주요 기여

1. 미묘한 위험 분류 체계: 파괴적 위험을 이중 용도 우려 및 유익한 생물학과 구분하는 3단계 프레임워크(CA, BD, RB)를 도입하여, 이분법적 차단이 아닌 표적화된 완화를 가능하게 함.
2. 전문가 큐레이션 데이터셋: 위험에 대한 의미론적 이해를 테스트하기 위해 다양한 에이전트 유형과 프롬프트 특성을 체계적으로 다루는 542개 프롬프트 벤치마크.
3. 차별화된 접근 권장 사항: CA에 대해서는 보편적 거절을, BD에 대해서는 (검증된 연구자를 위한) 접근 제어 가능성을, RB에 대해서는 자유로운 접근을 제안하는 정책 프레임워크.
4. 공공 거절 트래커: 생물학적 안전 장치의 진전과 안정성을 추적하기 위한 프런티어 모델의 종단적 평가 메커니즘.
5. 앙상블 분석: "모델 쇼핑" 위험을 평가하여, 모델 간의 일관된 거절 정책이 모델 간의 격차를 이용한 적대적 공격을 방지하기 위해 필요함을 입증함.

5. 의의 및 주장

본 논문은 BioTIER가 "안전 대 유용성"이라는 이분법을 넘어설 수 있는 필수적인 프레임워크를 제공한다고 주장합니다. 단계적인 위험 분류 체계와 이중 구성 벤치마크를 도입함으로써, 생물학 커뮤니티에 유용하면서도 동시에 더 안전한 AI 모델을 개발할 수 있게 합니다.

저자들은 다음과 같이 주장합니다:

• 표준화가 필수적임: 현재 거절 행동의 가변성은 착취 가능한 생태계를 만듭니다. BioTIER는 최소한의 안전 기준을 설정하고 "안전 장치 차익 거래"를 방지하기 위한 공유 평가 프레임워크를 제공합니다.
• 차별화된 접근이 가능함: 데이터는 (예: CA는 보편적으로 제한하되 BD는 검증된 연구자에게 허용하는 등) 접근 정책이 세밀하다면, 유익한 과학을 광범위하게 검열하지 않고도 고위험 콘텐츠를 통제할 수 있음을 시사합니다.
• 종단적 추적이 필수적임: 관찰된 모델 행동의 시간적 드리프트는 일회성 평가가 아닌 지속적인 모니터링의 필요성을 강조합니다.

결론적으로, BioTIER는 실제 세계의 "업리프트(uplift, 사용자의 해악 능력)"를 측정하지는 않지만, 정보 접근의 경계선을 효과적으로 측정합니다. 이는 파괴적 위험을 초래할 수 있는 아주 작은 부분의 정보를 격리하고 통제함으로써, 생물학 발전에 필수적인 방대한 지식이 계속 접근 가능한 상태로 유지되도록 보장하는 도구 역할을 합니다. 저자들은 벤치마크 인식 훈련(benchmark-aware training)의 가능성과 답변 품질 점수화 및 다회차 적대적 테스트에 대한 향후 연구의 필요성 등 한계점을 인정합니다.