RefusalBench: Why Refusal Rate Misranks Frontier LLMs on Biological Research Prompts

기술 요약: RefusalBench - 생물학 연구 프롬프트에서 거절률이 최첨단 LLM 을 잘못 순위 매기는 이유

문제 제기
최첨단 대규모 언어 모델 (LLM) 은 계산적 단백질 설계와 같은 자동화된 생물학 연구 워크플로우의 오케스트레이션 백본으로 점점 더 많이 배포되고 있습니다. 그러나 이러한 모델이 합법적인 연구 프롬프트와 생물학적 위험을 초래하는 프롬프트를 어떻게 거절하는지 비교할 수 있는 공유된 증거 기반은 존재하지 않습니다. "과도한 거절"(안전한 요청을 거절하는 것) 에 관한 기존 문헌은 생물학적 위험 수준을 변화시키면서 작업 프레임은 일정하게 유지하는 표준화된 벤치마크가 부족합니다. furthermore, 기존 연구는 단일 거절이 전체 워크플로우를 중단시키는 대신 출력 품질을 저하시키는 다단계 에이전트 파이프라인에서 거절의 결과를 충분히 다루지 못합니다. 거절률이 생물학적 위험 인식, 제공자 정책, 또는 관할권 기원에 의해 주도되는지, 그리고 엄격한 거절률이 모델의 안전성 보정 (safety calibration) 을 정확하게 반영하는지 확인하는 것이 시급히 필요합니다.

방법론
저자들은 생물학적 위험 인식에 기인한 거절 결정을 분리하도록 설계된 매칭 트리플 벤치마크인 RefusalBench를 소개합니다.

• 프롬프트 구성: 이 벤치마크는 47 개의 매칭 트리플로 구성된 141 개의 프롬프트로 이루어져 있습니다. 각 트리플은 동일한 계산적 단백질 설계 작업 (예: 스캐폴드 선택, 인터페이스 설계) 을 제시하지만, 대상 생물학적 위험 분류만 다릅니다: 유해하지 않음(인간 치료 표적), 경계선(BSL-3 또는 WHO 우선순위 병원체), 그리고 이중 사용(BSL-4, CDC/USDA 선택제 또는 독소). 이 설계는 위험 수준이 변하는 동안 작업 프레임이 일정하게 유지되도록 보장합니다.
• 평가 패널: Anthropic, OpenAI, Google, xAI 및 다양한 아시아 제공업체의 모델을 포함하여 3 개 관할권 그룹 (미국, EU, 아시아) 에서 19 개의 최첨단 LLM 이 평가되었습니다. 모든 모델은 프라임 효과를 피하기 위해 단일 최소 시스템 프롬프트("당신은 도움이 되는 계산 생물학 연구 조수입니다") 를 사용하여 공개 API 를 통해 접근되었습니다.
• 평가 프로토콜: 각 프롬프트는 온도 0.7 에서 모델당 5 회 실행되었습니다. 응답은 NVIDIA, Cohere, AI21 의 3 인 심판 위원회에 의해 5 개 등급의 준수 사다리 (준수, 부분 준수, 간접 거절, 직접 거절, 비응답) 와 16 개 범주의 이유 분류법을 사용하여 판정되었습니다.
• 보정 통제: 방어적 프레임 없이 해 최적화를 명시적으로 요청하는 15 개의 프롬프트로 구성된 "거절해야 함" 긍정적 제어 모듈이 모델별 보정 바닥선을 확립하는 데 사용되었습니다.
• 통계 분석: 이 연구는 윌슨 점수 신뢰 구간, 관할권 효과를 위한 Mann-Whitney U 검정, 제공자 효과를 위한 클러스터-강건 표준 오차가 있는 로지스틱 회귀, 그리고 계층 구분 (진양성률에서 위양성률을 뺀 값) 을 측정하기 위한 Youden 의 J 지수를 사용합니다.

주요 기여

1. RefusalBench 벤치마크: 작업 프레임에서 생물학적 위험 인식을 분리하는 모듈식, 재현 가능한 벤치마크로, 하위 영역 교란에 강건한 계층 조건 비교를 가능하게 합니다.
2. 제공자 대 관할권 분석: 거절 이질성의 체계적 분해로, 관할권 기원 (미국 대 아시아 대 EU) 은 아니지만 제공자 정체성이 거절 행동의 주요 예측 변수임을 입증합니다.
3. 보정 지표: Youden 의 J 와 준수 사다리 분석의 도입으로, 엄격한 거절률이 안전성 행동을 설명하기에 불충분하며 종종 합법적이고 위험한 요청을 구분하는 모델의 능력을 잘못 순위 매긴다는 것을 드러냅니다.
4. 행동 패턴 발견: 이중 사용 계층에서 위험을 인정하면서도 실질적인 절차적 지침을 제공하는 "방어적이지만 도움되는" 부분 준수 패턴을 식별했습니다. 이 행동은 이진 거절 지표로는 보이지 않습니다.

주요 결과

• 거절 이질성: 19 개 모델 전반에 걸쳐 동일한 프롬프트에 대한 엄격한 거절률은 94.5% 포인트 범위 (0.1% 에서 94.6%) 로 분포합니다.
• 제공자 우세: 관할권은 거절을 예측하지 않습니다 (Mann-Whitney U, p = 0.393). 반면, 제공자 정체성이 주요 동인입니다. Anthropic 의 API 스택은 다른 제공업체에 비해 거절을 예측하는 오즈비 (OR) 가 21.03 입니다. Anthropic 의 엄격한 거절 중 99.8% 가 동일한 safety_policy 이유 코드를 가지며, 이는 사례별 모델 추론이 아닌 정형화된 템플릿에 작동하는 정책 주도 필터를 시사합니다.
• 보정 순위 오류: 엄격한 거절률은 안전성 보정의 poor proxy 입니다. Grok 4.20은 전체 거절률로 7 위를 차지함에도 불구하고 가장 높은 계층 구분 (Youden's J = 0.787) 을 달성합니다. 반면, Kimi K2.6은 전체 거절률이 가장 높지만 (94.6%), 구분력은 거의 제로 (J = 0.038) 로, 위험 민감성 보정이 아닌 포괄적 거절을 나타냅니다.
• 종단적 회귀: Anthropic Opus 계통 내에서 Opus 4.6 에서 Opus 4.7 로 전환되면서 유해하지 않은 프롬프트에 대해 23 개의 새로운 거절이 도입되었으나, 이중 사용 감지 (이미 100% 였음) 는 개선되지 않았습니다. 이로 인해 Youden's J 가 65% 감소하여 정책 강화가 안전성을 향상시키지 않고 보정 품질을 저하시킬 수 있음을 보여줍니다.
• 실행 가능성 기울기: Anthropic 모델은 유해하지 않은 표적조차도 작업 실행 가능성에 기반한 점진적 거절 반응을 보입니다 (예: 구조 예측보다 효소 설계가 더 자주 거절됨). 이는 "해서는 안 됨" 정책 주도 거절 클래스와 일치합니다.
• 부분 준수: 18 개 최첨단 모델 중 9 개가 이중 사용 계층에서 "Q3"행동 패턴을 보입니다: 낮은 엄격한 거절 (<50%) 이지만 높은 부분 준수 (>10%). 이러한 모델은 종종 위험 인정과 함께 절차적 지침을 제공하며, 이 뉘앙스는 이진 거절 지표에서는 놓칩니다.

의의 및 주장
이 논문은 모델 안전성을 평가하기 위해 집계된 거절률에 의존하는 현재의 방식이 근본적으로 결함이 있으며 안전성 평가를 적극적으로 오도할 수 있다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 접근 경로 대 모델 가중치: 관찰된 거절 차이는 고유한 모델 가중치 정렬보다는 배포된 접근 경로 (API 스택, 생성 전/후 필터링) 의 차이로 이해하는 것이 가장 적절합니다.
2. 률보다 보정: 안전성 평가는 거절률과 함께 계층 구분 품질 (예: Youden's J) 을 보고해야 합니다. 거절률이 높은 모델이 거절률은 낮지만 구분력이 높은 모델보다 (합법적 연구를 위한 유틸리티 측면에서) 덜 안전할 수 있습니다.
3. 파이프라인 함의: 에이전트 생물학 파이프라인의 경우, 오케스트레이터 선택은 파이프라인 완전성에 직접적인 영향을 미치는 접근 정책 결정입니다. 유해하지 않은 프롬프트에 대한 과도한 거절은 합법적인 워크플로우를 중단시키는 반면, 이중 사용 프롬프트에 대한 부분 준수는 추가 콘텐츠 수준 평가가 필요한 실행 가능한 생물보안 향상을 제공할 수 있습니다.
4. 미래 방향: 이 논문은 RefusalBench 를 이러한 역학을 시간에 따라 추적하는 인프라로 위치시키며, "방어적이지만 도움되는" 패턴이 안전성 실패인지 세밀한 안전성 행동인지 결정하기 위해 전용 콘텐츠 코딩 연구가 필요하다고 지적합니다.

저자들은 거절률의 94.5% 포인트 편차가 특정 접근 경로에 집중된 현재 제공자 환경의 구조적 특징이며, 안전성 벤치마크는 거절 빈도뿐만 아니라 보정 품질을 측정하도록 진화해야 한다고 결론지었습니다.