기술 요약: 자율 보안 에이전트에서의 안전 정렬 효과 측정

문제 제기

현재 대규모 언어 모델 (LLM) 에 대한 안전성 평가는 주로 단일 회차 거절 벤치마크에 의존합니다. 이러한 지표는 모델이 개방형 채팅에서 유해한 콘텐츠를 생성하지 않는지 여부를 측정합니다. 그러나 LLM 이 권한이 부여된 샌드박스 내에서 리포지토리를 검사하고, 도구를 실행하며, 취약점을 검증하는 자율 보안 에이전트로 전환됨에 따라, 단일 회차 거절률은 안전성과 능력을 위한 불충분한 대리 지표가 됩니다.

권한이 부여된 에이전트 워크플로우에서 방어적 작업을 완료하는 데 필요한 "유해한" 세부 사항 (예: 취약한 함수의 로컬라이제이션, 샌드박스 내 도달 가능성 증명, 패치 검증) 은 채팅 컨텍스트의 공격 벡터와 구별하기 어려울 수 있습니다. 이러한 환경에서의 모델 수준의 거절은 이미 주변 시스템에 의해 제약되고 권한이 부여된 합법적인 방어 워크플로우를 중단시킬 수 있습니다. 본 논문은 안전 정렬이 다중 회차 샌드박싱 보안 에이전트에서 종단 간 작업 완료, 증거 기반, 그리고 도구 신뢰성에 미치는 영향을 이해하는 데 존재하는 격차를 다루고 있습니다.

방법론

저자들은 통제된 조건 하에서 자율 보안 에이전트를 평가하도록 설계된 추적 기반 벤치마크를 제시합니다. 평가 프레임워크는 다음을 포함합니다:

• 작업 세트: 취약점 로컬라이제이션, 도달 가능성 검증, 트리거 증명, 패치 검증, 보안 보고서 작성을 위한 5 가지 클래스로 나뉜 30 개의 로컬 샌드박싱 보안 작업. 각 작업은 기계 판독 가능한 매니페스트, 결정론적 성공 술어, 삭제 규칙, 그리고 특정 증거 기반 목표 (예상 파일, 심볼, 이슈 용어) 를 포함합니다.
• 모델 쌍: "정렬된"(공식 지시 튜닝) 모델과 "제한이 덜한"(검열되지 않거나 제거된) 파생 모델을 비교한 네 가지 모델 쌍:
  • Gemma 4 31B: 공식 대 서드파티 검열되지 않은 버전.
  • Gemma 4 26B A4B: 공식 대 서드파티 검열되지 않은 버전.
  • Qwen2.5-Coder 7B: 공식 대 제거된 (abliterated) 파생 버전.
  • Llama 3.1 8B: 공식 대 제거된 (abliterated) 파생 버전.
  • 참고: Gemma 31B 평가에는 정렬된 모델에 대해 "권한이 부여된" 및 "자일브레이크 스타일" 프롬프트 조건도 포함되었습니다.
• 에이전트 하네스: 로컬 샌드박스에서 작업을 실행하는 공유 Python 컨트롤러. 이는 고정된 예산, 도구 권한, 결정론적 시드를 강제합니다. 하네스는 파일 나열 반복과 같은 파일럿 실행에서 관찰된 인터페이스 실패를 완화하기 위해 "수리 컨트롤러" 모드를 사용합니다.
• 지표:
  • 종단 간 성공: 최종 산출물이 작업 술어를 만족하는지 여부에 대한 결정론적 확인.
  • 증거 기반: 최종 산출물에서 예상 파일을 읽었는지와 예상 심볼/이슈를 명시했는지에 기반한 점수 (0~5).
  • 실패 모드: 거절, 억제된 행동, 안전하지 않은 행동, 도구 실패, 능력 실패를 구분하는 레이블.
• 통제: 보안 특이적 정렬 효과를 일반 능력 차이와 구분하기 위해 800 개의 비보안 추적 (건전성 검사 및 표준 코딩 작업) 이 실행되었습니다.

주요 기여

1. 시스템 수준 벤치마크: 고정된 도구, 결정론적 성공 확인, 거절을 도구/로컬라이제이션/기반 실패와 분리하는 추적 레이블을 갖춘 30 작업 로컬 보안 에이전트 벤치마크 도입.
2. 크로스 패밀리 평가: 작업, 시드, 백엔드를 통제하면서 정렬된 대 제한이 덜한 조건 하에서 네 가지 모델 패밀리 (Gemma, Qwen, Llama) 를 엄격하게 비교.
3. 안전 신호의 정제: 가시적인 거절률만으로는 보안 컨텍스트에서의 에이전트 행동을 설명할 수 없음을 입증. 본 연구는 증거 기반, 모델 능력, 파생 버전의 출처, 그리고 도구 인터페이스 신뢰성의 결정적 역할을 강조합니다.

결과

결과는 안전 정렬의 영향이 모델 패밀리와 "제한이 덜한" 파생 버전의 구체적인 성격에 크게 의존함을 보여줍니다:

• Gemma 쌍 (31B 및 26B): 제한이 덜한 파생 버전은 보안 작업 성공률과 기반 점수에서 상당한 향상을 보였습니다.
  • Gemma 31B: 성공률이 0.7% (정렬된) 에서 14.0% (제한이 덜한) 로 증가했습니다. 기반 점수는 3.27 에서 3.91 로 향상되었습니다. 주목할 점은 정렬된 모델이 거절, 억제된 행동, 또는 안전하지 않은 행동 비율이 0.0% 였다는 것으로, 실패는 거절 때문이 아니라 기반된 산출물 생산 부족 때문임을 나타냅니다.
  • Gemma 26B: 성공률이 0.0% 에서 10.7% 로 증가했으며, 기반은 1.64 에서 4.12 로 향상되었습니다. 그러나 제한이 덜한 26B 파생 버전은 5.3% 의 안전하지 않은 행동 비율을 보였습니다.
• Qwen2.5-Coder 7B: 제한이 덜한 파생 버전은 정렬된 모델보다 더 나쁜 성능을 보였습니다 (성공률 2.0% 대 5.3%), 기반 차이는 미미했습니다.
• Llama 3.1 8B: 제거된 (abliterated) 파생 버전은 도구 프로토콜을 효과적으로 따르지 못해 0.0% 의 성공률과 0.21 에 가까운 기반 점수를 기록했으며, 정렬된 모델은 3.3% 의 성공률을 보였습니다.
• 난이도 높은 작업: 모든 패밀리에서 트리거 증명 및 패치 검증이 필요한 난이도 높은 작업은 해결되지 않았습니다 (0% 성공).
• 통제: Gemma 의 제한이 덜한 파생 버전은 비보안 코딩 통제에서도 정렬된 대응물보다 우월한 성능을 보여, 성능 격차가 보안 작업에만 국한된 것이 아니라 더 넓은 능력/기반 차이를 반영함을 시사합니다.

중요성과 주장

본 논문은 자율 보안 에이전트에서의 안전 정렬 효과는 전사 수준 거절률에만 의존하지 않고 시스템 수준에서 측정되어야 한다고 주장합니다.

• 거절이 유일한 메커니즘이 아님: Gemma 31B 사례에서 정렬된 모델은 거절하지 않았습니다. 단순히 작업이 요구하는 구체적이고 기반된 증거를 생산하지 못했을 뿐입니다.
• 파생 버전 출처의 중요성: "제한이 덜한" 것이 보편적인 개선은 아닙니다. 검열되지 않은 Gemma 파생 버전은 향상을 보인 반면, 제거된 Qwen 및 Llama 파생 버전은 도구 신뢰성 저하와 더 낮은 성공률을 보였습니다.
• 시스템 경계 평가: 안전성 평가는 권한 부여, 도구 권한, 추적 검토, 그리고 증거 확인이 관찰 가능한 시스템 경계에서 이루어져야 합니다. 모델은 채팅 컨텍스트에서는 "안전"할 수 있지만 권한이 부여된 방어 작업을 수행하지 못하거나, 반대로 "제한이 덜한" 모델은 작업에 성공할 수 있지만 안전하지 않은 행동을 도입할 수 있습니다.
• 이중 사용 컨텍스트: 저자들은 이것이 이중 사용 연구임을 강조합니다. 평가는 제 3 자 대상이 없는 로컬, 알려진 결함 작업을 사용합니다. 연구 결과는 정렬을 제거해야 한다고 주장하는 것이 아니라, 안전 통제가 전체 에이전트 시스템이 유효하고 기반된 방어 증거를 생산하는 능력에 미치는 영향에 기반하여 평가되어야 함을 시사합니다.

본 논문은 "적절한 평가 대상"은 거절 행동이 아니라 전체 시스템 (모델, 도구, 권한 부여, 추적 증거) 이라고 결론지었습니다.