🤖 AI

SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI

이 논문은 형식 검증과 포괄적인 심층 방어 프레임워크를 통해 파멸적 위험 완화를 우선시하며, 주요 AI 스냅샷 간의 특정 성능 대비와 낮은 유해 준수율을 입증하는 다중 모델 연구를 통해 검증된, 고영향 생성형 AI를 위한 안전 우선 및 권한 분리 아키텍처인 SAGE를 소개한다.

원저자: Mahdi Eslamimehr

게시일 2026-07-28

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Mahdi Eslamimehr

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

도약 전의 안전망

당신이 코드를 작성하거나, 의학적 조언을 주거나, 복잡한 과학을 설명할 수 있는 로봇을 만들고 있다고 상상해 보십시오. 이것이 바로 생성형 AI의 세계입니다. 생성-형 AI는 단순히 오래된 답을 찾는 것이 아니라 새로운 콘텐츠를 만들어내는 기술입니다. 하지만 여기에는 함정이 있습니다. 만약 이 로봇이 너무 창의적으로 변한다면, 실수로 누군가가 폭탄을 만들거나, 은행을 해킹하거나, 위험한 거짓 정보를 퍼뜨리는 것을 도울 수도 있습니다. 이는 단순히 로봇이 "무례하게" 구는 문제가 아닙니다. 이것은 **치명적인 해악(catastrophic harm)**을 방지하는 데 관한 문제입니다.

이를 막기 위해 과학자들은 **가드레일(Guardrails)**을 사용합니다. 이것을 로봇을 위한 도로 위의 규칙이라고 생각하십시오. 보통 가드레일은 클럽 입구에서 신분증을 확인하는 보안 요원과 같습니다. 수상해 보이면 들어올 수 없습니다. 하지만 보안 요원이 무언가를 놓친다면 어떻게 될까요? 로봇이 뒷문(back door)을 찾아낸다면요? 여기서 **심층 방어(Defense-in-Depth)**라는 개념이 등장합니다. 단 하나의 보안 요원에만 의존하는 대신, 울타리, 해자, 경비견, 그리고 내부의 두 번째 보안 요원을 두는 것입니다. 하나의 단계가 실패하더라도 다음 단계가 문제를 잡아낼 수 있도록 안전을 겹겹이 쌓는 것입니다.

모두가 던지는 큰 질문은 이것입니다. 어떤 로봇이 실제로 가장 안전한가? 가장 자주 "안 돼"라고 말하는 로봇이 최고일까요, 아니면 나쁜 일에는 "안 돼"라고 말하면서도 좋은 일에는 여전히 도움을 주는 로봇이 최고일까요? 우리는 이 로봇들을 단순히 규칙을 얼마나 잘 따르는지가 아니라, 제작부터 사용에 이르기까지의 전체 여정을 어떻게 처리하는지, 즉 속도나 이익보다 안전을 최우선으로 하는지를 테스트할 방법이 필요합니다.

SAGE 시스템: 안전 우선의 슈퍼 구조체

SAGE(검증된 라이프사이클 제어를 위한 안전 우선 심층 방어 가드레일)를 만나보십시오. SAGE를 단순한 규칙 목록이 아니라, AI를 위한 고도의 기술이 집약된 깨지지 않는 안전 금고라고 생각하십시오. 저자인 Quandary Peak Research의 연구원들은 안전이 사후 처리가 되어서는 안 되며, 단순한 필터여서도 안 된다고 주장합니다. 대신, 안전이 '보스'가 되어야 합니다.

당신이 매우 진지한 과학 실험을 수행하고 있다고 상상해 보십시오. 기계를 켜기도 전에 당신은 **릴리스 매니페스트(Release Manifest)**에 서명해야 합니다. 이것은 마치 마법 같으면서도 조작이 불가능한 계약서와 같아서, "우리는 이 기계를 점검했고, 악당들에 맞서 테스트를 마쳤으며, 이 기계가 폭발하지 않을 것임을 약속한다"라고 명시합니다. 만약 기계가 아주 조금이라도 변한다면, 이 계약은 깨지게 되고 기계는 작동을 멈춥니다. SAGE는 이러한 서명된 매니페스트를 사용하여 오직 안전한 버전의 AI만이 실행될 수 있도록 보장합니다.

AI가 실행되는 동안, SAGE는 초능력을 가진 교통경찰처럼 행동합니다. SAGE는 당신이 던진 질문만 보는 것이 아니라, 그 답변의 위험성을 봅니다.

안전 게이트(The Safety Gate): 만약 AI가 어떤 답변이 누군가에게 끔찍한 일(사이버 공격이나 화학 무기 등)을 하는 데 도움이 될 수 있다고 판단하면, 게이트를 쾅 닫아버립니다. 그 답변이 아무리 유용하거나 빠르더라도, 위험하다면 단호한 "안 돼"를 외칩니다.
안전 그물(The Safety Net): 만약 AI가 확신이 서지 않는다면, 추측하지 않습니다. 대신 "안전 모드"로 전환하여, 지루하지만 안전한 답변을 내놓거나 먼저 인간의 확인을 요청합니다.
타임머신(The Time Machine): AI가 작업하는 동안 문제가 발생하면, SAGE에는 롤백(Rollback) 버튼이 있습니다. 이것은 비디오 게임의 "되돌리기(undo)" 기능과 같아서, 실수가 발생하기 전의 안전하고 알려진 상태로 시스템을 즉시 되돌립니다.

로봇 대결: 연구 결과

이 시스템이 실제 세상에서 얼마나 잘 작동하는지 확인하기 위해, 연구진은 거대하고 냉정한 테스트를 설정했습니다. 그들은 로봇에게 질문 하나만 던진 것이 아니라, 84가지의 구체적이고 까다로운 사례를 10가지 서로 다른 AI 스냅샷(OpenAI, Anthropic, Google의 모델 버전들)에 보냈습니다. 그들은 모든 로봇을 동일한 트랙에서 동시에 달리는 공정한 경주처럼 똑같이 대우했습니다.

연구 결과는 다음과 같습니다:

"안 돼"라고 말하는 것만이 전부가 아니다: 많은 이들이 가장 안전한 AI는 모든 것에 답변을 거부하는 것이라고 생각합니다. 하지만 연구에 결과에 따르면, "가장 안전한" 로봇은 나쁜 요청에는 "안 돼"라고 말할 수 있으면서도, 도움이 되고 해롭지 않은 요청에는 여전히 "응"이라고 말할 수 있는 로직을 가진 로봇이었습니다.
승자들: 상위 성적을 거둔 모델은 Claude Haiku 4.5, Claude Sonnet 4.6, 그리고 두 버전의 Gemini였습니다. 이 모델들은 위험을 감지하고 거절하는 능력이 매우 뛰어났으며, 동시에 일반적인 질문에는 매우 유용했습니다. 이들은 안전성과 유용성을 결합한 '균형 잡힌 가드레일 점수(Balanced Guardrail Score)'에서 거의 완벽에 가까운 0.99에서 1.00 사이의 점수를 받았습니다.
고전한 모델들: GPT-5 mini와 GPT-5 nano 모델들은 여전히 매우 안전했지만(위험한 답변을 거의 내놓지 않았습니다), 다소 서툴렀습니다. 이들은 해롭지 않은 질문에도 답변을 거부하는 경우가 더 많았고, 안전한 대안을 제시하려고 할 때도 그 능력이 떨어졌습니다. 이들의 점수는 0.84에서 0.86 정도로 더 낮았습니다.
놀라운 점: 승자와 패자의 가장 큰 차이점은 패자가 위험했다는 것이 아닙니다. 패자들도 사실 꽤 안전했습니다! 차이점은 승자들이 더 유용했고, 사람들을 안전한 주제로 더 잘 유도했다는 점이었습니다.

논문이 말하는 것 (그리고 말하지 않는 것)

연구진은 완전한 승리를 선언하지 않도록 매우 주의를 기울였습니다. 그들은 일부 로봇이 이 특정 테스트에서 분명히 더 나은 모습을 보였지만, 실제로 해를 끼치는 것을 방지하는 측면에서는 그 차이가 엄청나게 크지는 않았다는 것을 발견했습니다. 실제로 가장 위험한 질문들에 대해서는 거의 모든 로봇이 "안 돼"라고 말하며 잘 대처했습니다.

하지만 논문은 다음 몇 가지 사항을 명시적으로 제외합니다:

최종 순위가 아님: "OpenAI가 최악이다"라거나 "Anthropic이 최고다"라고 영원히 단정 지을 수 없습니다. 이것들은 특정 날짜의 특정 버전에 대한 스냅샷일 뿐입니다.
보증이 아님: 이 연구는 각 로봇에게 질문을 한 번씩만 던졌습니다. 실제 세상에서 악의적인 행위자들은 수천 가지의 트릭을 시도할 수 있습니다. 논문은 이번 테스트에서 "해로운 순응(harmful compliance, 로봇이 실제로 나쁜 짓을 하게 되는 빈도)"이 매우 낮았음을 인정하지만, 이것이 더 복잡한 실제 상황에서 로봇이 실패할 가능성이 없다는 뜻은 아닙니다.
마법의 방패가 아님: SAGE 시스템은 청사진입니다. 이것은 안전한 AI를 구축하는 방법에 대한 지침 세트이지, 이 논문이 이 시스템을 실제로 운영하여 기업을 돌렸다는 뜻은 아닙니다. 이것은 설계도이지 완성된 제품이 아닙니다.

핵심 요약

주요 시사점은 안전이란 단순히 모든 것에 "안 돼"라고 말하는 까칠한 로봇이 되는 것이 아니라는 점입니다. 최고의 안전 시스템은 AI가 시작하기 전에 점검하고, 작동하는 동안 감시하며, 실수가 생겼을 때 해결할 계획을 갖춘 계층화된 요새입니다.

이 연구는 최고의 AI 모델이란 똑똑하고 유용하면서도 동시에 위험하지 않은 모델이라는 점을 시사합니다. 가장 높은 점수를 받은 로봇들은 나쁜 요청과 좋은 요청을 구분할 줄 알았으며, 나쁜 요청은 단호하게 거절하면서도 좋은 요청에는 친절하고 유용하게 반응하는 모델들이었습니다. 논문은 우리가 계속해서 테스트하고, 안전망을 겹겹이 쌓아야 하며, 로봇이 단 한 번의 테스트를 통과했다고 해서 곧바로 실제 세상에 투입될 준비가 되었다고 가정해서는 안 된다고 결론짓습니다. 안전은 목적지가 아니라 여정입니다.

기술 요약: SAGE – 고영향 생성형 AI의 검증된 라이프사이클 제어를 위한 안전 우선 심층 방어 가드레일

문제 정의
본 논문은 고영향 생성형 AI(예: 테러리즘, 사이버 공격, 생물학적 위협)의 파멸적인 오용을 방지하는 데 있어 매우 중요한 과제를 다룹니다. 저자들은 안전이 단순히 프롬프트 필터링의 문제가 아니라 라이프사이클 제어의 문제라고 주장합니다. 현재의 접근 방식은 종종 안전을 유용성이나 지연 시간과의 트레이드오프(trade-off) 문제로 취급합니다. 저자들은 고위험 애플리케이션의 경우, "파멸적 조력(catastrophic enablement)"의 방지가 다른 모든 목적에 앞서는 엄격한 제약 조건이 되어야 한다고 상정합니다. 나아가, 안전 메커니즘은 콘텐츠의 위험성과 사용자의 의도를 혼동해서는 안 되며, 보수적인 응답 제어가 독립적인 인간의 승인 없이 자동으로 감시나 외부 보고를 트리거하지 않도록 보장해야 합니다.

방법론: SAGE 아키텍처
본 논문은 신뢰할 수 있는 파멸적 조력 위험에 기반하여 허용 가능성을 제한하도록 설계된, 안전 우선 및 권한 분리 아키텍처인 SAGE를 제안합니다. 이 프레임워크는 형식 검증(formal verification), 런타임 모니터링, 그리고 서명된 릴리스 매니페스트(signed release manifest)를 통합합니다.

형식적 프레임워크 및 위험 모델링:
- 행동 공간(Action Space): 시스템은 정상적인 답변부터 내부 검토 및 승인된 사고 프로세스에 이르기까지 $A = \{G_0, G_1, G_2, G_3, G_4\}$ 의 사전적(lexicographic) 행동 집합을 정의합니다.
- 강건한 위험( $K$ ): 시스템은 사후 확률의 모호성 집합 $\Pi(e)$ 를 사용하여 강건한 기본 위험 $K(g|e)$ 를 계산합니다. 이는 보정된 증거와 선언된 분포 변화 허용 오차( $\epsilon_e$ )를 고려합니다. 정책은 $K(g|e)$ 가 안전 상한선 $\kappa(e)$ 미만인 행동 집합 내에서만 이차적 손실(유용성, 개인정보 보호, 지연)을 최소화하는 행동을 선택합니다.
- 심층 방어 경계(Defense-in-Depth Bounds): 본 논문은 탐지기 미검출률(miss rates)에 대한 형식적 경계를 도출합니다. 독립적인 탐지기 하에서는 실패 확률이 개별 미검출 확률의 곱임을 입증합니다. 결정적으로, 저자들은 공통 원인 의존성 경계(Proposition 4)를 도입하여, 공통 모드 성능 저하 이벤트가 발생할 확률이 $\gamma$ 일 때, 결합 미검출 확률은 레이어의 수와 관계없이 $\gamma$ 미만으로 인증될 수 없음을 보여줍니다. 이는 탐지기, 학습 데이터, 그리고 정책 의존성에서의 다양성을 필요로 합니다.
- 권한 컷오프(Authorization Cut): 형식적 정리(Theorem 4)는 상태 전이 그래프가 구조적으로 제약되어 있다면, 권한이 없는 구성 요소(예: 분류기)가 권한이 있는 상태(예: 외부 공개)에 도달할 수 없음을 증립합니다. 이는 분류기가 예외적인 권한을 "발행(minting)"하는 것을 방지합니다.
라이프사이클 제어 및 릴리스 매니페스트:
- 서명된 매니페스트: 모든 릴리스 후보는 모델 해시, 위험 임계값, 준비 비트, 만료 날짜를 포함하는 서명된 매니페스트에 결합됩니다.
- 단조적 게이팅(Monotone Gating): 릴리스 술어는 단조적입니다. 즉, 위험 상한선을 강화하거나 차단 항목을 추가하는 것은 릴리스를 부적격하게 만들 수는 있으나, 적격하게 만들 수는 없습니다.
- 런타임 강제 실행: 런타임 시 시스템은 인증된 인그레스(ingress), 다양한 탐지기, 그리고 출력 검사를 사용합니다. 위험 임계값이 초과되면 시스템은 서비스를 제한하거나, 도구를 비활성화하거나, 안전한 폴백(fallback)을 호출하거나, 이전 승인된 아티팩트로 롤백할 수 있습니다.
- 삼항 모니터링(Three-Valued Monitoring): 런타임 모니터는 시계열 속성을 참(True), 거짓(False), 또는 알 수 없음(?)으로 평가하여, 트레이스의 무한한 연속이 확실히 안전하거나 안전하지 않을 때만 결정이 내려지도록 보장합니다.
경험적 평가 프로토토콜:
- 고정된 프로토콜(Frozen Protocol): 본 연구는 10개의 모델 스냅샷(OpenAI GPT-5 시리즈, Anthropic Claude 4.5/4.6/4.7 시리즈, Google Gemini 3/3.1 시리즈)을 테스트하기 위해 고정된 벤더 대칭 프로토콜을 사용했습니다.
- 데이터셋: 제공자 오류 및 불완전한 판단을 필터링한 후, 375개의 고유한 응답을 포함하여 총 840회의 호출(스냅샷당 84회)이 수행되었습니다. 데이터셋에는 직접적인 유해 요청, 양호하지만 민감해 보이는 프롬프트, 그리고 견고성 래퍼(robustness wrappers)가 포함되었습니다.
- 지표: 연구는 유해 준수 점수(HCS), 양호한 유용성(BU), 재지시 전달력(RD), 과잉 거부율(ORR)을 측정했습니다. 이들은 균형 잡힌 가드레일 점수(BGS)로 결합되었습니다.
- 판단(Judging): 응답은 엄격한 루브릭을 사용하여 타겟 패밀리가 아닌 블라인드 처리된 비-타겟 모델들에 의해 판단되었습니다. 프로토콜의 일관성을 유지하기 위해 인간의 판정을 명시적으로 피했으며, 이를 한계점으로 인정했습니다.

주요 결과

유해 준수(Harmful Compliance): 관찰된 유해 준수 추정치는 모든 모델에서 0.0000에서 0.0333 사이로 낮게 나타났습니다.
차별화 동인: 모델 간의 주요 차이점은 유해 준수(모두 균일하게 낮음)가 아니라, 양호한 유용성과 안전한 재지시에서 나타났습니다.
- 상위 성능 모델(예: Claude Haiku 4.5, Claude Sonnet 4.6, Gemini 3 Flash)은 완벽에 가까운 재지시와 높은 유용성을 달了했습니다.
- 하위 성능 모델(예: GPT-5 mini, GPT-5 nano)은 낮은 유해 준수율을 유지했음에도 불구하고, 재지시 품질과 양호한 유용성이 현저히 낮았습니다.
통계적 유의성: 다중 비교 교정(Holm correction) 후, 특정 쌍(예: Claude Haiku 4.5 vs. GPT-5 nano) 사이에서 유의미한 차이가 발견되었으나, Claude/Gemini 스냅샷과 GPT-5 또는 GPT-5.5 간의 테스트된 대조는 교정을 통과하지 못했습니다.
커버리지 문제: 두 개의 스냅샷(Claude Opus 4.6 및 4.7)은 판단 레이어에서 완전한 도메인 커버리지를 확보하지 못해 BGS를 추정할 수 없었습니다. 이는 타겟 모델의 동작이 아닌 판단 레이어의 실패로 간주되었습니다.
형식 검증: 두 개의 PRISM 추상화는 권한 분리와 라이프사이클 불변성을 검증하였으며, 지정된 구조적 가정 하에서 권한 없는 구성 요소가 권한 있는 공개 상태에 도달할 수 없음을 확인했습니다.

의의 및 주장
본 논문은 자신의 주요 기여가 리더보드나 보편적인 순위가 아니라 예방적 제어 아키텍처임을 명시합니다.

안전 우선 아키텍처: SAGE는 파멸적 위험 제한이 사전적 정책을 통해 일차적 제약 조건이 될 수 있음을 입증하며, 유용성은 오직 안전이 확보된 행동 내에서만 최적화됩니다.
심층 방어의 한계: 형식적 결과는 측정된 다양성 없이는 방어 레이어를 추가하는 것만으로는 불충분함을 강조합니다. 공통 원인 실패는 여러 레이어를 무용하게 만들 수 있습니다.
권한 분리: 프레임워크는 보수적인 응답 제어를 예외적인 조직적 행동과 성공적으로 분리하여, 안전 필터가 자동으로 악의적 의도를 추론하거나 외부 보고를 트리로 하지 않도록 보장합니다.
겸손한 경험적 주장: 저자들은 관찰된 낮은 유해 준수 범위(0.0000–0.0333)가 도구, 히스토리, 또는 적응형 탈옥 없이 단일 생성 단계만을 반영한 보수적이고 프로토콜에 묶인 관점임을 강조합니다. 저자들은 이것이 운영 지원 능력의 상한선이 아님을 명시적으로 밝힙니다.
배포 인증 불가: 본 논문은 어떤 벤치마크도 배포를 인증하지 않는다고 결론짓습니다. 관찰된 결과는 엔드포인트 및 스냅샷에 국한됩니다. 이러한 임계값을 충족하는 모델이라 할지라도 배포 전에 더 광범위한 적대적 테스트, 다회차 감사, 그리고 인간의 능력을 높이는(human-uplift) 연구를 거쳐야 합니다.

본 논문은 탐지기의 정확성에만 의존하는 것이 아니라, 서명된 매니페스트, 형식적 불변성, 그리고 엄격한 권한 컷오프를 통해 안전을 강제하는 "심층 방어" 라이프사이클의 청사진 역할을 합니다.

도약 전의 안전망

SAGE 시스템: 안전 우선의 슈퍼 구조체

로봇 대결: 연구 결과

논문이 말하는 것 (그리고 말하지 않는 것)

핵심 요약

유사한 논문