기술 요약: 의도와 위해성의 검증: LLM 생성 위협에 대한 통합적 방어

1. 문제 정의

대규모 언어 모델(LLM)은 대화형 애플리케이션에 점점 더 많이 배치되고 있으나, 유해하거나 기만적이거나 정책을 위반하는 출력을 유도하는 적대적 상호작용에 여전히 취약하다. 기존의 방어 메커니즘은 구조적 한계를 지닌다. 즉, 일반적으로 사용자 프롬프트(의도) 또는 생성된 응답(위해성) 중 하나만을 단독으로 분석하며, 두 가지를 결합하여 분석하지 못한다.

저자들은 "의도-위해성 분리(intent–harm separation)"라는 핵심적인 취약점을 식별했다. 많은 실제 공격에서 적대적 의도는 양호하거나, 교육적이거나, 방어적이거나, 연구 중심적인 프레이밍을 통해 프롬프트에 표현되는 반면, 실행 가능한 위해성은 생성된 응답에서만 나타난다. 반대로, 응в은 (보안 교육이나 악성코드 분석과 같은) 정당한 맥락에서 민감한 내용을 다룰 수 있지만, 이는 위해를 조장하는 것은 아니다. 단방향 방어는 여기서 실패한다. 프롬프트 전용 방어는 양호한 프레이밍으로 위장된 유해한 응답을 놓치고, 응답 전용 방어는 사용자의 의도를 추론할 수 없기 때문에 민감한 내용을 포함한 정당한 요청을 과도하게 차단한다. 이는 어느 한 쪽에서만 보았을 때 안전하지 않은 상호작용이 양호한 것으로 보이는 구조적 사각지대를 생성한다.

2. 방법론: 프롬프트-응답 검증

이러한 구조적 취약성을 해결하기 위해, 저자들은 응답이 사용자에게 전달되기 전에 사용자의 의도와 응답의 위해성을 공동으로 평가하는 보안 원칙인 **프롬프트-응답 검증(Prompt–Response Verification)**을 제안한다. 이는 생성 후 레이어로서 작동하는 검증 중심의 멀티 에이전트 방어 프레임워크를 통해 구체화된다.

프레임워크 아키텍처

이 프레임워크는 사용자 프롬프트와 LLM이 생성한 응답을 모두 입력으로 받지만, 서로 직교하는 추론 차원에 집중하는 세 가지 특화된 에이전트를 활용한다:

1. 태스크 분석가 (Task Analyst, TA): 사용자 프롬프트를 평가하여 적대적 의도를 식별한다. 요청을 다섯 가지 태스크 유형(생성형, 재생성형, 지시형, 맥락형, 멀티 턴)으로 분류하고, 정당한 사용(예: 보안 교육)과 LLM을 악의적인 생성에 이용하려는 시도를 구분한다.
2. 안전 분석가 (Safety Analyst, SA): LLM이 생성한 응답을 다섯 가지 위협 범주(탈옥, 프롬프트 인젝션, 피싱/사회 공학, 악성 코드/사이버 남용, 유해/독성 콘텐츠)에 걸쳐 평가한다. SA는 표면적인 키워드가 아닌, 위협의 실행 가능성과 심각성에 집중한다.
3. 판사 (Judge): 갈등 해결사 역할을 한다. 구조화된 2라운드 대화 프로토콜을 통해 TA와 SA의 평가를 교차 검증한다. 판사는 고위험 절차적 콘텐츠가 감지될 때 안전 일관성 결정 규칙을 적용하여 위해의 심각성을 우선시하거나, 명확한 양호한 의도가 확립되었을 때 오탐지를 줄임으로써 불일치를 해결한다.

2라운드 대화 프로토콜

에이전트들은 독립적인 검증과 교차 검증을 강제하기 위해 결정론적인 2라운드 프로토콜을 통해 상호작용한다:

• 라운드 1: TA와 SA는 서로의 추론에 접근하지 않고 독립적으로 프롬프트-응답 쌍을 평가한다. 이는 프롬프트의 적대적 프레이밍이 위해성 평가를 오염시키는 것을 방지하고, 유해한 출력이 의도 분류를 편향시키는 것을 방지한다.
• 라운드 2: 두 에이전트는 서로의 라운드 1 평가 내용을 전달받고 자신의 입장을 재정립할 기회를 갖는다. 예를 들어, SA는 "정보" 요청이 실제로는 절차적 위해를 구하는 것임을 TA가 식별할 경우 평가를 격상할 수 있으며, TA는 SA가 콘텐츠 내에서 실행 가능한 위해를 식별할 경우 분류를 수정할 수 있다.
• 최종 결정: 판사는 전체 교환 과정을 검토하고 최종 허용 또는 거부 결정을 내린다.

적응성

프레임워크는 모든 안전 로직을 모델 가중치가 아닌 시스템 지침(System Instructions, SIs)에 인코딩한다. 이를 통해 모델을 재학습하거나 새로운 데이터를 수집하지 않고도 SI 업데이트만으로 새로운 위협 범주나 전략에 적응할 수 있다. 이 아키텍처는 모델 불가지론적(model-agnostic)이며 다양한 LLM 백본에 배포될 수 있다.

3. 평가 및 결과

프레임워크는 JailbreakBench, AdvBench, PhishBots, MOCHA, HarmBench를 포함한 18개 데이터셋 설정과 5가지 위협 범주에 걸쳐 평가되었다.

주요 성능 지표

• 탐지 정확도: 프레임워크는 각 범주에서 가장 강력한 적용 가능한 베이스라인들을 일관되게 능가했다. 모든 위협 범주에서 평균 F1 점수는 0.898(가장 강력한 베이스라인)에서 0.952로 향상되었다.
• 공격 성공률 (ASR): 프레임워크는 평균 ASR을 **4.1%**로 낮추었다.
• 오탐지 (False Positives): 양호하지만 민감한 요청(예: 보안 교육, 정책 토론)에 대해, 프레임워크는 오탐지율(FPR)을 0.116(Single-Agent+CoT 베이스라인)에서 0.062로 감소시켜 과도한 차단을 크게 줄였다.
• 베이스라인과의 비교: Single-Agent+CoT 베이스라인과 비교했을 때, 전체 프레임워크는 평균 F1을 0.872에서 0.953으로 개선했다.

적응형 공격에 대한 견고성

저자들은 공격자가 검증기의 구조를 알고 개별 구성 요소를 우회하려고 시도하는(예: 의도 은폐 또는 판사 타겟 공격) 아키텍처 인지 적응형 공격에 대한 견고성을 평가했다.

• 의도 은폐 공격 하에서, 전체 프레임워크는 Single-Agent+CoT의 0.219와 비교하여 적응형 ASR을 0.073으로 낮추었다.
• 판사 타겟 공격 하에서, 프레임키는 베이스라인의 0.241과 비교하여 평균 ASR 0.089를 유지했다.
• 결과는 공격자가 의도 분석, 위해성 평가, 갈등 해결을 동시에 무력화해야 하기 때문에 프레임워크가 더 완만하게 성능이 저하됨을 보여준다.

비용 트레이드오프

프레임키는 단일 패스 베이스라인에 비해 추가적인 지연 시간과 토큰 소비(샘플당 2.81초 및 1,740 토큰)를 발생시킨다. 저자들은 불확익성이 높거나 위험도가 높은, 또는 정책적으로 민감한 상호작용에서 안전한 전달을 방지하는 것이 최우선인 경우 이 비용이 정당하다고 결론지었다.

4. 주요 기여

1. 의도-위해성 분리 식별: 본 논문은 적대적 의도(프롬프트 내)와 실행 가능한 위해(응답 내)를 분리하는 것이 기존의 단방향 방어의 구조적 한계임을 확립한다.
2. 프롬프트-응답 검증 원칙: 두 신호를 전달 전에 공동으로 검증하는 통합 보안 원칙을 제 제안하며, 이를 전문화된 역할(태스크 분석가, 안전 분석가, 판사)을 가진 멀티 에이전트 프레임워크를 통해 구현한다.
3. 통합 위협 커버리지: 프레임워크는 모델 재학습 없이도 다섯 가지 다양한 LLM 기반 위협 범주에 대해 일관된 개선을 입증한다.
4. 견고성 검증: 소거 연구(ablation studies)와 적응형 공격 평가를 통해, 구조화된 교차 검증이 단일 에이전트 추론, CoT 베이스라인, 그리고 규칙 기반 집계보다 우수하며, 양호하지만 민감한 요청에 대해 낮은 오탐지율을 유지함을 보여준다.
5. 실제 배포 경로: SI 기반 설계는 진화하는 위협에 동적으로 대응할 수 있는 모델 불가지론적 접근 방식을 제공한다.

5. 의의 및 주장

본 논문은 프롬프트-응답 검증이 진화하는 적대적 위협으로부터 LLM 애플리케이션을 보호하기 위한 실질적인 토대를 제공한다고 주장한다. 그 의의는 기존의 방어 체계가 실패하는 "구조적 사각지대", 즉 의도와 결과를 상관관계화하지 못하는 지점을 해결하는 데 있다. 의도와 위해 신호를 명시적으로 분리한 후 다시 조정함으로써, 프레임워크는 적대적 프레이밍과 의도 은폐에 덜 취약한 더욱 강력한 방어 메커니즘을 제공한다.

저자들은 이 작업을 지속적인 레드팀 활동이나 인간의 검토를 대체하는 것이 아니라, 고위험 환경에서 LLM 상호작용의 신뢰성을 높이는 보완적인 레이어로 위치시킨다. 결과는 핵심적인 이점이 단순히 여러 에이전트를 사용하는 것이 아니라, 기존 방어가 종종 붕괴시키거나 단독으로 조사하는 보안 신호를 명시적으로 분리하는 데 있음을 시사한다.