Evolving and Detecting Multi-Turn Deception using Geometric Signatures

기술 요약: 기하학적 서명을 활용한 다중 턴 기만의 진화 및 탐지

문제 제기
현재 대규모 언어 모델 (LLM) 에 대한 안전 방어 체계는 주로 단일 턴 프롬프트를 기반으로 훈련 및 평가됩니다. 이로 인해 적대적 공격자가 간접적이고 다중 턴에 걸친 탐지를 통해 금지된 정보 (예: 폭탄 제작 방법) 를 유도할 때 키워드 기반 또는 단일 턴 휴리스틱을 발동시키지 않고 안전 필터를 우회할 수 있는 취약점 격차가 발생합니다. 기존 탐지 방법들은 종종 블랙박스 분류기나 토큰 수준의 단서에 의존하는데, 이는 문장 재구성 및 다양한 대화 길이에 걸쳐 일반화되지 못합니다. 또한, 인간 데이터에만 의존할 경우 이러한 특정 위협을 탐지하기 위한 detectors 를 훈련시키기 위한 현실적인 데이터셋 생성은 비용이 많이 들고 어렵습니다.

방법론
저자들은 합성 데이터 생성과 설명 가능한 기하학적 탐지라는 두 단계로 구성된 통합 파이프라인을 제안합니다.

1. 합성 데이터 생성 (진화적 프레임워크):

   • 접근 방식: 저자들은 현실적인 다중 턴 기만 질문 세트를 생성하기 위해 다목적 진화적 프레임워크를 활용합니다. 이 시스템은 후보 LLM 프롬프트와 그 변이 연산자를 공동 진화시킵니다.
   • 알고리즘: NSGA-II(Non-dominated Sorting Genetic Algorithm II) 를 사용하여 기만 품질(질문이 민감한 정보를 얼마나 효과적으로 유도하는지) 과 정책 준수( "폭탄" 과 같은 명시적 금지 키워드를 피하는 것) 간의 균형을 관리합니다.
   • 프로세스: 관련성과 은폐 지시를 결합한 프롬프트 템플릿인 "코돈" 의 초기 집단으로 시작하여, 선택, 변이 (LLM 기반 재문장화), 평가를 반복합니다.
   • 검증: 인간-루프 (HITL) 연구를 통해 생성된 데이터를 검증했습니다. 참가자들은 350 개의 질문 (52 명) 을 두 단계로 평가했습니다: 개별적으로 그리고 5 개 세트 단위로. 이 연구는 개별 질문은 무해해 보였으나, 집합적으로 기만 의도가 드러났음을 확인했습니다. 또한 연구는 최적화의 첫 번째 세대가 가장 설득력 있는 기만을 생성한 반면, 후속 세대는 과도한 최적화와 정책 위반으로 고통받았음을 밝혔습니다.

2. 설명 가능한 기하학적 탐지:

   • 가설: 다중 턴 기만 의도는 사전 훈련된 문장 임베딩 공간에서 선의 대화와 구별되는 안정적인 "기하학적 발자국"을 남깁니다.
   • 특성 공학: 원시 텍스트에 대한 엔드 투 엔드 신경망을 훈련하는 대신, 저자들은 문장 임베딩 ( all-MiniLM-L6-v2 사용) 에서 계산된 7 가지 특성의 컴팩트한 세트를 설계했습니다:
     • 기하학적 특성:
       • 각도 커버리지: 벡터 공간에서 질문이 목표 주제를 얼마나 철저하게 "둘러싸는지" 측정합니다.
       • 거리 비율: 목표 주제 임베딩으로부터의 최소 거리와 최대 거리의 비율입니다.
       • 선형성: 중심화된 임베딩의 공분산 행렬의 고유값에서 유도되며, 선형 패턴을 측정합니다.
     • 통계적 특성: 질문 간의 쌍별 코사인 유사도의 평균, 표준 편차, 최소값, 최대값.
   • 분류기: 이러한 특성들은 ReLU 활성화 함수와 드롭아웃을 갖춘 경량의 3 층 피드포워드 신경망 (MLP) 에 입력됩니다. 이 모델은 투명성과 거의 실시간 배포를 위해 설계되었습니다.

주요 기여

• 다목적 진화적 프레임워크: 기만 효과와 안전 제약 사이의 균형을 맞추는 합성 다중 턴 기만 데이터셋을 생성하는 새로운 방법이며, 인간 평가를 통해 검증되었습니다.
• 기하학적 서명 탐지: 기만적인 다중 턴 상호작용이 임베딩 공간에서 안정적인 기하학적 구조를 가지며, 비용이 많이 드는 엔드 투 엔드 훈련 없이 탐지 가능함을 입증했습니다.
• 경량화되고 설명 가능한 파이프라인: 불투명한 딥러닝 모델 대신 해석 가능한 기하학적 특성에 의존하는 탐지 시스템으로, 의사 결정자에게 설명 가능성을 제공합니다.

결과
이 시스템은 인간이 검증한 기만 세트와 Scale AI 의 선의 대화 데이터로 구성된 데이터셋에서 평가되었습니다.

• 기준선 성능: 모델은 테스트 세트에서 0.89의 재현율 (recall) 과 0.84의 F1 점수를 달성하여, 제어 예제에서 높은 정확도를 유지하면서 기만 시퀀스를 정확하게 식별했습니다.
• 어휘적 변형에 대한 강건성: 의미적 의도는 유지하되 구문만 변경된 재문장화된 질문으로 테스트했을 때, 모델은 0.86의 F1 점수를 유지하여 표면적 텍스트 수정에 대한 회복 탄력성을 입증했습니다.
• 턴 제약에 대한 강건성: 대화 맥락이 5 턴에서 3 턴으로 축소되더라도 모델은 0.89의 높은 재현율 (F1: 0.74) 을 유지하여 조기 개입의 타당성을 시사했습니다.
• HITL 통찰: 인간 연구는 진화 과정의 초기 세대가 가장 기만적인 콘텐츠를 생성했음을 밝혔습니다. 또한 LLM 은 주관적 추론에서 인간의 다양성을 완벽하게 모방하는 데 어려움을 겪으며, 생성된 세트의 약 18.6% 가 명시적 금지 단어를 언급하여 준수 필터를 통과하지 못했음을 강조했습니다.

의의 및 주장
이 논문은 다중 턴 기만 의도가 임베딩 공간에서 탐지 가능하고 안정적인 기하학적 서명을 생성한다고 주장합니다. 이 발견은 막대한 계산 자원이나 불투명한 엔드 투 엔드 훈련을 필요로 하지 않는 경량화되고 투명한 스크리닝 시스템 개발을 뒷받침합니다. 저자들은 이 작업을 방어 메커니즘으로 위치시켜, 기존 키워드 필터를 우회하는 간접 정보 추구 행위를 식별할 수 있도록 보안 연구자들에게 도구를 제공합니다.

저자들은 한계에 대해 겸손하게 접근하며, 데이터셋이 합성적이고 상대적으로 작으며, 특정 "폭탄 제작" 시나리오가 적응 없이는 모든 도메인에 완벽하게 일반화되지 않을 수 있음을 인정합니다. 그들은 기술의 이중 사용 성격을 강조하면서, 생성 프레임워크가 이론적으로 오용될 수 있지만, 출판물은 엄격히 방어적 탐지와 책임 있는 공개에 초점을 맞추고 있으며, 최적화된 변이 연산자의 전체 세트를 공개하지 않았음을 명시합니다.