기술적 요약: PersonaTeaming

문제 제기

생성형 AI(GenAI) 의 최근 발전은 해롭거나 편향된, 혹은 문제적인 모델 행위를 드러내기 위한 견고한 레드팀 (red-teaming) 방법론을 필요로 하게 되었습니다. 자동화된 레드팀링은 확장성을 제공하지만, 기존 접근 방식들은 종종 "차별 조장"이나 "오타"와 같은 사전 정의된 위험 범주와 공격 스타일에 의존하며, 적대적 공격 뒤에 숨은 인간 정체성을 명시적으로 모델링하지는 않습니다. 반면, 완전 수동형 레드팀링은 확장성의 한계와 인간 평가자에게 가해지는 심리적 부담에 의해 제한됩니다. 현재 방법론들은 이 두 극단 사이에 위치하여, 모델을 공격하는 주체가 '누구'이며 '왜' 공격하는지를 이해하는 데 필요한 다양한 인간적 관점이나 세밀한 판단력을 통합할 수 있는 능력을 결여하고 있습니다. 본 논문은 자동화 및 인간-함께-루프 (human-in-the-loop) 레드팀링 전략을 강화하기 위해 인간 정체성을 활용하는 데 존재하는 간극을 해결합니다.

방법론

저자들은 "페르소나 (persona)"—사용자 관점의 구조화된 표현—를 적대적 프롬프트 생성 과정에 통합하는 PersonaTeaming 프레임워크를 제안합니다. 이 작업은 두 가지 주요 구성 요소로 나뉩니다: 자동화된 워크플로우와 대화형 인터페이스.

1. PersonaTeaming 워크플로우 (자동화)

이 구성 요소는 명시적인 페르소나에 기반한 프롬프트 변이를 조건부로 적용함으로써, 최첨단 자동화 레드팀링 방법인 RainbowPlus를 확장합니다.

• 페르소나 구성: 시스템은 두 가지 주요 유형의 페르소나를 구성합니다:
  • 레드팀 전문가 (RTers): "정치 전략가", "역사 수정주의자"와 같은 전문적 배경과 적대적 전문성에 초점을 맞춘 행동 특성을 구조화합니다.
  • 일반 AI 사용자 (Users): 정치적 견해, 부, 취미 등을 포함하여 일상적인 사용자 관점을 시뮬레이션하기 위해 "전업 주부", "요가 강사"와 같은 인구통계학적 세부 사항을 구조화합니다.
• 변이 메커니즘: 워크플로우는 시드 프롬프트를 변이시키기 위해 대규모 언어 모델 (LLM) 을 사용합니다. 일반적인 변이 지시문 대신, LLM 은 선택된 페르소나의 구체적인 특성, 배경, 행동 특성에 기반하여 프롬프트를 재구성하도록 지시받습니다.
• 동적 페르소나 생성: 고정된 페르소나를 넘어 확장하기 위해, 저자들은 특정 시드 프롬프트와 정렬된 후보 페르소나를 동적으로 생성하는 PersonaGeneration 알고리즘을 개발했습니다. 이 알고리즘은 주어진 프롬프트에 대해 새로운 페르소나의 현재 페르소나 대비 '적합도 (fitness)'를 평가하기 위해 LLM 을 통해 구현된 점수 함수를 활용하며, 더 높은 점수를 받은 페르소나를 유지합니다. 이를 통해 시스템은 특정 작업에 가장 효과적인 적대적 관점을 적응적으로 선택할 수 있습니다.

2. PersonaTeaming 플레이그라운드 (인간-함께-루프)

자동화된 페르소나가 실제 인간 관점을 근사하는 데 한계가 있음을 해결하기 위해, 저자들은 인간 레드팀러가 직접 페르소나를 작성하고 AI 와 협력할 수 있는 대화형 인터페이스를 구축했습니다.

• 사용자 상호작용: 실무자들은 자연어 (1 인칭 또는 3 인칭) 로 페르소나를 초안 작성하고, 강조 지시사항 (예: 특정 위험 차원에 초점 맞추기) 을 추가하며, 변이 매개변수를 구성할 수 있습니다.
• 협력적 변이: 시스템은 사용자가 작성한 페르소나를 기반으로 적대적 프롬프트를 생성합니다. 사용자는 이러한 프롬프트를 수동으로 편집하거나 AI 가 생성한 변이 제안 수락을 선택할 수 있습니다.
• 반복적 정제: 인터페이스는 사용자가 변이 결과에 기반하여 페르소나를 수정할 수 있는 반복적 루프를 지원하여, 인간의 의도와 AI 생성 간의 협력적 과정을 장려합니다.

주요 기여

1. PersonaTeaming 워크플로우: 프롬프트 변이에 페르소나를 통합하여 사전 정의된 분류 체계를 넘어선 자동화 전략의 범위를 확장하는 새로운 자동화 레드팀링 방법.
2. PersonaTeaming 플레이그라운드: 인간 레드팀러가 페르소나를 작성하고 AI 와 협력할 수 있게 하여 완전 수동 방식과 완전 자동화 방식 사이의 간극을 메우는 대화형 인터페이스.
3. 기술적 평가: 페르소나 기반 변이가 GPT, Gemini, Qwen 등 폐쇄형 및 개방형 가중치 모델 전반에 걸쳐 프롬프트 다양성을 유지하면서 공격 성공률 (ASR) 을 향상시킨다는 것을 보여주는 포괄적인 평가.
4. 사용자 연구: 11 명의 산업계 실무자를 대상으로 한 플레이그라운드 사용성 연구로, 실제 상황에서 인간-AI 협업이 어떻게 기능하는지 규명.
5. 오픈소스 공개: 책임 있는 AI(RAI) 연구자 및 실무자를 지원하기 위한 코드베이스 및 설계 시사점 공개.

결과

기술적 평가

저자들은 GPT-4o, Qwen2.5, Gemini 2.5 를 포함한 6 개의 대상 모델에 대해 RainbowPlus 기준과 PersonaTeaming 워크플로우를 평가했습니다.

• 공격 성공률 (ASR): 워크플로우는 기준 대비 더 높은 ASR 을 달성했습니다. 구체적으로, 동적 RTer 페르소나 생성 조건 ($RP + PG_{RTers}$) 은 평균 ASR 0.223을 기록하여 기준 대비 46% 향상되었으며, 동시에 프롬프트 다양성을 증가시켰습니다 (0.632 대 기준 0.592).
• 고정 vs 동적: 고정된 RTer 페르소나 (예: "역사 수정주의자") 는 가장 높은 ASR(0.257) 을 보였으나, 코퍼스 수준의 텍스트 유사성으로 인해 다양성에는 비용이 따랐습니다. 고정된 사용자 페르소나는 기준과 유사한 ASR 을 유지하면서도 다양성을 크게 증가시켰습니다.
• 창의성과 타겟팅: 정성적 분석 및 TF-IDF 분석 결과, 페르소나 기반 프롬프트가 더 창의적이고 타겟팅이 잘 되어 있음을 보여주었습니다. 예를 들어, "정치 전략가" 페르소나는 해로운 요청을 정치 캠페인 맥락으로 성공적으로 재구성했으며, "전업 주부" 페르소나는 안전 필터를 우회하는 1 인칭 서사를 생성했습니다.
• 모델 일반화: 동적 페르소나 생성의 이점은 오픈소스 및 클로즈드소스 모델 전반, 그리고 서로 다른 모델 크기 전반에 걸쳐 견고하게 나타났습니다.

사용자 연구 결과

11 명의 산업계 실무자를 대상으로 한 연구에서:

• 다양한 전략: 참가자들은 자연스럽게 1 인칭 (취미와 정체성 강조) 과 3 인칭 (전문성과 기술 강조) 페르소나를 작성하는 경향을 보였습니다.
• 심리적 거리: 3 인칭으로 작성한 참가자들은 해로운 콘텐츠를 확대하는 데 더 적극적이었던 반면, 1 인칭 작성자는 더 큰 주저함을 보였으며, 이는 페르소나가 레드팀러에게 필요한 심리적 거리를 제공할 수 있음을 시사합니다.
• 촉매로서의 AI: AI 가 생성한 제안은 처방이 아닌 "도발 (provocations)"로 작용했습니다. 참가자들이 AI 제안을 엄격히 따르지 않았더라도 이러한 아이디어에 노출되는 것은 창의적인 사고를 장려하고 스스로 생성하지 않았을 공격 방향을 탐구하도록 도왔습니다.
• 반복적 정제: 연구는 변이된 프롬프트에 가해진 편집 횟수와 공격 성공률 사이에 양의 상관관계가 있음을 발견했는데, 이는 단순히 더 많은 페르소나를 작성하는 것보다 AI 생성 출력을 반복적으로 정제하는 것이 더 생산적임을 시사합니다.

중요성 및 주장

본 논문은 PersonaTeaming 이 다음과 같은 방식으로 AI 안전 분야를 발전시킨다고 주장합니다:

1. 간극 해소: AI 의 확장성을 활용하면서도 인간 정체성의 맥락적 이해와 다양한 관점을 유지하여, 완전 수동과 완전 자동 레드팀링 사이의 중간 지점을 제공합니다.
2. 발견 강화: 페르소나를 통합함으로써, 일반적인 변이 알고리즘이 놓치는 특정 삶의 경험이나 전문적 지식에 기반한 적대적 전략을 포함한 더 넓은 스펙트럼의 적대적 전략을 드러냅니다.
3. 인간-AI 협업: AI 제안이 직접적인 지시보다는 인간 창의성을 자극하는 "도발"로 기능할 때 가장 가치 있다는 점을 특히 강조하며, 향후 인간-AI 협업을 위한 설계 통찰력을 제공합니다.
4. 실용적 유용성: 저자들은 자동화된 페르소나가 인간 판단을 완전히 대체할 수는 없지만, 추가 변이를 위한 가치 있는 시작점이자 특히 인간 자원이 제한될 때 초기 탐색을 위한 저비용 대안으로 기능한다고 주장합니다.

저자들은 자동화된 페르소나가 실제 인간 경험의 근사치이며 때로는 고정관념적일 수 있음을 인정하며 겸손하게 주장을 펼칩니다. 그들은 진정한 가치가 이러한 자동화된 과정을 인간이 정제하고 지휘하는 협력적 워크플로우에 있음을 강조합니다.