기술 요약: 대규모 언어 모델의 페르소나 탈취 (PHISH)

1. 문제 정의

대규모 언어 모델(LLM)은 정신 건강, 교육, 고객 지원과 같이 시스템의 신뢰성이 안정적인 페르소나 유지에 달려 있는 고위험 영역에 점점 더 많이 배치되고 있습니다. 기존 연구는 서사적 일관성이나 역할 수행 작업에 초점을 맞추어 왔으나, **적대적 대화 이력(adversarial conversational history)**만으로 유도된 페르side를 어떻게 재형성할 수 있는지에 대한 이해에는 결정적인 공백이 존재합니다.

현재의 안전 메커니즘은 주로 유해한 콘텐츠 생성을 위한 거부 정책 우회 목적의 "탈옥(jailbreaking)"을 다룹니다. 그러나 블랙박스 페르소나 조작(black-box persona manipulation)—즉, 시스템 프롬프트, 모델 가중치 또는 내부 로짓(logits)에 접근하지 않고도 적대자가 LLM의 심리적 특성을 미묘하게 유도하는 방식—은 여전히 거의 탐구되지 않은 영역입니다. 본 논문은 대화 이력이 유도된 페르소나를 변화시켜(예: 도움이 되는 튜터가 무례한 성격으로 변함), 모델의 핵심 효용성은 유지하면서도 설정된 역할을 벗어나게 만드는 '잠재적 페르소나 표류(latent persona drift)'를 유발하는 무기로 활용될 수 있다고 상정합니다.

2. 방법론

2.1 작업 정의: 페르소나 편집

저자들은 **페르소나 편집(Persona Editing)**을 블랙박스 추론 전용 설정에서 오직 사용자 측 입력만을 사용하여 LLM의 심리적 프로필을 적대적으로 조종하는 것으로 정의합니다.

• 설정: 모델은 특정 페르소나(예: "매우 친절한 튜터")를 정의하는 시스템 프롬프트($\pi$)로 초기화됩니다. 적대자($A$)는 오직 사용자 메시지를 통해서만 상호작용합니다.
• 목표: 시스템 프롬프트나 모델 파라미터를 변경하지 않고, 특정 방향 벡터 $d$를 향해 Big Five 성격 특성(OCEAN: 개방성, 성실성, 외향성, 우호성, 신경증)을 목표로 하는 타겟팅된 변화를 유도하는 것입니다.
• 제약 조건: 적대자는 모델의 내부 가중치나 로짓에 접근할 수 없으며, 오직 이전 턴(turn)에 대한 모델의 문맥적 민감성에 의존해야 합니다.

2.2 PHISH 프레임워크

본 논문은 의미론적으로 로드된 단서(cue)를 사용자 질의에 삽함함으로써 LLM의 특성을 은밀하게 조종하도록 설계된 PHISH(Persona Hijacking via Implicit Steering in History) 프레임워크를 제안합니다.

• 메커니즘: PHISH는 페르소나를 변경하기 위해 명시적인 지시를 사용하지 않습니다. 대신, $N$개의 행동 암시적 질문-답변(QA) 쌍을 대화 이력에 주입합니다.
• 구성:
  • 질문(Questions): 기계 성격 검사(MPI) 또는 Big Five 검사(BFI)에서 샘플링되었으며, 심리 측정적 구조와 정렬되어 있으나 오직 조종을 위해서만 사용됩니다.
  • 답변(Answers): 유도하고자 하는 페르소나의 **역(inverse)**으로 결정론적으로 설정됩니다. 예를 들어, 우호성을 낮추기 위해 사용자 입력에는 "당신은 모든 것에 결점을 찾아낸다"라는 진술과 그 뒤에 "매우 정확함"이라는 답변이 포함될 수 있습니다.
  • 축적(Accumulation): 이러한 단서들은 문맥 창(context window)에 축적됩니다. 자기회귀적 디코딩(autoregressive decoding)을 통해, 이전 문맥과의 일관성을 맞추려는 모델의 노력이 모델이 표현하는 성격 특성을 목표하는 특성 프로필 쪽으로 점진적으로 변화시킵니다.
• ICL과의 차별점: 레이블이 지정된 예시를 사용하여 작업을 학습시키는 표준 인컨텍스트 학습(ICL)과 달리, PHISH는 은밀한 의미론적 단서를 사용하여 암묵적이고 다중 특성인 페르소나 변화를 유도합니다. 저자들은 단순한 ICL(예: 형용사 추가)이 이러한 변화를 달성하는 데 실패함을 보여줌으로써 PHISH의 적대적 성격을 입증합니다.

2.3 평가 지표: STIR

공격 성공 여부를 정량화하기 위해 저자들은 **성공적 특성 영향률(Successful Trait Influence Rate, STIR)**을 도입했습니다.

• 정의: STIR은 목표로 하는 특성에 대해 의도된 방향으로 달성된 최대 가능한 변화(1~5 리커트 척도 기준)의 비율을 측정합니다.
• 계산: 공격 전($P_{pre}$)과 공격 후($P_{post}$)의 OCEAN 프로필을 목표 방향 벡터 $d$와 비교합니다. 100% 점수는 원래 페르소나의 정반대 극단으로의 완전한 변화를 의미합니다.

3. 실험 설정

• 모델: 본 연구는 GPT-4o, Gemini-2.0-Flash, Claude-3.5-Haiku, o3-mini를 포함한 프런티어 독점 모델, 오픈 소스 모델(DeepSeek-V3, Llama-4-Maverick), 그리고 도메인 특화 모델(의료용 MedGemma-27B, 역할 수행용 ChatHaruhi)을 포함한 8개의 LLM을 평가했습니다.
• 벤치마크: 세 가지 성격 평가 데이터셋이 사용되었습니다: Big Five Inventory (BFI), Machine Personality Inventory (MPI), 그리고 Anthropic-Eval (ANTHR)의 일부입니다.
• 베이스라인: PHISH는 Universal Adversarial Suffix (UAS), CipherChat, DeepInception, DAN, FlipAttack, DrAttack를 포함한 8개의 강력한 베이스라인과 비교되었습니다.

4. 주요 결과

4.1 조작 성공률

• 우수한 성능: PHISH는 대부분의 모델과 벤치마크에서 일관되게 가장 높은 STIR 점수를 기록했습니다. 예를 들어, BFI 벤치마크에서 PHISH는 DeepSeek-V3에서 95.58, GPT-4o에서 89.94를 기록하여 거의 완전한 페르소나 역전을 보여주었습니다.
• 비교: FlipAttack나 DrAttack와 같은 베이스라인들도 강력한 성능을 보였으나, PHISH는 대부분의 경우 이들을 능가했습니다. 특히 o3-mini, DeepSeek-V3와 같이 강력한 추론 능력을 갖춘 모델들도 페르소나 조작에 매우 취약함을 보여주었으며, 이는 창발적 추론 능력이 페르소나 조작에 대한 견고함을 보장하지 않음을 시사합니다.
• 다회차 증폭(Multi-Turn Amplification): PHISH의 효과는 턴(turn) 수가 증가함에 따라 강력해집니다. 다회차 설정에서는 축적된 적대적 입력이 조종 효과를 강화하여, 특성이 극단적인 반대 값까지 몰아붙일 수 있게 합니다.

4.2 특성 간 상호의존성

• 부수적 변화(Collateral Shifts): 단일 특성을 타겟팅하는 것이 종종 다른 특성에서의 "스필오버(spillover)" 효과를 유발했습니다. 연구 결과, LLM은 인간 심리학보다 증폭된 특성 간 의존성을 보이는 것으로 나타났습니다(예: LLM의 개방성-외향성 상관관계는 0.94에 달했으나 인간 이론은 0.43임). 이는 LLM이 과도하게 결합된 성격 차원을 인코딩하고 있음을 시사합니다.

4.3 고위험 도메인 취약성

• 애플리케이션 테스트: PHISH는 정신 건강, 튜터링, 고객 지원 시나리오에서 테스트되었습니다.
• 인간 vs LLM 일치도: 인간 주석가와 LLM-as-Judge 평가 간에 높은 상관관계($r=0.87$)가 나타나, 공격의 영향을 검증했습니다.
• 취약성: Claude-3.5-Haiku, DeepSeek-V3와 같이 정렬(alignment)이 덜 된 모델들이 GPT-4o, Gemini-2.0-Flash와 같은 프런티어 모델에 비해 이러한 도메인에서 더 높은 취약성을 보였습니다. 이는 프런티어 모델들이 더 강력한 안전 정렬 개입의 혜택을 받고 있음을 시사합니다.

4.4 효용 및 추론에 미치는 영향

• 추론 보존: 중요한 발견 중 하나는 PHISH가 표준 추론 벤치마크(Math, GSM8K, CSQA)에서 오직 완만한 하락(1~6 퍼센트 포인트)만을 유발한다는 점입니다. 모델은 경쟁력 있는 정확도를 유지했으며, 이는 페르소나 조작이 모델의 핵심 효용을 크게 훼손하지 않고도 발생할 수 있음을 나타냅니다.
• 탐지 난이도: 추론 능력의 미미한 저하는 프롬프트 워딩이나 시드 랜덤성에 의한 일반적인 변동 범위 내에 있으므로, 이러한 공격을 탐지하는 신뢰할 수 있는 신호가 되기 어렵습니다.

4.5 방어 효과성

• 가드레일의 취약성: 본 논문은 세 가지 방어 전략을 테스트했습니다: In-Context Defense (ICD), Cautionary Warning Defense (CWD), Paraphrase Filtering (PFD).
  • ICD: 공격을 지연시키지만 방지하지는 못하며, 방어 규모를 적대적 입력 길이에 맞추는 것은 비현실적입니다.
  • CWD: 초기에는 공격을 완화하지만, 임계치를 초과하면 무너집니다.
  • PFD: 일관성이 없습니다. 패러프레이징(paraphrasing)이 때때로 적대적 의도를 오히려 강화할 수도 있습니다.
• 결론: 현재의 가드레일은 부분적인 보호를 제공하지만, 지속적인 적대적 압력 아래에서는 여전히 취약합니다.

5. 의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 새로운 취약성 노출: 기존의 거부 우회를 목표로 하는 전통적인 탈옥과 구별되는, 적대적 대화 이력이 LLM의 페르소나를 체계적이고 예측 가능하게 조종할 수 있다는 "제로 데이(zero-day)" 안전 취약성을 폭로합니다.
2. 프레임워크 및 지표 도입: 블랙박스 설정에서 페르소나 편집을 정량화하고 평가하기 위한 PHISH 프레임워크와 STIR 지표를 도입합니다.
3. 실증적 증거: 8개의 LLM과 3개의 벤치마크에 대한 광범위한 실험을 통해, 페르소나 표류가 체계적이고 측정 가능하며 다회차 상호작용에서 증폭됨을 입증합니다.
4. 고위험 영역에 대한 시사점: 정신 건강, 튜터링과 같은 핵심 도메인에서 안정적인 페르소나가 얼마나 취약한지를 강조하며, 현재의 방어책이 추론 능력을 유지하면서도 상당한 조작을 막는 데 실패함을 보여줍니다.
5. 회복 탄력성에 대한 촉구: 본 연구 결과는 실제 배포 시 신뢰성을 보장하기 위해 프롬프트 수준의 휴리스틱을 넘어선 문맥 회복 탄력적 페르소나 제어(context-resilient persona control) 메커니즘이 필요함을 역설합니다.

저자들은 현재의 가드레일이 어느 정도의 저항력을 제공하긴 하지만, 미묘하고 누적적인 사용자 입력이 모델의 페르소나를 탈취할 수 있는 능력은 현재 LLM 안전 패러다임의 근본적인 약점을 나타낸다고 결론짓습니다.