From Role Prompt to Infinite Thinking: Exploiting Persona Conditioning for Inference Cost Attacks in LLMs

기술 요약: RolePlay – 페르소나 조건화를 이용한 추론 비용 공격

1. 문제 정의

실제 애플리케이션에 대규모 언어 모델(LLM)이 널리 배포됨에 따라, 상당한 계산 비용으로 인해 추론 효율성과 서비스 신뢰성이 중요한 관심사가 되었습니다. 전통적인 서비스 거부(DoS) 공격이 자원 고갈을 위해 대량의 요청 볼륨에 의존하는 반면, **추론 비용 공격(Inference Cost Attacks)**은 과도한 토큰 생성을 유도하여 단일 요청의 계산 비용을 증폭시키는 것을 목표로 합니다.

기존의 추론 비용 공격 방식은 세 가지 주요 한계점을 가집니다:

1. 탐지 가능성: 이들은 종종 적대적 접미사(adversarial suffixes)나 명시적인 확장 지시문(예: "더 깊이 생각하라")에 의존하며, 이는 규칙 기반 필터에 의해 탐지될 수 있는 부자연스러운 어휘 패턴을 도입합니다.
2. 적응성 부족: 대부분의 공격은 태스크별 의미론을 무시하는 사전 정의된 트리거를 사용하므로, 다양한 도메인과 추론 패턴 전반에서 효과가 제한됩니다.
3. 불완전한 증폭: 기존 방법들은 숨겨진 추론 과정이나 가시적인 출력 중 하나만을 타겟팅하거나 두 구성 요소를 분리하여 다룸으로써, 두 요소 모두에 의해 공동으로 결정되는 전체 추론 비용을 극대화하는 데 실패합니다.

핵심 과제는 원래의 태스크 의미론을 변경하지 않으면서, 자연스러운 상호작용을 유지하는 동시에 전체 추론 과정(추론 및 출력 모두)을 확장할 수 있는 효과적인 확장 방법을 동적으로 구축하는 것입니다.

2. 방법론: RolePlay 프레임워크

본 논문은 LLM의 **페르소나 일관성(persona consistency)**을 악용하도록 설계된 태스크 인지적 동적 페르소나 정렬 프레임워크인 RolePlay를 제안합니다. 저자들은 LLM이 지시어 튜닝(instruction tuning)과 인간 피드백을 통한 강화 학습(RLHF) 덕분에, 할당된 역할과 그에 따른 행동이 비효율적인 추론이나 과도한 생성을 초래하더라도 해당 역할과 행동을 유지한다는 점에 주목했습니다.

RolePlay는 세 가지 뚜렷한 단계로 작동합니다:

A. 태스크 인지적 분석기 (Task-Aware Cognitive Analyzer)

각 입력 쿼리에 대해, 시스템은 세 가지 측면에 걸친 6가지 메타데이터 차원으로 구성된 구조화된 인지 프로필을 추출하기 위해 태스크를 분석합니다:

• 태스크 컨텍스트 (Task Context): 도메인(예: STEM, 인문학) 및 하위 카테고리(예: 수학, 양자 역학).
• 추론 장애물 (Reasoning Obstacles): 핵심 모순(Core Contradiction, 갈등 또는 제약 식별) 및 인지 편향 함정(Cognitive Bias Trap, 예: 확증 편향, 국소 최적해 함정).
• 페르소나 인지 상태 (Persona Cognitive States): 지식 요구 수준(전문성 수준, 예: 초보자 vs 전문가) 및 감정적 톤(예: 불안함, 고집스러움, 당혹스러움).

B. 동적 페르소나 빌더 (Dynamic Persona Builder)

추출된 메타데이터를 사용하여, 이 모듈은 태스크 특화형 페르소나 프롬프트를 생성합니다. 이는 두 가지 메커니즘을 사용합니다:

1. 생성 규칙 (Generation Rules): 페르소나가 태스크 도메인과 일치하고, 식별된 모순/편향에 집중하며, 비효적인 행동(예: 반복적인 검증, 자기 수정, 결정 지연)을 장려하도록 보장하는 명시적 제약 조건.
2. 원샷 학습 (One-Shot Learning): 모델이 일반적인 역할 묘사가 아닌, 시나리오와 일치하는 비효율적 추론을 하도록 유도하기 위해 인지 프로필과 구체적인 역할 사이의 대표적인 매핑을 제공합니다.

C. 프롬프트 조립 (Prompt Assembly)

생성된 페르사나 프롬프트는 모델이 문제를 풀기 시작하기 전에 원래의 쿼리와 결합됩니다. 이는 전체 자기회귀적 생성 궤적에 영향을 미치는 행동 제약을 설정합니다:

• 내부 추론 (Internal Reasoning): 반복적인 검증, 자기 성찰, 대안 탐색을 유도하여 추론 토큰을 증가시킵니다.
• 가시적 출력 (Visible Output): 상세한 설명, 자기 정당화, 장황한 응답을 장려하여 출력 토큰을 증가시킵니다.

3. 주요 기여

1. 취약점 식별: 본 논문은 페르소나 일관성을 악용하여 비효율적인 추론 행동을 유도할 수 있는, 이전에 탐구되지 않았던 취약점을 식별했습니다. 저자들은 지시 이행 능력이 자연스럽게 추론 비용을 증폭시키는 무기로 사용될 수 있음을 입증했습니다.
2. RolePlay 프레임워크: 태스크 특성에 따라 적응형 페르소나를 자동으로 구축하여 의미론적으로 일관되지만 비효율적인 행동을 유도하는 동적 페르소나 정렬 프레임워크를 제안했습니다.
3. 포괄적 평가: 다양한 LLM(DeepSeek-V4-Pro, Gemini-3.5-Flash, Qwen-3.5-Plus, GPT-5 Nano, Llama-3-8B-Instruct 포함)과 다양한 데이터셋(수학, 코드, 일반 지시 이행)에 걸친 광범한 실험을 수행했습니다.

4. 실험 결과

평가는 RolePlay가 다양한 지표에 걸쳐 기존의 추론 확장 방법(Engorgio, LoopLLM, OverThinking, ExtendAttack 등)보다 유의미하게 우수함을 보여줍니다:

• 토큰 증폭 (Token Amplification):
  • 평균 증폭: RolePlay는 최대 7.64배의 평균 토큰 증폭을 달s성했습니다(특히 Gemini-3.5-Flash에서).
  • 최대 증폭: 이 프레임워크는 DeepSeek-V4-Pro에서 생성된 토큰에 대해 207.64배의 최대 토큰 증폭 비율을 달성했습니다.
  • 비교: Gemini-3.5-Flash 모델에서 RolePlay(7.64배)는 ExtendAttack(3.59배) 및 OverThinking(2.19배)보다 성능이 월등히 높았습니다.
• 은닉성 (Stealthiness): RolePlay는 자연스러운 생성 패턴을 유지합니다. 이 방법은 공격 방법 중 가장 낮은 **입력 퍼플렉서티(Input Perplexity, PPL)**를 기록하였으며, 이는 프롬프트가 모델에게 자연스럽게 보임을 나타냅니다. 또한 가장 높은 **출력 엔트로피(Output Entropy) 및 서프라이절 밀도(Surprisal Density)**를 나타내어, 생성된 응답이 단순한 반복 루프가 아니라 다양하고 복잡함을 시사합니다.
• 일반화 (Generalization): 이 방법은 Math-500, GSM8K, AIME 2025, BigCodeBench, HumanEval을 포함한 7개의 다양한 데이터셋에서 효과적이었습니다. 원래의 생성이 짧은 태스크(예: GSM8K, HumanEval)에서 특히 높은 증폭 비율(각각 최대 17.34배 및 15.26배)을 보였습니다.
• 절제 연구 (Ablation Study): "정적 페르소나"(고정된 역할)와 "동적 페르소나"(태스크 인지적)를 비교한 결과, 동적 접근 방식이 추론 비용을 크게 증가시킴(13.18배 vs 4.29배)을 확인하여 태스크 적응형 페르소나 구축의 중요성을 입증했습니다.

5. 의의 및 주장

본 논문은 동적 페르소나 정렬과 LLM 자원 고갈 취약성 사이의 첫 번째 연결 고리를 확립했다고 주장합니다.

• 새로운 공격 표면: 저자들은 "페르소나 조건화"를 전통적인 적대적 접미사나 명시적인 지시어 조작과는 구별되는, LLM 추론 효율성에 대한 새로운 공격 표면으로 식별했습니다.
• 은밀한 증폭: 이전 방법들이 탐지 가능한 패턴에 의존하는 것과 달리, RolePlay는 모델의 내재적인 역할 일관성 욕구를 활용하여 자연스럽게 중복된 추론과 장황한 출력을 유도합니다.
• 시사점: 본 연구 결과는 LLM의 사용성을 향상시키기 위해 설계된 바로 그 메커니즘(지시 이행 및 페르소나 일관성)이 서비스 효율성과 가용성을 위협하는 데 악용될 수 있음을 강조하며, 페르소나 기반의 추론 비용 공격에 대한 새로운 방어 체계의 필요성을 시사합니다.