기술 요약: 조작된 증거 주입을 통한 LLM 관점 유도

문제 정의

본 논문은 대규모 언어 모델(LLM)의 결정적인 인지적 취약점을 식별한다. 이는 LLM이 외부 컨텍스트가 설령 조작된 증거를 포함하고 있더라도, 해당 컨텍스트가 신뢰성을 나타내는 표식(markers of credibility)을 갖추고 있을 때 이를 무비판적으로 신뢰하는 경향을 보인다는 점이다. 현재의 안전 정렬(safety alignment) 메커니즘은 유해한 콘텐츠 생성을 직접 요청하는 시도는 효과적으로 저지하지만, 객관적이고 권위 있는 사실으로 위장된 적대적 입력과 정당한 배경 정보 사이를 구분하지 못한다. 이러한 "권위 편향(authority bias)"은 공격자가 오해의 소지가 있는 관점을 유사 과학 또는 유사 학술적 서사로 재포장함으로써 안전 필터를 우회하게 만들며, 이로 인해 모델이 관련 질의에 응답할 때 이러한 편향을 내면화하고 전파하게 만든다.

방법론: 고스트라이터(Ghostwriter) 프레임워크

저자들은 모델의 미세 조정, 가중치 조작, 또는 내부 상태에 대한 접근 없이도 이 취약점을 악용하도록 설계된 2단계 공격 프레임워크인 Ghostwriter를 제안한다. 이 공격은 공격자가 주입된 콘텐츠와 최소 하나 이상의 전달 채널(예: 제3자 애그리게이터, 내부자 수정, 또는 검색 도구)을 제어하는 블랙박스 위협 모델 하에서 작동한다.

1단계: 진술 재포장 (Statement Repackaging)

첫 번째 단계는 가공되지 않은 주관적 진술($S$)을 신뢰성의 표식을 갖춘 정교하고 겉보기에 객able한 버전($S'$)으로 변환하는 것이다.

• 프로크레스: 경량화된 "AttackerLM"(GPT-4o-mini 또는 미세 조정된 Qwen-2.5-7B)이 통계, 사례 연구, 권위 있는 문구(예: "행동 과학 저널" 인용)와 같은 조작된 근거를 포함하여 진술을 재작성한다.
• 최적화: 반복 루프를 통해 "JudgeLM"이 $S'$를 원래의 $S$에 대한 충실도(fidelity) 측면에서 1~10점 척도로 점수를 매긴다. 이 과정은 재포장된 콘텐츠가 원래의 관점을 유지하면서도 과학적 근거를 갖춘 것처럼 보일 때까지(정렬 점수 $\ge 8$ 달성 시까지) 반복된다.

2단계: 진술 주입 (Statement Injection)

두 번째 단계는 조건부 프롬프트 템플릿($T_{inject}$)을 사용하여 재포장된 진술($S'$)을 대상 LLM의 컨텍스트 창에 삽입한다.

• 메커니즘: 템플릿은 대상 모델에게 사용자 질의($Q$)가 $S'$와 관련이 있는지 조용히 판단하도록 지시한다.
  • 관련이 있는 경우: 모델은 $S'$를 자신의 답변에 포함하여, 사용자의 구체적인 질문에 답하면서 해당 관점을 뒷받침하도록 조건화된다.
  • 관련이 없는 경우: 모델은 정상적으로 응답하며, 조작을 은폐하고 표준 동작을 유지한다.
• 목표: 관련 질의에 대한 관점 정렬을 강화하는 동시에($V(S, R) > V(S, M_\theta(Q)$), 관련 없는 질의에 대해서는 공격받지 않은 응답과 구별할 수 없게 만드는 것이 목표이다.

주요 기여

1. 권위 편향 식별: 본 논문은 상업용 LLM의 안전 정렬이 조작된 유사 학술적 증거가 권위의 표식(인용, 통계, 완곡한 표현 등)을 가질 때 정당한 컨텍스트와 구분하지 못한다는 점을 입증한다.
2. Ghostwriter 공격 프레임워크: 저자들은 관점의 재포장(정렬 회피를 위함)과 주입(내면화를 유도하기 위함)을 분리하는 새로운 2단계 공격을 소개한다. 노출을 강요하는 탈옥(Jailbreak)이나 인용을 강제하는 RAG 포이즈닝(Poisoning)과 달리, Ghostwriter는 모델이 해당 관점을 자신의 분석인 것처럼 채택하도록 강제한다.
3. 포괄적 평가: 연구는 **Hazardous Viewpoints Dataset (HVD)**과 더불어 BBQ 및 ToxiGen과 같은 기존 벤치마크를 사용하여 다양한 콘텐츠 도메인(고정관념, 브랜드/정치/의학적 오정보, 심리적 조작)에 걸쳐 Ghostwriter를 평가한다.

실험 결과

저자들은 정렬 기반 모델(GPT-4o, Claude-3.7-Sonnet, DeepSeek-V3), 추론 모델(DeepSeek-R1, o3-mini), 그리고 프런티어 분류기 가드 모델(GPT-5.4)을 포함한 다양한 모델에 대해 Ghostwriter를 평가했다.

• 공격 효력:
  • HVD 데이터셋에서 미세 조정된 Qwen-2.5-7B 재포장기를 사용한 공격은 다양한 카테고리(예: 성별, 인종, 정치적 오정보)에서 **관점 지지 점수(VSScore)**를 베이스라인인 약 1.52.5에서 **8.09.8**로 높였다.
  • 공격은 명시적 질의(주제에 대해 직접 질문)와 암시적 질의(주제에 의해 영향을 받는 의사결정 시나리오) 모두에 성공적으로 일반화되었다.
  • 유해성: **유해성 변화율(HCRate)**이 크게 증가했다. 예를 들어, GPT-4o의 경우, 공격자로 GPT-4o-mini를 사용했을 때 안전하지 않은 응답률이 2% 미만에서 72% 이상으로 상승했으며, 미세 조정된 Qwen-2.5-7B를 사용했을 때는 **202%**까지 상승하여, 이 공격이 무해한 콘텐츠를 유해한 출력으로 변형시킨다는 것을 보여주었다.
• 모델 견고성:
  • 정렬 기반 모델은 매우 취약했다.
  • 추론 모델(예: DeepSeek-R1)은 확장된 사고 사슬(Chain-of-Thought) 처리에도 불구하고 여전히 높은 취약성을 보였다.
  • 분류기 가드 모델(예: GPT-5.4)은 공격을 부분적으로만 완화했다. 이 모델들은 성공률을 낮추기는 했으나 완전히 제거하지는 못했다. 잔존하는 취약성은 생성기가 콘텐츠 자체를 거부하기보다는, 입력이 프런트엔드 분류기를 통과한 후 생성기가 해당 관점을 내면화하는 데서 기인했다.
• 베이스라인과의 비교: Ghostwriter는 기존의 컨텍스트 기반 공격(PAIR/PRS와 같은 탈옥 및 PoisonedRAG와 같은 RAG 포이즈닝)보다 뛰어난 성능을 보였다. RAG 포이즈닝 페이로드는 민감도가 낮은 주제에서는 높은 점수에 도달했으나, Ghostwriter가 4.9점의 VSScore 격차를 유지한 안전 민감 카테고리에서는 무너졌다.
• 태스크 불가지론(Task Agnosticism): 공격은 관련 없는 작업에 대한 모델 성능을 저하시키지 않았으며(MMLU-Pro를 통해 측정), 이는 조작이 조건부이며 은밀하게 이루어짐을 확인시켜 준다.

의의 및 주장

본 논문은 Ghosterwriter가 **생성적 정렬(generative alignment)**과 평가적 인식(evaluative awareness) 사이의 근본적인 간극을 드러낸다고 주장한다. 판사로서 유해한 콘텐츠를 탐지할 수 있는 프런티어 모델들(예: 공격된 응답의 93%를 유해하다고 플래깅하는 GPT-5.4)조차도, 생성기로서 작동할 때는 동일한 유해 콘텐츠를 생성하는 것을 막지 못한다.

저자들은 현재의 안전 메커니즘이 권위 있는 담론을 모방하는 입력에 대해 불충분하다고 주장한다. 그들은 **재포장(repackaging)**이 주입 채널 자체가 아니라 정렬을 우회하는 핵심 요소임을 입증한다. 방어책으로서, 저자들은 80.5%의 탐지율과 낮은 오탐률(1.4%)을 달성한 gpt-oss-safeguard를 위한 맞춤형 안전 정책을 제안하며, 이는 사후 탐지 정책이 생성적 정렬의 필수적인 보완책이 될 수 있음을 시사한다.

결론적으로, 본 논문은 조작된 증거에 대한 특정 방어책이 없다면, LLM은 "신뢰할 만한" 컨텍스트를 이용하는 대규모 설득 및 오정보 캠페인에 계속해서 취약할 것이라고 경고한다.