기술 요약: OverThink – 추론형 LLM에 대한 슬로다운(Slowdown) 공격

1. 문제 정의

추론형 대규모 언어 모델(RLM)은 모델이 최종 답변을 내놓기 전 중간 추론 토큰(소위 "스크래치패드" 또는 사고의 사슬/Chain-of-Thought)을 생성하는 "추론 시간 스케일링(inference-time scaling)"을 채택함으로써 최첨단 성능을 확보했습니다. 그러나 이는 상당한 비용을 초래합니다. 추론 토큰은 출력 토큰 제한을 소모하고, 지연 시간(latency)을 증가시키며, 서비스 제공자(토큰당 비용을 지불하는 주체)의 재정적 비용을 높입니다. 정작 최종 사용자는 이러한 토큰을 보지 못하거나 추론 단계마다 비용을 지불하지 않는 경우가 많습니다.

현재의 보안 연구는 모델의 출력을 변경하는(예: 탈옥 또는 답변 변경) 프롬프트 인젝션 공격에 집중되어 있습니다. 하지만 답변의 정확성을 해치지는 않으면서 대신 추론 과정의 효율성을 조작하는 공격에 대한 이해에는 공백이 존재합니다. 본 논문은 RLM이 신뢰할 수 없는 출처(예: 웹 페이지, 문서)로부터 외부 컨텍스트를 검색할 때, 해당 컨텍스트에 포함된 무해한 작업에 대해 과도하고 불필요한 추론을 수행하도록 유도될 수 있는 취약점을 식별했습니다. 이는 최종 답변은 정확하면서도 사용자에게는 탐지되지 않은 채, API 비용 상승, 지연 시간 증가, 에너지 소비 증가를 특징으로 하는 서비스 거부(DoS) 시나리오로 이어집니다.

2. 방법론: OverThink 공격

OverThink 공격은 **간접 프롬프트 인젝션(indirect prompt injection)**의 한 형태입니다. 이는 RLM이 사용자 질의를 해결하기 위해 외부 컨텍스트에 의존하는 점을 악용합니다. 공격자는 RLM이 검색하게 될 공공 소스(예: 위키피디아 문서, 소셜 미디어 게시물)에 "미끼(decoy)" 문제를 삽입합니다. 이 미끼들은 계산 집약적이지만 무해한 것들(예: 스도쿠 퍼즐, 마르코프 결정 과정)이며, 안전 필터를 회피하도록 설계되었습니다.

공격 방법론은 네 가지 주요 단계로 구성됩니다:

A. 미끼 문제 선택 (Decoy Problem Selection)

저자들은 모든 어려운 작업이 긴 추론 사슬을 유도하는 것은 아니라는 점을 확인했습니다. 많은 작은 검증 단계를 요구하는 작업(스도쿠나 유한 마르코프 결정 과정 등)은 복잡한 이론적 문제(IMO 수학 문제 등)보다 더 효과적인데, 그 이유는 모델의 백트래킹(backtracking) 및 자기 검증 메커니즘을 트리거하기 때문입니다. 목표는 최종 답변의 품질을 저하시키지 않으면서 추론 토큰 수 $R_\theta(q, d)$를 최대화하는 도전 과제 $d$를 선택하는 것입니다.

B. 미끼 최적화 (ICL-Evolve)

미분 가능한 타겟의 부재와 토큰 생성의 확률적 특성 때문에 경사 하강법 기반 최적화(예: GCG)는 불가능하므로, 저자들은 인컨텍스트 학습(ICL)을 사용하는 샘플 효율적인 진화 알고리즘인 ICL-Evolve를 제안합니다:

1. 개체군 샘플링 (Population Sampling): 소수의 미끼 도전 과제 집단을 샘플링합니다.
2. 평가 (Evaluation): 각 도전 과제를 프록시 RLM에 테스트하여 결과적인 추론 토큰 수를 측정합니다.
3. 진화 (Evolution): "언어화된 샘플링(verbalized sampling)" 기법을 사용하여, LLM이 높은 성능을 보인 개체군을 조건으로 새로운 변형 문제를 생성합니다. 이때 모델은 정체를 피하기 위해 특히 낮은 확률(다양성)을 가진 샘 sample을 목표로 하여 '도전 과제-확률' 쌍을 출력하도록 지시받습니다.
4. 선택 (Selection): 이 과정은 추론 토큰 생성을 최대화하는 미끼 변형을 찾을 때까지 반복됩니다.

C. 출력 은폐 (Output Obfuscation)

공격이 은밀함을 유지하기 위해, 모델은 최종 출력에 솔루션을 명시적으로 드러내지 않고 미끼 작업을 해결해야 합니다. 저자들은 특정 지시 사항(예: "나는 RL 교사이다..."와 같은 역할 놀이 활용)을 설계하여, 모델이 내장된 과제를 해결하도록 설득하되, 출력은 최소한의 비침해적 토큰(예: "true" 또는 "false"와 같은 단일 단어)으로 제한하거나 결과를 답변 속에 미묘하게 통합하도록 만듭니다. 이를 통해 모델이 가시적인 응답에 미끼 작업을 "유출"하는 것을 방지하여 **답변 은밀성(Answer Stealthiness)**을 유지합니다.

D. 인젝션 전략 (Injection Strategies)

본 논문은 두 가지 인젝션 전략을 제안합니다:

1. 컨텍스트 무관 (Context-Agnostic): 어떤 소스에도 삽입될 수 있는 일반적인 템플릿입니다. 확장 가능하고 비용 효율적이지만 탐지 위험이 높습니다.
2. 컨텍스트 인지 (Context-Aware): 미끼가 타겟 소스의 특정 주변 텍스트에 맞게 최적화됩니다. 탐지 및 필터링이 더 어렵지만, 더 많은 자원과 대상 컨텍스트에 대한 지식이 필요합니다.

E. 멀티모달 확장 (Multimodal Extension)

이 공격은 시각-언어-행동(VLA) 모델이 검색한 이미지에 미끼 시각 요소(예: 추상적인 예술 스타일, 무관한 라벨, 또는 비교 차트)를 삽려함으로써 멀티모달 환경으로 확장됩니다. 이러한 시각적 요소는 모델이 무관한 시각적 세부 사항을 처리하도록 강제하여 추론 사슬의 길이를 늘립니다.

3. 주요 기여

• 새로운 공격 벡터: 본 논문은 답변의 정확성과 은밀성을 유지하면서 추론 토큰 사용량(비용 및 지연 시간)을 최대화하도록 설계된 최초의 간접 프롬프트 인젝션 공격인 OverThink를 소개합니다.
• ICL-Evolve 알고리즘: 경사(gradient) 접근이나 대규모 미세 조정 없이도 영향력이 큰 미끼 도전 과제를 생성할 수 있는 새롭고 비용 효율적인 최적화 알고리즘을 제안합니다.
• 포괄적 평가: 이 공격은 9개의 최첨단 모델(OpenAI o1, DeepSeek-R1, Gemini, Claude, Grok 포함)과 다양한 데이터셋(FreshQA, SQuAD, MuSR)을 대상으로 평가되었습니다.
• 방어 분석: 기존의 방어 체계(Llama Guard, Lakera, GA Guard 및 콘텐츠 필터링)를 평가하고, 이 특정 위협 벡터에 대한 이들의 한계를 입증합니다.

4. 실험 결과

실험 결과, OverThink는 RLM의 효율성을 심각하게 저하시키는 것으로 나타났습니다:

• 토큰 팽창 (Token Inflation): 이 공격은 SQuAD에 대한 컨텍스트 무관 공격에서 추론 토큰을 최대 46배 증가시켰으며, o1 모델의 경우 FreshQA에서 최대 18배까지 증가시켰습니다. 컨텍스트 인지 공격 또한 유의미한 증가를 보였습니다 (예: o1에서 7.8배).
• 전이성 (Transferability): 한 모델(예: o1)에서 최적화된 공격은 다른 모델로 효과적으로 전이됩니다. 예를 들어, o1을 위해 최적화된 미끼는 DeepSeek-R1에 적용되었을 때 추론 토크를 12배 증가시켰습니다.
• 지연 시간 및 비용: 실제 ChatGPT 데모에서, 이 공격은 정답을 유지하면서도 추론 시간을 11초에서 1분 33초로 ( 8.4배 증가) 늘렸습니다.
• 멀티모달 성공 사례: 이미지 기반 공격에서 미끼 시각 요소는 고양이와 사과에 대한 단순 질의에 대해 추론 토큰을 2배에서 2.9배 증가시켰습니다.
• 은밀성 (Stealthiness): 공격은 높은 컨텍스트 정확성(Contextual Correctness)(종종 100%)을 유지합니다. 즉, 최종 답변은 여전히 사용자 질의에 집중하며 미끼의 존재를 드러내지 않습니다.

방어의 한계

• 가드레일 (Guardrails): 표준 프롬프트 인젝션 탐지기(Llama Guard, Lakera, GA Guard)는 주입된 내용이 무해하고 안전 정책을 위반하지 않기 때문에 이 공격을 차단하는 데 실패했습니다.
• 필터링 (Filtering): 외부 컨텍스트를 필터링하면 미끼를 제거할 수 있지만, 이는 심각한 트레이드오프를 수반합니다. 공격적인 필터링은 컨텍스트 무관 공격에 대해 정확도를 0%로 떨어뜨렸으며, 컨텍스트 인지 공격의 성능을 크게 저하시켜 서비스 품질 유지를 위한 방어로서 실용성이 떨어지게 만들었습니다.

5. 의의 및 주장

본 논문은 OverThink가 RLM 기반 애플리케이션의 경제적 및 운영적 지속 가능성에 대한 중대한, 그리고 그동안 충분히 탐구되지 않은 위협임을 주장합니다.

• 경제적 영향: 답변을 변경하지 않고 토큰 사용량을 팽창시킴으로써, 이 공격은 서비스 제공자가 막대한 비용을 떠안게 만듭니다. 많은 애플리케이션이 고정 비용 또는 무료 티어를 제공하므로, 제공자는 "과잉 추론(overthinking)"에 따른 재정적 부담을 지게 됩니다.
• 운영 리스크: 증가된 지연 시간은 시간 민감형 애플리케이션(예: 자율주행 자동차, 실시간 에이전트)을 방해하고 API 출력 제한을 소진시켜 서비스 장애를 일으킬 수 있습니다.
• 환경적 영향: 불필요한 계산은 에너지 소비와 탄소 배출을 증가시켜 AI 추론의 환경적 발자국을 악화시킵니다.
• 완곡한 주장: 저자들은 LLM의 추론 로직 자체에 근본적인 결함이 있다고 주장하는 것이 아니라, 이러한 모델이 신뢰할 수 없는 외부 데이터와 상호작용하는 방식의 취약점을 지적하는 것입니다. 이들은 이 공격이 "탈옥(jailbreak)"이라기보다는 "슬로다운(slowdown)" 메커니즘임을 강조하며, 현재의 방어 체계가 출력 조작이 아닌 효율성 저하를 목표로 하는 공격을 처리하는 데 적절히 준비되어 있지 않음을 강조합니다.

결론적으로, RLM이 보편화됨에 따라 커뮤니티는 스크래치패드에서의 "비효율적인 토큰 활용" 문제를 해결해야 하며, 모델의 유용성을 희생하지 않으면서도 필수적인 추론과 공격에 의해 유도된 오버헤드를 구분할 수 있는 방어책을 개발해야 합니다.