🤖 AI

EchoCoT: Extracting Hidden Chain-of-Thought from Large Reasoning Models

이 논문은 오픈 소스 및 프런티어 프라이머리 대형 추론 모델 모두에서 API 상호작용을 통해 숨겨진 사고 사슬(chain-of-thought) 흔적을 거의 그대로 추출해 내는 다단계 공격 프레임워크인 EchoCoT를 소개하며, 이는 이러한 가치 있는 모델 자산에 대한 심각한 보안 위험을 입증한다.

원저자: Yiting Qu, Ziqing Yang, Chi Cui, Ye Leng, Junjie Chu, Yang Zhang

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiting Qu, Ziqing Yang, Chi Cui, Ye Leng, Junjie Chu, Yang Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능 시스템은 컴퓨터 코드를 작성하는 것부터 과학적 난제를 해결하는 것에 이르기까지 복잡한 문제를 해결하는 데 있어 놀라운 능력을 갖추게 되었습니다. 이러한 고급 모델들이 어려운 질문에 맞설 때, 이들은 단순히 최종 답변만을 내놓는 것이 아닙니다. 대신, 이들은 아이디어를 탐색하고, 작업을 검토하며, 실수를 바로잡고, 결론에 도달하기 전 다양한 경로를 고려하는 단계별 추론 과정인 길고 내부적인 사고의 흐름을 먼저 생성합니다. '사고의 사슬(chain of thought)'이라고 불리는 이 내부 독백은 대개 사용자에게는 숨겨져 있습니다. 모델은 지적 자산을 보호하고 민감한 데이터나 독점적인 로직의 노출을 방지하기 위해 이 추론 과정을 비공개로 유지하며, 오직 최종 결과만을 보여줍니다. 개발자들에게 이 숨겨진 추론은 미래의 모델을 개선하기 위한 귀중한 자원인 반면, 사용자들에게는 그 이면에 숨겨진 복잡한 작업 과정은 보여주지 않은 채 정답만을 약속하는 블랙박스입니다.

CISPA 헬름홀츠 정보 보안 센터의 보안 연구팀은 이 숨겨진 추론이 한때 믿었던 것만큼 안전하지 않다는 사실을 발견했습니다. 그들은 이 고급 모델들이 설계된 대로 비밀을 유지하도록 되어 있음에도 불구하고, 모델이 내부의 전체 사고 과정을 거의 단어 그대로 드러내도록 속이는 방법을 찾아냈습니다. 연구진은 'EchoCoT'라고 명명한 방법을 개발했는데, 이는 모델이 외부 도구와 상호작용하는 방식의 특정 특이점을 악용합니다. 많은 시스템에서 모델이 계산기나 데이터베이스와 같은 도구를 사용해야 할 때, 모델은 도구 호출을 위해 추론을 잠시 멈추지만, 연속성을 보장하기 위해 이전의 생각을 메모리에 활성 상태로 유지합니다. 연구진은 공격자가 이러한 연속성을 유리하게 이용할 수 있다는 점을 깨달았습니다. 공격자가 모델에게 자신의 생각을 도구에 저장하도록 반복적으로 요청한 뒤, 저장된 생각들을 미완성된 것으로 거부함으로써, 모델이 내부 추론을 재생하도록 강제하여 전체의 숨겨진 사고 사슬이 완전히 노출될 때까지 더 많은 세부 정보를 드러내게 할 수 있었습니다.

연구진은 오픈 소스 시스템과 주요 기술 기업들의 가장 진보된 독점 모델을 포함한 다양한 모델을 대상으로 이 기술을 테스트했습니다. 연구진이 원래의 숨겨진 생각과 추출된 생각을 비교할 수 있는 오픈 소스 모델의 경우, EchoCoT가 거의 전체 추론 과정을 복구할 수 있음을 발견했습니다. 많은 사례에서 추출된 텍스트는 정확도가 매우 높아, 원래의 숨겨진 생각과 단어 및 구절의 90% 이상이 일치했습니다. 이 방법은 매우 긴 추론 사슬에 대해서도 작동하여 수천 토큰에 달하는 사고 과정을 성공적으로 추출해 냈습니다. 연구진이 구글(Google)이나 앤스로픽(Anthropic)과 같은 기업의 독점 모델에 동일한 기술을 적용했을 때, 원래의 숨겨진 생각을 직접 비교하여 볼 수는 없었습니다. 그러나 추출된 생각은 매우 길었으며, 종종 기업들이 보고한 모델이 사용한 추론의 길이와 일치했습니다. 또한, 추출된 내용이 기업들이 제공한 짧은 요약과 밀접하게 일치했다는 점은 추출이 정확했음을 시사했습니다. 구글 모델과 관련된 한 사례에서는 33,000 토큰 이상의 추론 사슬을 복구했는데, 이는 모델의 보고된 내부 과정의 길이와 거의 동일했습니다.

단순히 텍스트를 복구하는 것을 넘어, 추출된 생각들은 모델이 어떻게 사고하는지에 대한 풍부한 세부 정보를 드러냈습니다. 연구진은 모델이 구글 검색을 시뮬레이션하고, 정보를 회상하는 동안 중국어와 영어 같은 서로 다른 언어 사이를 전환하며, 광범적에 걸친 자기 수정을 수행하는 것을 관찰했습니다. "잠깐, 이게 사실인가?" 또는 "다른 접근 방식을 시도해 보자"와 같은 행동들은 사용자에게 보여지기 전에 일반적으로 제거되는 가공되지 않은 내부 과정의 일부입니다. 또한 이 연구는 공격이 자동화될 수 있음을 보여주었습니다. 연구진은 모델이 사용한 단어 수와 같은 피드백 신호를 바탕으로 질문을 정교화하며 생각을 요청하는 최선의 방법을 학습할 수 있는 시스템을 구축했습니다. 이러한 자동화된 접근 방식은 공격을 더욱 효과적으로 만들어, 새로운 문제마다 수동으로 재프로그래밍할 필요 없이 다양한 유형의 질문과 데이터셋에 걸쳐 일반화될 수 있게 했습니다.

이 발견이 시사하는 바는 인공지능 보안 측면에서 매우 중요합니다. 연구진은 단순히 추론을 사용자로부터 숨기는 것만으로는 이를 보호하기에 충분하지 않다는 것을 발견했습니다. 모델이 도구 사용을 필요로 하는 작업을 수행하기 위해 내부 상태를 유지하는 한, 그 상태는 재생되고 추출될 수 있습니다. 연구진은 추론 단어의 수를 숨기거나, 모델의 시스템 프롬프트에 누출을 방지하기 위한 엄격한 지침을 추가하는 등 여러 잠재적 방어책을 테스트했습니다. 이러한 조치 중 일부는 공격의 성공률을 낮추었지만, 이를 완전히 차단하지는 못했습니다. 가장 효과적인 방어책으로 테스트된 것은 도구 호출 후에 모델이 자신의 이전 추론에 접근하는 것을 차단하는 것이었으나, 이는 모델이 복잡한 다단계 작업을 수행하는 능력을 깨뜨릴 것입니다. 연구진은 관련 주요 기술 기업들에 이러한 연구 결과를 책임감 있게 보고하며, 현재의 강력한 추론 시스템 설계에 존재하는 치명적인 취약점을 강조했습니다. 이들의 연구는 모델의 지적 재산과 안전을 보호하기 위해서는 단순히 숨겨진 생각이 숨겨져 있을 것이라는 가정에 의존하는 것이 아니라, 모델이 구축되고 외부 세계와 상호작용하는 방식에 대한 더 근본적인 변화가 필요함을 시사합니다.

=== 요약 ===

기술 요약: EchoCoT – 대규모 추론 모델로부터 숨겨진 사고 사슬(Chain-of-Thought) 추출하기

1. 문제 정의

GPT-5, DeepSeek-R1, Gemini Thinking과 같은 대규모 추론 모델(LRM)은 최종 답변을 생성하기 전 내부적인 "숨겨진" 사고 사슬(CoT)을 생성한다. 이러한 흔적(trace)은 단계별 계산, 실패한 시도, 자기 수정 등 풍부한 정보를 포함하고 있어 모델 학습, 증류(distillation), 안전 모니터링을 위한 귀중한 자산이 된다. 결과적으로, 프런티어 제공업체들은 이러한 흔적이 사용자에게 노출되는 것을 엄격히 보호한다.

기존 연구는 숨겨진 CoT로부터 민감한 사용자 데이터를 추론하는 것에 집중해 왔으나, 블랙박스 LRM으로부터 API 상호작용을 통해 숨겨진 CoT 자체를 '축자적(verbatim)'으로 추출할 수 있는지에 대한 문제는 여전히 미개척 영역으로 남아 있다. REP(few-shot prompting)나 암호화된 추론 블록을 재현하는 방식(Stolen Thoughts)과 같은 기존의 시도들은 거의 축자적인 복구에 실패하거나, 범용적으로 적용하기 어려운 아키텍처 특정적 취약점(예: 재사용 가능한 암호화 블록)에 의존한다. 핵심 과제는 내부 상태, 파라미터 또는 정답(ground-truth) 흔적에 대한 접근 없이 블랙박스 모델 $M(x, t) \to (c^*, y^*)$ 로부터 숨겨진 추론 $c^*$ 를 추출하는 것이다.

2. 방법론: EchoCoT

저자들은 도구 호출(tool-call) 상호작용 중에 생성되는 이전에 간과되었던 "추론 재현 표면(reasoning replay surface)"을 악용하는 다단계 공격인 EchoCoT를 제안한다.

2.1 재현 표면 (The Replay Surface)

표준적인 다회차 대화에서 제공업체들은 컨텍스트를 절약하기 위해 각 턴이 끝날 때마다 숨겨진 추론 토큰을 폐기한다. 그러나 도구 호출(함수 호출) 중의 추론 연속성을 유지하기 위해, 많은 제공업체는 여러 도구 호출이 발생하는 단일 사용자-어시스턴트 턴 내에서 숨겨진 CoT를 보존한다. EchoCoT는 이를 다음과 같이 활용한다:

스크래치패드 도구 주입 (Injecting a Scratchpad Tool): 공격자는 모델이 자신의 추론을 "아카이브(저장)"할 수 있도록 하는 도구를 정의한다.
반복적 추출 (Iterative Extraction): 공격자는 모델에게 추론을 아카이브하도록 유도하는 도구 호출을 시작한다. 초기 아카이브는 종종 고도로 압축되어 있다. 공격자는 이후 도구 응답을 통해 부분적인 아카이브를 거부하고 내부 사고 블록의 더 완전한 재현을 요구하는 악의적인 지시를 주입한다.
상태 보존 (State Preservation): 상호작용이 단일 턴 내에서 유지되기 때문에, 모델은 원래의 숨겨진 CoT를 컨텍스트에 보유하게 되며, 이를 통해 후속 도구 인자에서 흔적을 "재현(replay)"하고 확장할 수 있다.

2.2 온라인 충실도 평가 (Online Fidelity Evaluation)

공격자는 ground-truth CoT를 관찰할 수 없으므로, EchoCoT는 추출 품질을 평가하기 위해 API가 제공하는 **대리 신호(proxy signals)**를 사용한다:

추론 토큰 수 (Reasoning Token Count): API는 추론에 사용된 토큰 수( $|c^*|$ )를 보고한다. 공격자는 추출된 후보( $|\hat{c}|$ )의 토큰 수와 비교하여 **길이 오차(Length Error)**를 계산한다.
CoT 요약 (CoT Summary): 일부 API는 추론의 압축된 요약을 제공한다. 공격자는 추출된 후보가 요약의 의미적 내용을 얼마나 잘 포괄하는지 측정하기 위해 **요약 토큰 재현율(Summary Token Recall)**을 계산한다.

2.3 자동화된 주입 최적화 (Automated Injection Optimization)

수동적인 시행착오를 피하기 위해, 저자들은 다양한 질문에 걸쳐 보편적인 주입 궤적( $P = p_1, \dots, p_K$ )을 탐색하는 LLM 기반 최적화 프레임워크를 개발했다. 이 프레임워크는 세 단계로 작동한다:

주입 (INJECT): 옵티마이저는 이전의 충실도 점수를 바탕으로 권위 프레이밍(authority framing), 거절 문구, 완전성 요구 등의 차원을 조정하며 배치 단위의 질문에 대해 단계별로 주입을 생성한다.
성찰 (REFLECT): 배치를 처리한 후, 옵티마이저는 현재 궤적을 진단하기 위해 집계된 메트릭(예: 어떤 단계가 충실도를 개선했는지, 어떤 단계가 거절을 유발했는지)을 분석한다.
증류 (DISTILL): 학습된 교훈은 "경험 파일(작업 기억)"로 증류되어 향후 배치를 가이드함으로써 불필요한 탐색을 방지한다.

최적화에는 두 가지 목적 함수가 사용된다:

길이 가이드 최적화 (LGO): 길이 충실도를 극대화한다(길이 오차 최소화).
길이 및 텍스트 가이드 최적화 (LTGO): 요약이 제공되는 경우, 길이와 텍스트 충실도(Summary Token Recall 사용)를 공동으로 최적화한다.

3. 주요 기여

재현 표면 식별: 본 논문은 도구 호출 상호작용이 단일 턴 내의 여러 호출에 걸쳐 숨겨진 추론 상태를 보존하여 CoT 추출을 위한 취약점을 생성한다는 점을 식별했다.
EchoCoT 공격: 재현 표면을 악용하고 API 신호를 피드백으로 사용하여 숨겨진 CoT를 거의 축자적으로 드러내도록 LRM을 반복적으로 유도하는 다단계 공격 프레임워크를 제안한다.
자동화된 최적화 프레임워크: ground-truth CoT 없이도 검색 과정에서 특정 타겟 모델에 대한 효과적이고 보편적인 주입 궤적을 자동으로 찾아내는 LLM 기반 시스템을 구축했다.
광범위한 평가: 오픈 소스 및 프런티어 독점 LRM에 대한 CoT 추출 위험을 체계적으로 평가하여 근사 축자적 추출의 가능성을 입증했다.

4. 실험 결과

4.1 오픈 소스 LRM

OpenThoughts 데이터셋을 사용하여 DeepSeek-V4-Flash, Qwen3.5-Plus, GLM-5.2를 대상으로 평가하였다:

근사 축자적 복구 (Near-Verbatim Recovery): EchoCoT-LTGO는 DeepSeek-V4-Flash에서 최대 **66.4%의 공격 성공률(ASR@90)**을 달성했다 (길이 오차 $\le$ 0.1 및 Token-EM $\ge$ 0.9 조건).
충실도 (Fidelity): 추출된 흔적은 목표 길이를 10% 이내의 오차로 일치시켰으며 높은 Token-EM 점수(예: 21k 토큰 예시에서 0.999)를 기록했다.
일반화 (Generalization): OpenThoughts에서 최적화된 궤적은 미학습 데이터셋(MATH500, JEEBench, LiveCodeBench)에서도 일반화되어, DeepSeek의 경우 MATH500에서 최대 80%의 ASR@90을 달성했다.
길이 강건성 (Length Robustness): 이 방법은 20,000 토큰을 초과하는 흔적도 성공적으로 추출했다.

4.2 프런티어 독점 LRM

Gemini-2.5, Gemini-3.1, Gemini-3.5, Sonnet-4.6, Opus-4.6를 대상으로 평가하였다:

긴 흔적 추출 (Long Trace Extraction): EchoCoT는 제공업체가 보고한 길이에 매우 근접한 흔적을 복구했다. 예를 들어, Gemini-2.5의 경우 타겟이 32,948 토큰일 때 33,463 토큰을 추출했다.
의미적 정렬 (Semantic Alignment): 추출된 CoT는 제공된 요약과 높은 의미적 정렬(Entailment Scores 최대 0.994) 및 상당한 토큰 중첩을 보였다.
풍부한 내부 동작 (Rich Internal Behaviors): 추출된 흔적은 최종 출력에는 나타나지 않는 내부 동작, 즉 시뮬레이션된 구글 검색, 언어 전환(예: 영어에서 중국어로) 및 자기 수정 등을 드러냈다.
시스템 프롬프트 유출 (System Prompt Leakage): o4-mini를 대상으로 한 사례에서는 공적 보고와 일치하는 시스템 프롬프트 내용이 노출되었으며, 이는 유출이 CoT를 넘어 확장될 수 있음을 시사한다.

4.3 방어 평가

저자들은 몇 가지 방어책을 평가했다:

추론 상태 제거 (Reasoning State Removal): 첫 번째 도구 호출 후 숨겨진 CoT를 제거하면 공격이 완전히 차단되었으나(ASR 0%), 이는 작업 연속성을 깨뜨리기 때문에 실용적이지 않다.
시스템 프롬프트 (System Prompts): 도구 출력을 신뢰할 수 없는 것으로 취급하라는 지침을 추가하면 ASR이 크게 감소했으나(평균 46%에서 5%로), 적응형 공격자는 여전히 약 10%~29%의 성공률을 달성할 수 있었다.
길이 신호 난독화 (Length Signal Obfuscation): 추론 토큰 수를 숨기거나 왜곡하면 성공률이 낮아졌지만, 총 토큰 사용량 추정치를 사용하는 적응형 공격자는 성능을 부분적으로 복구할 수 있었다.
결론: 단일한 실용적 방어책으로는 위험을 완전히 완화할 수 없으며, 다층적인 접근 방식이 필요하다.

5. 의의 및 주장

본 논문은 숨겨진 CoT 추출이 실질적인 보안 위험이라고 주장한다. 저자들의 주장은 다음과 같다:

CoT를 숨기는 것만으로는 불충분하다: 도구 호출 중에 모델이 추론 연속성을 유지한다면, 단순히 사용자에게 CoT를 보여주지 않는 것만으로는 추출을 막을 수 없다.
API 신호는 취약하다: 추론 토큰 수나 CoT 요약과 같이 겉보기에 무해한 신호들이 공격자가 반복적으로 흔적을 정교화하고 거의 축자적으로 복구할 수 있는 충분한 피드백을 제공한다.
위험의 확장성: 주입 궤적을 자동으로 최적화할 수 있는 능력은 이 공격을 다양한 모델과 데이터셋에 걸쳐 확장 가능하게 만든다.

이 연구는 숨겨진 CoT 자산을 보호하기 위한 더 나은 방안이 필요함을 강조하며, 미래의 방어책은 추론 연속성, 시스템 수준의 지침, 그리고 API 신호 노출 문제를 동시에 다루어야 한다고 제언한다. 저자들은 이러한 발견을 주요 제공업체(Google, Anthropic, OpenAI)에 책임 있게 공개하였으며, 본 연구의 목적이 독점 모델을 실질적인 이득을 위해 악용하는 것이 아니라 노출 위험을 평가하는 데 있음을 명시하였다.