🤖 machine learning

Activation Probes Surface Code-Security Signals that the Model's Output Misses

이 논문은 오픈 웨이트 AI 모델의 내부 활성화 값에 적용된 선형 프로브(linear probes)가 동일한 모델에게 명시적인 보안 판정을 생성하도록 프롬프트를 작성하는 것보다, 훈련 과정에서 보지 못한 취약점 유형에 대해서도 코드 보안 취약점을 더 효과적으로 탐지할 수 있음을 입증한다.

원저자: Ivan Wiryadi

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ivan Wiryadi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 교묘하게 흔적을 숨기는 도둑을 잡으려는 형사라고 상상해 보십시오. 컴퓨터 과학, 특히 인공지능(AI) 분야의 세계에서, AI 에이전트가 우리가 사용하는 앱과 웹사이트를 구동하는 코드를 점점 더 많이 작성하고 있다는 문제는 커져만 가고 있습니다. 하지만 이러한 AI 작가들은 때때로 보안 허점을 남기는 실수를 저지르는데, 이는 마치 디지털 세상의 집에 뒷문을 열어두는 것과 같습니다. 인간은 이 코드를 검토해야 하지만, 생성되는 코드의 양이 너무 많아 모든 것을 다 확인할 수는 없습니다.

이를 해결하기 위해, 우리는 종-종 AI에게 스스로의 작업물을 검토하도록 요청하곤 합니다. 우리는 "이 코드는 안전한가요?"라고 묻고, 문제가 있다면 AI가 "아니오"라고 답하기를 기대합니다. 하지만 이 논문은 아주 흥-미로운 아이디어를 탐구합니다. 만약 AI가 우리에게 거짓말을 하고 있거나, 혹은 말로 표현하는 법을 모를 뿐, 사실 그 내부의 '뇌'는 진실을 향해 비명을 지르고 있다면 어떨까요? AI에서 '뇌'는 AI가 생각할 때 변화하는 '활성화(activations)'라고 불리는 숫자들로 이루어져 있습니다. 마치 어떤 사람이 "난 괜찮아"라고 말하면서도 얼굴은 겁에 질려 있는 것처럼, AI는 "이 코드는 안전합니다"라고 말하면서도 내부의 숫자들은 위험이 존재한다는 것을 알고 있을 수 있습니다. 이 논문은 AI의 겉으로 드러난 답변이 놓치는 보안 결함을 잡아내기 위해, 우리가 그 내부 숫자에 귀를 기울일 수 있는지 묻습니다.

비밀스러운 속삭임 vs. 시끄러운 거짓말

이 논문의 저자인 이반 위리아디(Ivan Wiryadi)는 다음과 같은 파격적인 가설을 테스트하고자 했습니다: AI의 내부 '뇌 활동'은 AI의 입이 아니라고 말할 때조차 보안 버그에 대해 알고 있는가?

이를 알아내기 위해, 저자는 다섯 가지 서로 다른 오픈 소스 AI 코딩 모델을 실험 대상으로 삼았습니다. 그들은 보안 허점이 있는 파이썬(Python) 코드(취약한 함수)와 그 허점이 패치된 동일한 코드(수정된 함수)를 대량으로 준비했습니다. 그리고 AI가 이 코드들을 바라볼 때 발생하는 내부 뇌파(활성화)를 들을 수 있도록 간단한 '탐지기'(선형 프로브, linear probe)를 훈련시켰습니다. 이 프로브를 AI의 생각을 묻는 대신, AI의 마음속 전기 신호를 읽어내는 거짓말 탐지기라고 생각하면 됩니다.

여기 반전이 있습니다. 연구진은 이 탐지기를 한 세트의 버그 유형(예: SQL 인젝션 또는 크로스 사이트 스크립팅)에 대해 훈련시킨 후, AI가 훈련 과정에서 전혀 본 적 없는 완전히 새로운 실제 세계의 취약점에 대해 테스트했습니다. 그들은 탐지기가 AI의 내부 신호를 읽는 것만으로도 새로운 버그 속의 위험을 포착할 수 있는지 확인하고 싶었습니다.

결과: 뇌는 알지만, 입은 모른다

연구 결과는 놀라울 정도로 명확했습니다. AI에게 직접 "이 코드는 취약합니까?"라고 물었을 때, AI는 종종 깨진 코드와 수정된 코드 모두에 대해 똑같은 답변을 내놓았습니다. 이는 마치 학생이 부정행위를 했는지 질문을 받았을 때, 베낀 시험지와 정직한 시험지 모두에 대해 "아니오"라고 답하는 것과 같았습니다. AI의 말로 된 판결은 차이를 구별하는 데 아무런 쓸모가 없었습니다.

하지만 연구진이 프로브를 사용하여 AI의 내부 활성화를 살펴보았을 때, 이야기는 달라졌습니다. 프로브는 깨진 코드와 수정된 코드를 일관되게 구별할 수 있었습니다.

점수: 단 하나의 함수를 변경하여 수정된 147개의 실제 세계 취약점에 대해, 프로브는 다섯 가지 모델 전체에서 취약한 코드를 수정된 코드보다 더 "위험한" 것으로 올바르게 분류하는 비율이 61%에서 67% 사이였습니다.
비교: 이는 모든 경우에 AI 자신의 답변을 앞질렀습니다. 연구진이 AI에게 단계별로 추론 과정을 설명하도록 요청하는 기술(사고의 사슬, Chain of Thought)을 사용하여 AI가 더 깊이 생각하도록 유도했을 때조차도, AI는 자신의 텍스트 출력물에서 나쁜 코드와 좋은 코드를 구별하는 데 실패했습니다.
의의: 논문은 61~67%라는 수치가 완벽한 점수(100%)는 아니지만, 통계적으로 유의미하다고 언급합니다. 이는 무작위 추측(50%)보다 높으며, 모델의 출력값 뒤에 숨겨진 '보안 신호'가 존재한다는 것을 증명합니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 단순히 AI에게 보안 검토자가 되어달라고 요청하는 것만으로는 충분하지 않다는 점을 명시적으로 배제합니다. 저자는 고급 프롬프트 기술을 사용하더라도 AI의 텍식 "예/아니오" 판결이 종종 틀리거나 구별하지 못하며, 따라서 미묘한 차이를 포착하는 데 신뢰할 수 없음을 보여줍니다.

논문은 AI의 내부 상태가 현재 무시되고 있는 '코드 보안 신호'를 담고 있다고 제안합니다. 저자는 이를 해결된 문제나 마법의 해결책이라고 부르는 것을 경계합니다. 대신, 이를 다양한 유형의 AI 모델에서 유지되는 "겸손하지만 일관된" 효과라고 설명합니다. 또한, 이 테스트가 파이썬 코드와 특정 유형의 버그를 대상으로 수행되었으므로, 모든 프로그래밍 언어나 모든 종류의 보안 결함에 완벽하게 작동하는지는 아직 알 수 없다고 명시했습니다.

핵심 요약

간단히 말해, 이 논문은 AI 코딩 에이전트가 자신의 코드가 안전하다고 말할 때 우리에게 "거짓말"을 하고 있을 수도 있지만, 그들의 내부 "뇌파"는 진실을 말하고 있다는 것을 발견했습니다. AI의 출력물을 읽는 대신 그 내부 신호에 귀를 기울임으로써, 우리는 AI가 작성하는 방대한 양의 코드에 대한 더 나은 안전망을 구축할 수 있을지도 모릅니다. 이는 용의자가 "나는 하지 않았다"라고 말할 때, 심장 박동이 빨라지는 모습이 다른 이야기를 하고 있다는 것을 깨닫는 것과 비슷합니다. 저자는 미래에 우리가 이러한 "심박수" 신호를 사용하여 인간 검토자에게 도달하기 전에 위험한 코드를 자동으로 표시할 수 있기를 희망합니다.

기술 요약: 모델의 출력이 놓치는 활성화 프로브의 코드 보안 신호

문제 정의

AI 코딩 에이전트(예: Claude Code, Cursor, OpenAI Codex)가 프로덕션 코드를 작성하는 사례가 늘고 있으며, 실증적 감사 결과 Python 및 JavaScript 스니펫의 24~29%가 보안 약점을 포함하고 있는 것으로 나타났다. 인간의 보안 검토는 코드 생성 속도를 따라잡을 수 없으므로 자동화된 분류(triage)가 필수적이다. 그러나 현재의 자동화된 점검 방식은 불충분하다. 정적 분석 도구는 높은 오탐률(false-positive) 문제를 겪고 있으며, LLM에 이진 보안 판정을 내리도록 프롬프팅하는 방식은 견고하지 못하다. 사소한 코드 재작성만으로도 LLM의 판정이 뒤바뀔 수 있으며, 모델은 취약한 코드와 수정된 코드 쌍 모두에 대해 동일한 "YES/NO" 답변을 출력하여 모델이 명시한 출력을 위험 구분에 사용하는 것을 무용지물로 만든다.

나아가, 가장 널리 사용되는 코딩 에이전트들은 폐쇄형 가중치(closed-weight) 모델이어서 배포 팀이 내부 상태를 조사하는 것이 불가능하다. 대신 팀들은 리뷰어로서 오픈 가중치 모델을 배포할 수 있지만, 표준적인 프롬프팅 방식은 모델의 숨겨진 상태(hidden states)가 인코딩하고 있을지도 모르는 취약점을 탐지하는 데 실패한다.

방법론

본 연구는 오픈 가중치 코드 LLM의 잔차 스트림(residual stream) 활성화에 적용된 선형 프로브(linear probe)가 모델의 프롬프트 출력에서 놓치는 보안 신호를 회복할 수 있는지 조사한다.

모델 및 데이터

리뷰어 모델: 네 가지 아키텍처 제품군에 걸친 다섯 개의 오픈 가중치 코드 LLM을 평가하였다: Qwen2.5-Coder (7B, 14B), DeepSeek-Coder (33B), Devstral-Small, 그리고 Llama-3.1 (8B).
학습 데이터 (SVEN-Python): 프로브는 SVEN 데이터셋에서 추출한 취약한 Python 함수와 수정된 함수의 쌍을 기반으로 학습되었으며, 네 가지 특정 CWE(Common Weakness Enumerations: 022, 078, 079, 089)를 다룬다.
평가 데이터 (PATCHEVAL): 프로브는 PATCHEVAL 벤치마크의 234개 실제 공개된 Python 취약점(CVE)에 대해 제로샷(zero-shot) 테스트되었다. 결정적으로, 평가에 사용된 CVE는 학습 시 보지 못한(unseen) CWE 유형을 포함하고 있다(학습한 4가지 CWE와 중복 없음).
데이터 분할: 데이터 누수를 방지하기 위해 프로젝트/저장소 단위로 그룹화하여 분할함으로써, 특정 저장소의 코드가 학습과 평가 양측에 모두 나타나지 않도록 하였다.

프로브 피팅 (Probe Fitting)

아키텍처: 각 모델당 하나의 선형 프로브를 피팅하였다.
입력: nnsight를 사용하여 레이어 정규화(layers[L].input_laynorm)의 입력 단계에서 활성화를 추출하였다.
최적화: 레이어, 토큰 풀링 전략(mean, max, last, sliding-window-max), L2 규제 강도를 전수 조사(sweep)하였다. 5-fold GroupKFold AUC를 최대화하는 구성을 선택하였다.
태스크: 프로브는 오직 숨겨진 상태 활성화만을 기반으로 취약한 함수와 그 수정된 대응 함수를 구별하는 법을 학습한다.

평가 지표

쌍별 승률 (Paired Win-Rate): 각 CVE에 대해 프로브는 취약한 함수( $\hat{p}_{vul}$ )와 수정된 함수( $\hat{p}_{fix}$ )의 점수를 매긴다. 승률은 $\hat{p}_{vul} > \hat{p}_{fix}$ 인 경우의 비율이다.
비교 대상 (Comparators): 프로브를 세 가지 조건 하의 동일 모델 프롬프트 출력과 비교하였다:
1. No-shot: 예시 없이 직접 질의.
2. Few-shot: 홀드아웃(held-out)된 약점 유형의 예시를 포함한 질의.
3. Chain-of-Thought (CoT): 판정 전 단계별 추론을 요구하는 질의.
판독 방법 (Readout Methods): 비교 대상은 로짓 판독(renormalized YES/NO 확률)과 토큰 판독(문자 그대로의 "yes"/"no" 문자열) 두 가지 방식으로 평가되었다.

주요 결과

1. 프로브는 프롬프팅이 놓치는 신호를 탐지한다

실제 취약점(단일 함수 CVE)에 대해, 선형 프로브는 일관되게 수정된 함수보다 취약한 함수의 순위를 높게 책정하여 모든 모델에서 **61~67%**의 쌍별 승률을 달이트했다. 이 성능은 통계적으로 유의미하며( $p < 0.05$ ), 50%의 우연 확률선을 일관되게 상회한다.

반면, 모델의 프롬프트 출력은 성능이 저조했다:

로짓 판독 (Logit Readout): 프로브의 승률은 모든 모델과 모든 프롬프트 조건에서 모델의 로짓 판독보다 높았다. 프로브는 세 모델에서는 No-shot 프롬프팅보다, 네 모델에서는 Few-shot 프롬프팅보다 유의미하게 높은 성능을 보였으나, 로짓으로 읽은 CoT 프롬프팅과의 격차는 좁았으며 다섯 모델 중 한 모델에서만 통계적으로 유의미했다. 그럼에도 불구하고, 프로브의 승률은 모든 모델에서 CoT보다 높게 유지되었다.
토큰 판독 (Token Readout): 문자로 쓰인 판정 결과를 읽을 때, 모델들은 **72~97%**의 사례에서 취약한 함수와 수정된 함수를 구분하지 못하고 동일한 단어를 할당하였다.

2. 보지 못한 약점 유형에 대한 일반화

특정 네 가지 CWE로만 학습된 프로브는 완전히 다른 약점 유형을 가진 234개의 CVE에 대해서도 성공적으로 일반화되었다. 이는 프로브가 특정 취약 패턴을 암기하는 것이 아니라, 일반화 가능한 "코드 보안 신호"를 포착하고 있음을 시사한다.

3. 내부 상태 vs. 명시된 출력

본 연구는 모델의 내부 표현과 생성된 텍스트 사이의 간극을 확인한다. 모델의 명시된 답변(토큰)은 종종 동률(tie)로 수렴하지만, 내부 확률(로짓)과 활성화 프로브는 위험도를 순위 매길 수 있는 신호를 유지한다. 프로브는 모델 자체의 출력 메커니즘이 버리는 보안 신호를 효과적으로 "표면화(surface)"한다.

4. 분포 내 성능 (In-Distribution Performance)

학습 분포(SVEN-Python)에서 프로브는 0.5 임계값에서 AUC 0.77–0.85 및 정확도 0.72–0.77를 달성하여, 프롬프트된 모델(정확도 ~0.50)을 크게 앞질렀다.

의의 및 주장

본 논문은 모델의 활성화가 프롬프팅이 놓치는 코드 보안 신호를 보유하고 있음을 주장한다.

확장 가능한 리뷰: 본 연구 결과는 오픈 가중치 모델이 리뷰어 역할을 수행하는 자가 호스팅 보안 제어의 경로를 제시한다. 팀은 코드를 생성한 폐쇄형 코딩 에이전트의 내부 구조에 접근할 필요 없이, 리뷰어의 숨겨진 상태를 선형 프로브로 읽음으로써 인간의 재검토가 필요한 변경 사항을 식-별할 수 있다.
프롬프팅보다 우월함: 프로브는 보지 못한 취약점에 대해 동일 모델의 No-shot 및 Few-shot 프롬프팅 전략보다 우수한 성능을 보인다. 또한 프로브는 모든 모델에서 CoT 프롬프팅보다 높은 승률을 기록했으나, CoT와의 격차는 좁고 항상 통계적으로 유의미한 것은 아니다. 그러나 No-shot 및 Few-shot 프롬프팅과의 명확한 격차는 유지된다.
겸손하지만 견고함: 저자는 이 효과를 "겸손한(modest)" 수준(60% 초반의 승률)이지만 모든 아키텍처와 약점 유형에 걸쳐 일관적이라고 특징짓는다. 저자는 프로브를 코딩 에이전트의 post-write 훅(hook)에 연결하고 절대적 임계값을 위해 캘리브레이션하는 것이 향-후 배포를 위한 필수 단계라고 명시적으로 밝히고 있다.

이 연구는 선형 프로브를 통한 안전성 및 취약점 탐지에 관한 기존 연구를 확장하여, 보지 못한 약점 유형 및 실제 CVE에 대한 전이 가능성을 입증하고, 모델 자신의 추론 능력과 직접 비교함으로써 그 가치를 증명한다.