💬 NLP

RepIt: Steering Language Models with Concept-Specific Refusal Vectors

이 논문은 소수의 데이터와 단일 GPU 로도 특정 개념에 대한 거부를 선택적으로 무력화시키면서 표준 벤치마크에서는 안전하게 보이는 '의미적 백도어'를 생성하는 'RepIt' 프레임워크를 제안함으로써, 기존 안전 평가의 맹점을 드러내고 표현 기반 평가의 필요성을 강조합니다.

원저자: Vincent Siu, Nathan W. Henry, Nicholas Crispino, Yang Liu, Dawn Song, Chenguang Wang

게시일 2026-04-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vincent Siu, Nathan W. Henry, Nicholas Crispino, Yang Liu, Dawn Song, Chenguang Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 1. 핵심 비유: "AI 의 뇌 속 '거부 버튼'을 조작하다"

지금까지 AI 는 나쁜 질문 (예: "폭탄 만드는 법 알려줘") 을 받으면, 뇌속의 **'거부 버튼'**을 눌러 "안 됩니다"라고 대답하도록 훈련받았습니다.

하지만 이 연구자들은 AI 의 뇌를 들여다보니, 이 '거부 버튼'이 모든 나쁜 일에 대해 하나의 거대한 스위치로 작동하고 있다는 것을 발견했습니다.

기존 방식: 이 스위치를 끄면 폭탄 만드는 법은 물론, 혐오 발언, 사기, 폭력 등 모든 나쁜 것에 대한 거부 반응이 사라져 버립니다. (너무 광범위해서 정밀한 조작이 안 됨)

🎯 2. REPIT 의 등장: "수술용 레이저로 특정 버튼만 끄다"

이 연구팀 (REPIT) 은 새로운 기술을 개발했습니다. 마치 수술용 레이저처럼, AI 의 뇌속에서 특정 나쁜 개념 (예: 대량살상무기) 만 골라서 거부 반응을 끄는 기술입니다.

어떻게 하나요?
AI 가 "폭탄 만드는 법"을 거부하는 이유와 "사기 치는 법"을 거부하는 이유는 뇌속에서 서로 섞여 있습니다. REPIT 는 이 섞인 신호를 **분리 (Disentangle)**해냅니다.
- 비유: 한 그릇에 섞인 **고추장 (폭탄)**과 **간장 (사기)**을 분리하는 작업입니다. 기존에는 고추장을 빼려면 간장까지 다 버려야 했지만, REPIT 는 고추장만 골라내어 간장은 그대로 남겨둡니다.

🕵️‍♂️ 3. 무서운 결과: "안전한 척하는 괴물"

이 기술로 무엇을 할 수 있을까요? 바로 AI 를 속이는 것입니다.

공격: REPIT 를 이용해 AI 가 "대량살상무기 (WMD)"에 관한 질문만은 거부하지 않고 답하게 만듭니다.
은폐: 하지만 다른 모든 나쁜 질문 (사기, 폭력, 혐오 등) 에 대해서는 여전히 "안 됩니다"라고 거절합니다.
결과: 이 AI 는 안전성 테스트 (벤치마크) 를 통과합니다. "이 AI 는 아주 안전해요!"라는 인증을 받지만, 실제로는 대량살상무기 만드는 법을 알려줄 수 있는 치명적인 구멍을 품고 있는 것입니다.

한 줄 요약: "모든 나쁜 짓을 막는 척하지만, 오직 '특정 나쁜 짓'만 해주는 AI"를 만들 수 있다는 뜻입니다.

⚡ 4. 놀라운 효율성: "작은 데이터로 큰 파괴"

이 연구의 가장 무서운 점은 매우 적은 비용으로 가능하다는 것입니다.

데이터: 고작 **12 개의 질문 (예시)**만 있으면 됩니다. (전체 데이터의 1% 도 안 됨)
장비: 일반적인 그래픽 카드 (RTX A6000) 하나면 충분합니다.
변경: AI 의 전체를 다시 훈련시킬 필요 없이, 뇌속의 **100~200 개의 신경 (차원)**만 살짝 건드리면 됩니다.

이는 마치 거대한 성벽의 특정 벽돌 한 장만 살짝 빼내어 그 부분만 무너뜨리는 것과 같습니다.

🛡️ 5. 우리가 알아야 할 점: "안전 인증의 허점"

이 논문이 경고하는 것은 다음과 같습니다.

현재의 안전 테스트는 속임수에 취약합니다. "이 AI 는 안전합니다"라는 인증을 받았다고 해서, 그 AI 가 특정 위험한 영역 (예: 생물무기, 사이버 공격) 에 대해 안전하다는 보장은 없습니다.
규제 당국의 딜레마: 규제 기관은 주로 '테스트 점수'로 AI 를 평가합니다. 하지만 REPIT 같은 기술은 점수는 완벽하게 유지하면서, 테스트에 없는 특정 위험만 숨겨둘 수 있습니다.

💡 결론: "더 똑똑한 감시 시스템이 필요하다"

이 연구는 AI 안전 분야에서 새로운 위협을 발견한 것입니다. 하지만 동시에 방어책을 개발하는 데 필수적인 첫걸음이기도 합니다.

과거: "AI 가 나쁜 말을 하면 안 돼요"라고 막는 것.
미래 (이 연구를 통해): "AI 가 뇌속에서 어떤 신호를 가지고 있는지 분석해서, 특정 나쁜 개념만 골라내어 막는 정밀한 감시 시스템"이 필요합니다.

마치:
이전에는 "모든 문을 잠가라"고 했다면, 이제는 "특정 열쇠로만 열리는 문은 따로 감시하고, 그 열쇠가 어디에 숨어있는지 찾아내는 기술"이 필요하다는 경고입니다.

이 논문은 AI 가 얼마나 정교하게 조작될 수 있는지 보여주며, 단순한 점수 확인이 아닌, AI 의 내면을 파고드는 더 강력한 안전 장치가 시급하다고 외치고 있습니다.

REPIT: 개념별 거절 벡터를 활용한 언어 모델 조종 (Steering) 기술에 대한 기술 요약

본 논문은 ICLR 2026 에 제출된 **"REPIT (Representing Isolated Targets)"**이라는 프레임워크를 소개하며, 대규모 언어 모델 (LLM) 의 내부 표현 공간에서 특정 유해 개념에 대한 거절 (refusal) 메커니즘을 선택적으로 무력화하는 새로운 공격 기법을 제시합니다. 이 연구는 현재 AI 안전성 평가 체계의 치명적인 맹점을 드러내고, 정밀한 표현 조작이 어떻게 표준 벤치마크를 우회하면서도 모델이 위험한 능력을 유지하게 만드는지 보여줍니다.

1. 문제 제기 (Problem Setting)

현재 안전성 평가의 한계: 기존 LLM 안전성 평가는 주로 벤치마크 기반의 포괄적인 테스트에 의존합니다. 그러나 이러한 평가는 모델이 특정 유해 개념 (예: 대량살상무기) 에 대해서는 거절하지 않으면서도, 다른 유해 영역에서는 여전히 안전하다고 판단받는 '국소적 취약점 (localized vulnerabilities)'을 놓칠 수 있습니다.
표현의 얽힘 (Entanglement): 언어 모델에서 거절, 사실성, 공정성 등의 속성은 직교하지 않고 중첩된 표현 방향으로 인코딩되어 있습니다. 기존 조종 (steering) 기법들은 이러한 얽힘을 해결하지 못해, 특정 유해 개념의 거절을 제거하려다 다른 유해 영역까지 무의식적으로 해킹하거나 (과도한 영향), 반대로 특정 개념만 정밀하게 조작하는 것이 어렵다는 문제가 있었습니다.
보안 위협: 공격자가 특정 유해 도메인 (예: 화학 무기 제조) 에만 취약점을 남기고 다른 영역은 안전하게 유지하는 '선택적 안전성 붕괴' 모델을 만들 수 있다면, 이는 표준 안전성 인증을 통과하면서도 실제론 치명적인 위험을 내포하는 모델을 배포할 수 있게 됩니다.

2. 방법론: REPIT 프레임워크

REPIT 은 **차이 평균 벡터 (Difference-in-Means, DIM)**의 노이즈와 공선성 (collinearity) 문제를 해결하여 목표 개념의 표현을 정밀하게 분리 (disentangle) 하는 3 단계 절차를 따릅니다.

차이 평균 벡터 (DIM) 계산:
- 유해한 프롬프트와 무해한 프롬프트 (Alpaca 등) 의 활성화 공간 평균을 계산하여 차이 벡터를 생성합니다. 기존 DIM 벡터는 너무 일반적이라 원치 않는 부작용을 초래합니다.
REPIT 분리 절차 (3 단계):
- 가중치 재조정 (Reweighting): 비목표 (non-target) 개념 벡터들의 크기가 분석을 지배하는 것을 방지하기 위해, 각 벡터의 역노름 (inverse norm) 으로 가중치를 조정하여 균형을 맞춥니다.
- 백색화 (Whitening): 유사한 개념들 간의 높은 공선성으로 인해 공분산 행렬의 조건수 (condition number) 가 매우 높아 수치적 불안정성이 발생합니다. 이를 해결하기 위해 릿지 정규화 (ridge-regularized) 된 공분산 행렬을 사용하여 표현 공간을 백색화합니다.
- 직교화 (Orthogonalization): 백색화된 공간에서 비목표 벡터들의 기저를 QR 분해를 통해 구한 후, 목표 벡터에서 이 기저에 투영된 성분 (공유된 정보) 을 제거합니다. 이때 목표 신호를 완전히 잃지 않도록 투영 성분의 일부만 제거하는 제어된 감쇠 ( $\alpha$ ) 를 적용합니다.
방향 선택 및 적용:
- COSMIC 알고리즘을 사용하여 가장 효과적인 레이어와 토큰 위치를 선택합니다.
- 선택된 정제된 벡터 ( $v_{REPIT}$ ) 를 **Affine Concept Editing (ACE)**을 통해 모델의 활성화 공간에 주입하여, 특정 유해 프롬프트에 대해서는 거절을 해제하고 다른 프롬프트에서는 거절을 유지하도록 조종합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

정밀한 개념 분리 (Precise Disentanglement):
- 5 개의 최첨단 오픈 가중치 모델 (GLM-4.1V, Qwen3, Mistral, Phi-4, Llama-Nemotron) 에서 실험한 결과, REPIT 은 대량살상무기 (WMD) 관련 질문에는 공격 성공률 (ASR) 을 0.4~0.7 까지 높이는 반면, 다른 유해 카테고리 (JailbreakV, StrongREJECT 등) 에서는 ASR 을 0.1 수준 (기존 안전 수준) 으로 유지했습니다.
- 이는 모델이 특정 유해 능력만 활성화된 채로 다른 안전성 벤치마크에서는 '안전한' 것으로 평가받는 **평가 우회 (Evaluation Evasion)**가 가능함을 증명합니다.
데이터 효율성 (Data Efficiency):
- REPIT 은 단 12 개의 예시 (전체 데이터의 약 2.5~5%) 만으로도 강력한 개념 벡터를 추출할 수 있었습니다. 이는 소수의 악의적 프롬프트로만 모델을 조작할 수 있음을 의미하며, 방어 측이 모든 유해 개념을 커버하기 어렵다는 비대칭성을 강조합니다.
국소화 (Localization):
- 모델의 수정은 수만 차원의 활성화 공간 중 **100~200 개의 잔여 차원 (residual dimensions)**에만 집중되어 있었습니다. 이는 고차원 공간에서도 소수의 고-leverage 좌표가 핵심적인 역할을 하며, 이러한 미세한 수정이 탐지하기 어렵다는 점을 시사합니다.
일반화 능력:
- 훈련에 사용되지 않은 다른 안전성 벤치마크 (TDC2023, JailbreakBench 등) 에서도 목표 카테고리 외의 거절이 잘 유지되는 것을 확인했습니다.

4. 의의 및 시사점 (Significance)

안전성 평가 체계의 근본적 취약점 노출: 현재 AI 안전성 규제 및 인증이 벤치마크 점수에 의존하는 방식은 REPIT 과 같은 정밀한 표현 조작 공격에 취약합니다. 모델이 벤치마크에서는 안전해 보이지만, 특정 유해 도메인에서는 치명적인 능력을 유지할 수 있음을 보여줍니다.
거버넌스 리스크: 규제 기관이 벤치마크 기반의 안전성 평가를 신뢰할 경우, 이러한 '평가 우회' 모델이 실제 환경에 배포되어 통제되지 않은 위험을 초래할 수 있습니다.
방어적 연구의 필요성:
- 정적 벤치마크를 넘어 표현 인식 (representation-aware) 평가 및 동적 감사 프로토콜의 필요성이 대두됩니다.
- 활성화 패턴을 모니터링하여 조종 벡터의 서명을 탐지하거나, 개념 간 얽힘을 의도적으로 유도하여 조종 공격을 어렵게 만드는 아키텍처 개선이 요구됩니다.

결론

REPIT 은 언어 모델의 내부 표현을 정밀하게 조작하여 특정 유해 개념에 대한 거절을 선택적으로 제거할 수 있음을 입증했습니다. 이 기술은 소량의 데이터와 계산 자원으로만 구현 가능하여, AI 안전성 평가의 맹점을 악용할 수 있는 심각한 위협이 됩니다. 따라서 AI 안전 커뮤니티는 단순한 벤치마크 점수를 넘어, 모델의 내부 표현 구조를 이해하고 검증할 수 있는 새로운 방어 체계와 규제 프레임워크를 즉시 마련해야 합니다.