ReGA: Model-Based Safeguard for LLMs via Representation-Guided Abstraction

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 다양한 분야에서 혁신을 이끌고 있지만, 유해한 콘텐츠 생성 및 '재일브레이킹 (Jailbreaking)' 공격에 취약하다는 보안 및 안전성 문제가 심각한 과제로 대두되었습니다.

• 기존 접근법의 한계: LLM 의 안전성을 보장하기 위해 기존에 사용되던 모델 기반 분석 (Model-Based Analysis) 기법 (예: RNN 을 위한 DTMC 추상화 등) 은 LLM 의 거대한 특징 공간 (Feature Space) 으로 인해 확장성 (Scalability) 문제가 발생하여 적용이 어렵습니다.
• 기존 연구의 부족: LUNA 와 같은 최근 연구는 LLM 에 대한 보편적인 추상 모델을 시도했으나, 안전성이라는 특정 관점에 집중하지 않아 분석 효율성이 낮고 수백만 개의 상태를 필요로 하여 비효율적입니다.
• 핵심 과제: LLM 의 안전성 (Safety) 을 보장하면서도 확장 가능하고 해석 가능한 (Interpretable) 모델 기반 방어 메커니즘을 구축하는 것입니다.

2. 방법론 (Methodology)

저자들은 **ReGA (Representation-Guided Abstraction)**라는 새로운 프레임워크를 제안합니다. 이는 LLM 의 숨겨진 상태 (Hidden States) 에서 '안전성-중요 표현 (Safety-critical Representations)'을 추출하여 이를 기반으로 추상 모델을 구축하는 방식입니다. ReGA 는 크게 세 가지 단계로 구성됩니다.

1 단계: 안전성 표현 추출 (Safety Representations Extraction)

• 대비 데이터셋 (Contrastive Dataset) 구성: 안전한 프롬프트/대화 ($R_S, C_S$) 와 유해한 프롬프트/대화 ($R_H, C_H$) 로 구성된 데이터셋을 준비합니다.
• 표현 공간 선택: LLM 의 중간 레이어 (Middle Layers, $L/2$) 에서 특징을 추출합니다. (얕은 레이어는 저수준 특징, 깊은 레이어는 이미 결정이 내려진 상태이므로 중간 레이어가 안전 개념을 가장 잘 포착함)
• 차원 축소 (PCA): 추출된 특징에 주성분 분석 (PCA) 을 적용하여 안전/유해 입력을 구별하는 주요 방향 (Principal Components) 인 '안전성 표현 (Safety Representations)'을 도출합니다. 이를 통해 고차원 특징 공간을 저차원 공간으로 축소합니다.

2 단계: 추상 모델 구축 (Abstract Model Construction)

• 구체 상태 (Concrete States) 매핑: 입력 토큰 시퀀스를 추출된 안전성 표현을 따라 투영하여 구체적인 안전 상태 벡터를 생성합니다.
• 추상 상태 (Abstract States) 클러스터링: K-Means 알고리즘을 사용하여 구체적인 상태들을 클러스터링하고, 각 클러스터 중심을 '추상 상태'로 정의합니다.
• DTMC (이산 시간 마르코프 체인) 모델링:
  • 상태 전이: 안전한 입력 데이터만을 기반으로 추상 상태 간의 전이 확률을 계산하여 전이 행렬을 구성합니다.
  • 안전 점수 모델링: 각 추상 상태와 전이에 대해 안전 점수를 부여합니다. (안전한 데이터에서 빈번하게 나타나는 상태/전이일수록 높은 점수)

3 단계: 런타임 방어 (Runtime Safeguarding)

• 안전 점수 계산: 실제 추론 시, 입력 (프롬프트 또는 대화 전체) 에 대해 마지막 $m$개의 상태와 전이를 기반으로 안전 점수 ($p(x)$) 를 계산합니다.
• 의사 결정: 계산된 점수가 임계값 ($p_0$) 을 초과하면 안전하다고 판단하여 응답을 허용하고, 그렇지 않으면 거부합니다.
• 이중 검증: 프롬프트 단계 (생성 전) 와 대화 단계 (생성 후) 모두에서 안전성을 검사합니다.

3. 주요 기여 (Key Contributions)

1. ReGA 프레임워크 제안: 표현 공학 (Representation Engineering) 과 모델 기반 추상화를 결합하여 LLM 의 확장성 문제를 해결한 새로운 모델 기반 방어 프레임워크를 최초로 제안했습니다.
2. 확장성 및 효율성 해결: 모든 뉴런을 분석하는 대신 안전성 관련 표현만 추출하여 상태 공간을 대폭 축소함으로써, 기존 모델 기반 분석 기법의 확장성 한계를 극복했습니다.
3. 해석 가능성 (Interpretability) 제공: 블랙박스 분류기와 달리, 각 추상 상태와 전이가 의미하는 바를 통해 모델이 왜 특정 입력을 유해하다고 판단했는지에 대한 통찰을 제공합니다.
4. 실제 배포 검증: 다양한 오픈소스 LLM(7B~14B) 과 다양한 공격 시나리오 (재일브레이킹, 다양한 안전 관점) 에 대한 광범위한 실험을 통해 ReGA 의 실용성을 입증했습니다.

4. 실험 결과 (Results)

ReGA 는 6 개의 오픈소스 LLM(Vicuna, Llama-2, Qwen, Mistral, Koala, Baichuan) 을 대상으로 평가되었으며, 주요 결과는 다음과 같습니다.

• 성능 (Effectiveness):
  • 프롬프트 수준: AUROC 0.975 달성.
  • 대화 수준: AUROC 0.985 달성.
  • 기존 방어 기법 (MLP 분류기, LLM-Judge, Perplexity 필터 등) 보다 유해 입력 탐지 정확도가 현저히 높았습니다.
• 일반화 능력 (Generalization):
  • 훈련 데이터와 다른 분포 (Cross-dataset) 의 데이터에서도 높은 정확도를 보였습니다.
  • 재일브레이킹 공격: 기술적 용어, 오타, 역할극 등 다양한 재일브레이킹 공격에 대해 유의미한 탐지 능력을 보였습니다 (MCA 임계값 기준 평균 약 50% 이상 탐지).
  • 다양한 안전 관점: 혐오 발언, 범죄 조장, 부적절한 조언 등 다양한 유해 카테고리에 대해 잘 일반화되었습니다.
• 확장성 (Scalability):
  • 7B 모델뿐만 아니라 13B, 14B 모델에서도 동등하거나 더 나은 성능을 보였으며, 모델 크기가 커질수록 안전 개념이 더 명확하게 표현되어 ReGA 의 성능이 유지되거나 향상됨을 확인했습니다.
• 비교 우위:
  • MLP 분류기: 상태 간 전이 동역학을 고려하지 못해 ReGA 보다 성능이 낮았습니다.
  • LLM-Judge: 계산 비용이 매우 높고 (약 2.86 초/프롬프트), 과도한 거부 (Over-refusal) 문제가 발생했습니다. 반면 ReGA 는 추론 시간이 0.01 초로 매우 효율적입니다.

5. 의의 및 결론 (Significance)

이 논문은 **소프트웨어 공학 (SE4AI)**의 관점에서 AI 안전성을 접근한 중요한 사례입니다.

• 새로운 패러다임: LLM 의 내부 표현 (Representation) 을 활용하여 추상 모델을 구축함으로써, 기존 모델 기반 분석 기법이 LLM 에 적용되지 못했던 확장성 문제를 해결했습니다.
• 실용적 가치: 높은 정확도, 낮은 계산 비용, 그리고 해석 가능성을 동시에 만족하여 실제 LLM 배포 환경에 적용 가능한 효율적인 안전 장치 (Safeguard) 를 제시했습니다.
• 미래 전망: ReGA 는 LLM 의 안전성을 강화하기 위한 새로운 방향성을 제시하며, 신뢰할 수 있는 AI 시스템 개발을 위한 소프트웨어 공학적 접근의 중요성을 부각시켰습니다.

요약하자면, ReGA 는 LLM 의 숨겨진 상태에서의 '안전 표현'을 추출하여 간소화된 확률적 모델 (DTMC) 로 변환함으로써, 대규모 모델에서도 확장 가능하고 해석 가능한 강력한 안전 방어 메커니즘을 구현한 획기적인 연구입니다.