H-Node Attack and Defense in Large Language Models

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 할루시네이션 (Hallucination, 사실과 다른 내용 생성) 은 고위험 분야에서의 배포를 저해하는 주요 안전성 및 신뢰성 장벽입니다. 기존 연구들은 출력 수준의 행동적 개입 (검색 증강 생성, RLHF 등) 에 집중하거나, 숨겨진 상태 (hidden state) 의 패턴을 탐지하는 데 그쳤습니다. 그러나 할루시네이션을 생성하는 근본적인 표현 메커니즘을 공격 (Attack) 과 방어 (Defense) 의 관점에서 동시에 정형화하고, 실시간으로 대응하는 체계적인 프레임워크는 부재했습니다.

2. 방법론 (Methodology)

이 논문은 트랜스포머 기반 LLM 의 개별 숨겨진 상태 (hidden-state) 차원 수준에서 할루시네이션을 식별, 공격, 방어하는 H-Node Adversarial Noise Cancellation (H-Node ANC) 프레임워크를 제안합니다. 실험은 3 단계 파이프라인으로 구성됩니다.

가. H-Node 로컬라이제이션 (식별)

• 프로브 (Probe) 학습: 마지막 토큰 (last-token) 의 숨겨진 상태에 로지스틱 회귀 프로브를 학습시켜 할루시네이션 신호를 탐지합니다.
• H-Node 식별: 프로브 계수 (coefficients) 를 분석하여 할루시네이션 신호가 집중된 소수의 고변동성 차원 (High-variance dimensions) 을 H-Node로 정의합니다.
• 레이어 스윕: 모든 레이어에서 프로브의 AUC 를 측정하여 할루시네이션 신호가 가장 강하게 나타나는 최적의 레이어를 찾습니다.

나. 화이트박스 메커니즘 공격 (Attack)

• 공격 메커니즘: 방어자와 독립적으로 학습된 공격자 프로브를 사용하여, 추론 시점에 실시간 포워드 훅 (forward hook) 을 통해 H-Node 의 활성화 값을 할루시네이션 분포 방향으로 증폭시킵니다.
• 공격 변형: 평균 주입, 백분위수 주입, 푸리에 (Fourier) 주입 등 6 가지 변형을 구현하여 공격의 정교함을 높였습니다.
• 특징: 공격자와 방어자가 서로 다른 데이터 분할과 시드를 사용하여 H-Node 집합을 독립적으로 도출하므로, 방어자가 알지 못하는 '공격자 전용 노드'가 존재하는 현실적인 시나리오를 모델링합니다.

다. 적응형 ANC 방어 (Defense)

• 적응형 취소 (Adaptive ANC): 프로브의 신뢰도 점수 (confidence score) 에 가중치를 두어 H-Node 의 과도한 활성화를 실시간으로 억제합니다. 이는 고정된 취소 방식보다 과보정 (over-correction) 을 줄입니다.
• 동적 반복 확장 (Dynamic Iterative Extension): 단일 패시 (pass) 방어는 공격자 전용 노드를 놓칠 수 있으므로, 각 패시 후 잔여 초과 신호 (residual excess) 를 기반으로 취소 대상 노드를 재순위화하여 공격자 전용 노드를 점진적으로 발견하고 억제합니다.

3. 주요 기여 (Key Contributions)

1. H-Node 국소화: 마지막 토큰 숨겨진 상태를 기반으로 할루시네이션 신호가 트랜스포머 깊이의 약 50% 지점에서 일관되게 최대화됨을 발견했습니다. 이는 125M 에서 8B 파라미터에 이르는 다양한 아키텍처 (OPT, Phi-3, LLaMA, Mistral) 에서 유효한 구조적 규칙성입니다.
2. 선택적 화이트박스 공격: 실시간 훅을 통해 H-Node 를 증폭시키는 공격을 구현하여, 공격 선택성 (Selectivity) 이 3.02 배에 달하고 방어자에게는 10% 미만으로만 노출되는 효과를 입증했습니다.
3. 적응형 ANC 방어: 고정된 취소 방식 대비 33~42% 더 많은 grounded drift(정확한 정보의 왜곡) 감소를 달성했으며, 기존 방법 (ITI, DoLA) 대비 1.54~4.53 배 높은 선택성을 보였습니다.
4. 동적 반복 방어: 단일 패시 방어 (약 8% 의 견고성) 에서 최대 0.689 의 견고성으로 회복시켰으며, 이는 공격자 전용 노드를 순차적으로 발견하여 억제했기 때문입니다.

4. 실험 결과 (Results)

• 모델: OPT-125M, Phi-3-mini, LLaMA-3-8B, Mistral-7B-Instruct-v0.3 총 4 개 모델에서 검증되었습니다.
• 프로브 성능: 마지막 토큰 풀링이 평균 풀링보다 AUC 0.04~0.24만큼 더 높은 성능을 보였으며, LLaMA-3 와 Mistral-7B 에서 최대 0.90의 AUC 를 기록했습니다.
• 방어 성능:
  • 선택성: 적응형 ANC 는 ITI 보다 최대 4.53 배, DoLA 보다 MC1 정확도 유지 측면에서 우위를 보였습니다.
  • 견고성: 동적 반복 방어는 OPT-125M 에서 0.689, Mistral-7B 에서 0.339 의 견고성을 달성했습니다.
• 성능 보존:
  • Perplexity (PPL): 방어 적용 시 5% 미만의 미미한 증가만 발생하여 유창성에 영향을 주지 않았습니다.
  • MMLU: 일반 추론 능력의 저하가 최대 3% 이내로 제한되어, 방어 메커니즘이 모델의 일반적 추론 능력을 손상시키지 않음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 할루시네이션을 단순한 출력 오류가 아닌, 숨겨진 상태의 구조적 표현 문제로 접근했습니다.

• 메커니즘적 해석 가능성: 할루시네이션이 모델의 특정 레이어와 차원에 국한되어 있음을 규명하여, 표적화된 개입이 가능함을 보였습니다.
• 실시간 방어 가능성: 모델 가중치를 수정하지 않고도 추론 시점에 훅 (hook) 을 통해 실시간으로 방어할 수 있는 경량화된 솔루션을 제시했습니다.
• 미래 방향: 단일 패시 방어의 한계를 극복하기 위한 '동적 반복' 전략의 유효성을 입증했으며, 향후 KV 캐시 기반의 상태 유지 (stateful) 방어 및 70B 이상의 초대규모 모델에서의 적용 가능성을 제시했습니다.

요약하자면, H-Node ANC 는 할루시네이션의 근원적 표현을 공격하고 방어하는 최초의 통합 프레임워크로서, LLM 의 신뢰성 확보를 위한 새로운 패러다임을 제시합니다.