CORVUS: Red-Teaming Hallucination Detectors via Internal Signal Camouflage in Large Language Models

기술 요약: CORVUS

문제 정의

대규모 언어 모델(LLM)은 환각(hallucination)—유창하지만 근거 없는 내용을 생성하는 현상—에 취약합니다. 현재의 방어 기제는 주로 **내부 텔레메트리 기반 접근 방식(internal telemetry-based approaches)**에 의존하며, 이는 단일 순방향 패스(forward pass) 동안 모델의 자체 연산(예: 토큰 불확실성, 은닉 상태 기하학, 어텐션 패턴)을 분석하여 환각을 탐지하려고 시도합니다. PPL, LLM-Check와 같은 학습 불필요 점수(training-free scores) 및 SEP, ICR-probe와 같은 프로브 기반 탐지기를 포함한 이러한 방법들은 환각이 내부 신호에 분리 가능하고 탐지 가능한 흔적을 남긴다는 것을 암묵적으로 가정합니다.

그러나 기존의 평가 방식은 일반적으로 LLM을 수동적인 대상으로 취급합니다. 오픈 웨이트(open-weight) 또는 자체 호스팅 배포 환경에서는 **화이트박스 모델 측 공격자(white-box, model-side adversary)**가 표면적인 출력(surface-level output)을 변경하지 않고도 이러한 흔적을 가릴 수 있도록 모델을 수정할 수 있습니다. 본 논문은 단일 패스 탐지기가 생성된 답변은 고정한 채, 탐지에 사용되는 특정 텔레메트리 신호를 위장하기 위해 경량 어댑터를 미세 조정하는 공격자에 대해 얼마나 견고한지를 조사합니다.

방법론: CORVUS

저자들은 탐지기에 노출되는 텔레메트리를 위장하는 경량 LoRA 어댑터를 학습시키기 위한 레드팀(red-teaming) 절차인 CORVUS(Camouflaging Open-weight Representations, Volumes, Uncertainty, and Structure)를 소개합니다.

핵심 메커니즘

CORVUS는 고정된 답변, 교사 강제 재생 프로토콜(fixed-answer, teacher-forced replay protocol) 하에서 작동합니다. 공격자는 생성된 텍스트를 변경하지 않습니다. 대신, 환각이 있는 답변과 관련된 텔레메트리 신호가 충실한(faithful) 답변의 신호와 통계적으로 유사하게 보이도록 모델의 내부 상태를 수정합니다.

이 방법은 답변 윈도우(answer window)에 대해 세 가지 일반적인 텔레메트리 신호를 최적화합니다:

1. 토큰 엔트로피 (Token Entropy, TE): 다음 토큰 분포의 평균 예측 엔트로피.
2. 은닉 로그 부피 (Hidden Log-Volume, HV): 은닉 상태 공분산 행렬의 로그 행렬식 근사치로, 은닉 공간에서 답변 토큰 표현이 어떻게 퍼져 있는지를 요약함.
3. 어텐션 대각성 (Attention Diagonality, AD): 답변 구간 내에서의 자기 집중적 어텐션(self-focused attention) 측정치(토큰 자체에 대한 어텐션 집중도).

학습 목적 함수

CORVUS는 작업 유용성(task utility)을 유지하면서 텔레메트리를 변화시키는 결합 손실 함수를 사용하여 LoRA 어댑터(rank $r=64$, scaling $\alpha=128$)를 학습시킵니다:
$$\mathcal{L} = \mathcal{L}_{CE} + \beta_{te} \text{TE}_{clean} - \beta_{hv} \text{HV}_{clean} - \lambda_{adv} \text{AD}_{adv}$$

• $\mathcal{L}_{CE}$: 교사 강제(teacher forcing) 하에서 올바른 답변을 유지하기 위한 표준 크로스 엔트로피 손실.
• $\text{TE}_{clean}$: 토큰 불확실성을 줄이기 위해 페널티를 부여함.
• $\text{HV}_{clean}$: 은닉 상태 기하학을 변화시키기 위해 최대화함(음수 부호 사용).
• $\text{AD}_{adv}$: 새로운 **적대적 임베딩 스트레스 테스트(adversarial embedding stress test)**입니다. 저자들은 어텐션 대각성을 감소시키기 위해 입력값을 구체적으로 섭동(perturb)하는 임베딩 공간에서의 단일 단계 Fast Gradient Sign Method (FGSM)를 사용합니다. 이 손실 항은 모델이 이러한 섭동 하에서도 높은 대각성을 회복하도록 독려하여, 어텐션 신호를 탐지에 대해 효과적으로 "경화(hardening)"시킵니다.

데이터 및 전이

결정적으로, CORVUS는 오직 1,000개의 분포 외(out-of-distribution, OOD) Alpaca 지시문에 대해서만 학습됩니다. 학습 과정에서 타겟 벤치마크(FAVA-Annotation)나 환각 레이블을 전혀 보지 않습니다. 이후 이 어댑터들은 제로샷(zero-shot) 방식으로 타겟 모델과 데이터셋에 적용됩니다.

주요 기여

1. 방법론 정의: 저자들은 특정 답변 윈도우 텔레메트리 신호(TE, HV, AD)를 정의하고, 교사 강제 하에서 이를 어떻게 재형성하는지, 여기에는 임베딩 공간에서의 단일 단계 FGSM 어텐션 스트레스 테스트를 포함한 방법을 입증했습니다.
2. OOD 일반화: 이 방법은 환각 레이블이 없는 작은 OOD 데이터셋(Alpaca)에서 학습되었음에도 불구하고, 여러 모델 제품군에 걸쳐 FAVA-Annotation 벤치마크로 성공적으로 전이되었습니다.
3. 회피 결과: CORVUS는 적응된 모델에 적용되었을 때 기존의 학습 불필요 탐지기(LLM-Check, PPL, Window-Entropy)와 학습된 프로브(SEP, ICR-probe)의 성능을 성공적으로 저하시켰습니다.
4. 메커니즘적 통찰: 본 논문은 제어된 TE, HV, AD의 변화가 고정된 탐지기 점수의 실패와 어떻게 연결되는지를 보여주며, 적절한 어댑터 업데이트만으로도 텔레메트리 신호의 분리 가능성을 무너뜨릴 수 있음을 보여줍니다.

실험 결과

저자들은 FAVA-Annotation 데이터셋을 사용하여 네 가지 오픈 웨이트 LLM(Llama-2, Vicuna, Llama-3, Qwen2.5)에 대해 CORVUS를 평가했습니다.

• 탐지기 성능 저하: 모든 모델에 걸쳐, CORVUS는 기존 탐지기들의 AUROC, 정확도 및 F1 점수를 유의미하게 감소시켰습니다.
  • 학습 불필요 점수: LLM-Check의 어텐션 점수는 심각한 하락을 겪었습니다 (예: Llama-2에서 AUROC가 73.6에서 48.1으로 25.5 포인트 하락).
  • 학습된 프로브: 깨끗한 모델의 텔레메트리로 학습된 SEP와 ICR-probe는 CORVUS가 적응된 모델에 적용되었을 때 일반화에 실패했으며, AUROC 하락 폭은 17에서 27 포인트에 달했습니다.
• 고정 임계값 붕괴: 깨끗한 모델에서 캘리브레이션된 탐지기(예: 5% 거짓 양성률 기준)를 사용할 때, CORVUS 적응 모델에 적용하면 참 양성률(True Positive Rate)이 거의 0에 가깝게 붕괴되었습니다. 이는 심각한 캘리브레이션 변화와 분리 가능성의 상실을 나타냅니다.
• 유용성 보존: 건전성 검사를 통해 적응된 모델이 생성 유용성을 유지함을 확인했습니다. 모델은 반복적인 붕괴 없이 비어 있지 않고 지시를 따르는 응답을 생성했으며, 표면 텍스트는 유창함을 유지했습니다(외부 퍼플렉시티로 측정).

의의 및 주장

본 논문은 내부 텔레메트리 단독으로는 적응형 모델 측 공격 하에서 환각 탐지를 위한 신뢰할 수 있는 신호가 아니다라고 주장합니다.

• 단일 패스 탐지기의 취약성: 결과는 내부 흔적(불확실성, 기하학, 어텐션)에 의존하는 탐지기가 매우 취약함을 입증합니다. 화이트박스 접근 권한을 가진 공격자는 출력 텍스트를 변경하지 않고도 이러한 신호를 위장하는 법을 배울 수 있으며, 이는 고정된 탐지기를 무력화합니다.
• 적대자 인지 감사(Adversary-Aware Auditing)의 필요성: 저자들은 견고한 감사가 정적인 단일 모델 내부 신호를 넘어설 필요가 있다고 결론짓습니다. 그들은 향후 방어 체계가 다음과 같은 요소를 포함해야 한다고 제안합니다:
  1. 공동으로 조작하기 어려운 다양한 텔레메트리 신호의 활용.
  2. 화이트박스 최소화를 방지하기 위한 무작위화 또는 챌린지-리스폰스(challenge–response) 메커니즘.
  3. 내부 텔레메트리의 한계를 우회하기 위한 외부 근거(external grounding) 또는 교차 모델 증거(예: 검색 증강 접근 방식).

이 연구는 이러한 취약성을 드러내는 레드팀 활동으로서, 보다 강력하고 적대자 인지적인 환각 방어 체계의 개발을 촉구합니다.