SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 의료, 금융, 교육 등 고위험 분야에서 널리 사용되고 있지만, 여전히 할루시네이션 (Hallucination, 사실과 다른 정보를 생성하는 현상) 에 취약합니다. 기존 연구들은 LLM 의 할루시네이션을 유발하기 위한 적대적 공격 (Adversarial Attacks) 을 탐구해 왔으나, 다음과 같은 한계가 있었습니다:

• 비현실적인 프롬프트: 기존 방법들은 nonsensical tokens(의미 없는 토큰) 을 삽입하거나 (Gibberish attacks), 원래 질문의 의미를 변경하는 (Meaning-shift attacks) 방식을 사용했습니다.
• 실제 시나리오 반영 부족: 이러한 공격들은 인간이 이해할 수 없거나 원래 의도와 다른 질문을 생성하므로, 실제 환경에서 LLM 이 어떻게 실패하는지에 대한 통찰력을 제공하지 못합니다.
• 컴퓨터 비전 (CV) 과의 격차: CV 분야에서는 원본 이미지와 시각적으로 유사하지만 (Semantic Equivalence) 분류 오류를 유발하는 적대적 예제를 찾는 연구가 활발하지만, 텍스트 영역에서는 의미는 동일하고 문맥도 자연스러운 (Coherent) 적대적 프롬프트를 찾는 문제는 거의 연구되지 않았습니다.

따라서 본 논문은 "의미는 동일하고 문맥적으로 일관된 (Semantically Equivalent and Coherent) 프롬프트를 어떻게 최적화하여 LLM 의 할루시네이션을 유발할 수 있는가?" 라는 문제를 제기합니다.

2. 방법론 (Methodology: SECA)

저자들은 SECA (Semantically Equivalent and Coherent Attacks) 라는 새로운 프레임워크를 제안합니다. 이는 입력 프롬프트의 의미를 보존하고 문맥적 일관성을 유지하면서 할루시네이션을 유발하는 프롬프트를 찾는 제약 조건 최적화 (Constrained Optimization) 문제로 공식화합니다.

2.1 문제 공식화

목표는 특정 잘못된 답변 토큰 $y^*$ 를 생성할 확률을 최대화하는 프롬프트 $x$ 를 찾는 것입니다.
$$\max_x \log P_T(y^* | x)$$
단, 다음과 같은 두 가지 제약 조건을 만족해야 합니다:

1. 의미적 동등성 (Semantic Equivalence): 생성된 프롬프트 $x$ 는 원본 프롬프트 $x_0$ 와 의미적으로 동일해야 함 ($SEF(x, x_0) = 1$).
   • 상호 추론 (Mutual entailment), 추가 정보 없음, 핵심 정보 누락 없음, 의미 보존, 동일한 정답 도출 등의 5 가지 기준을 충족해야 합니다.
2. 문맥적 일관성 (Semantic Coherence): 생성된 프롬프트는 인간이 이해할 수 있는 자연스러운 언어여야 함 ($x \in X_P$).
   • 제안자 LLM(P) 이 생성한 프롬프트 집합 내에서 탐색합니다.

2.2 알고리즘 (Zeroth-Order Optimization)

이산적인 프롬프트 공간에서 제약 조건을 직접적으로 강제하기 어렵기 때문에, SECA 는 제약 조건을 보존하는 0 차 (Zeroth-order) 최적화 방법을 사용합니다.

• Proposer LLM (P): 현재 프롬프트를 기반으로 의미는 같되 표현이 다양한 $M$ 개의 후보 프롬프트를 제안합니다. (다양성을 위해 동사, 스타일, 태스크 설명 등을 무작위로 조합하여 지시어 [Instruction] 를 생성합니다.)
• Feasibility Checker LLM (F): 제안된 후보 프롬프트가 의미적 동등성 제약 조건을 만족하는지 엄격하게 검증합니다. (LLM 이 할루시네이션을 일으킬 가능성을 낮추기 위해 강력한 모델을 사용합니다.)
• Adversarial Selection: 검증된 후보들 중 목표 토큰을 생성할 확률 (Log Probability) 이 가장 높은 프롬프트를 선택하여 다음 반복으로 이어갑니다.
• Iterative Process: 이 과정을 최대 30 회 반복하며, 가장 공격적인 (Adversarial) 프롬프트를 최종 결과로 도출합니다.

3. 주요 기여 (Key Contributions)

1. 문제 공식화: LLM 할루시네이션 유발을 위한 현실적인 공격을 의미적 동등성과 문맥적 일관성 제약 하의 최적화 문제로 체계적으로 정의했습니다.
2. 새로운 알고리즘 (SECA): 그래디언트가 없는 (Gradient-free) 환경에서도 효과적으로 작동하는 제약 조건 보존 0 차 탐색 방법을 제안했습니다. 이는 LLM 을 제안자 (Proposer) 와 검증자 (Checker) 로 활용하여 조합적으로 폭발적인 프롬프트 공간을 효율적으로 탐색합니다.
3. 실험적 검증: 오픈소스 (Llama, Qwen 등) 와 상용 (GPT-4o-Mini 등) LLM 을 대상으로 한 실험을 통해, 기존 방법들 (GCG 등) 에 비해 더 높은 공격 성공률 (ASR) 을 달성하면서도 의미적 오류 (SEE) 와 문맥적 오류 (SCE) 는 거의 0 에 수렴함을 입증했습니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR): MMLU 데이터셋 (16 개 과목) 에서 SECA 는 원본 프롬프트 (Raw) 나 GCG(Greedy Coordinate Gradient) 에 비해 훨씬 높은 공격 성공률을 기록했습니다.
  • 예: Llama-3-8B 에서 Raw 는 63.52%, GCG 는 9.86% 인 반면, SECA 는 **81.24%**의 성공률을 보였습니다.
  • GCG 는 의미 없는 토큰을 삽입하여 초기 목적 함수 값을 급격히 떨어뜨리는 반면, SECA 는 목적 함수 값을 점진적으로 증가시킵니다.
• 제약 조건 준수: SECA 는 공격 성공률을 높임에도 불구하고 **의미적 동등성 오류 (SEE)**와 **문맥적 일관성 오류 (SCE)**가 거의 발생하지 않았습니다. 반면 GCG 는 높은 문맥적 오류를 보였습니다.
• 할루시네이션 유형 분석: SECA 로 유발된 할루시네이션은 주로 사실성 (Factuality) 오류 (잘못된 정보 생성) 와 충실도 (Faithfulness) 오류 (입력 의도 왜곡) 로 분류되었습니다.
• 프롬프트 특성 분석: 성공적인 SECA 프롬프트는 원본보다 **어휘 다양성 (Type-Token Ratio, TTR)**이 높고 길이가 더 긴 (Verbose) 경향이 있었습니다. 이는 복잡한 문장 구조와 다양한 어휘가 모델의 핵심 의도 파악을 흐리게 하여 할루시네이션을 유발할 가능성을 높임을 시사합니다.
• 평가자 신뢰도: LLM 기반 평가자 (Feasibility Checker, Hallucination Evaluator) 가 인간 평가자와 높은 일치도 (Cohen's $\kappa$) 를 보여 자동화된 평가의 신뢰성을 입증했습니다.

5. 의의 및 결론 (Significance and Conclusion)

• LLM 의 취약성 재발견: 이 연구는 LLM 이 단순히 지식이 부족해서가 아니라, 의미는 동일하지만 표현이 미묘하게 다른 자연스러운 질문에도 사실과 다른 답변을 할 수 있음을 보여줍니다. 이는 고신뢰성 분야에서 LLM 을 배포할 때 심각한 안전 문제를 제기합니다.
• 실제적 위협 모델: 기존 연구들이 간과했던 "현실적이고 그럴듯한 (Realistic and Plausible)" 프롬프트 변형에 대한 공격 가능성을 처음으로 체계적으로 탐구했습니다.
• 향후 연구 방향:
  • 0 차 그래디언트 추정 기법을 활용한 확장성 개선.
  • MCQA 를 넘어 자유 형식 생성 (Free-form generation) 및 요약 작업으로의 확장.
  • 타겟팅되지 않은 (Untargeted) 할루시네이션 발견 및 추론 모델 (Reasoning Models) 에 대한 공격 적용.

결론적으로, SECA 는 LLM 의 견고성 (Robustness) 을 평가하고 할루시네이션을 완화하기 위한 중요한 도구로, 실제 환경에서의 LLM 안전성 평가 기준을 재정립하는 데 기여합니다.