Epistemic Bias Injection: Biasing LLMs via Selective Context Retrieval

1. 문제 정의 (Problem Definition)

배경:
현대 대규모 언어 모델 (LLM) 은 외부 지식 (RAG, Retrieval-Augmented Generation) 을 활용하여 답변을 생성합니다. 이러한 지식 베이스는 위키피디아나 오픈 웹과 같은 비검증된 소스로부터 채워지며, 악의적으로 조작된 데이터를 포함할 수 있습니다.

기존 위협의 한계:
기존의 RAG poisoning 공격은 거짓 정보 (Falsehood) 나 독성 콘텐츠, 명시적인 프롬프트 인젝션을 주입하여 LLM 의 출력을 조작했습니다. 이러한 공격은 사실 확인 (Fact-checking) 이나 언어적 분석을 통해 탐지 가능한 '지문 (Fingerprints)'을 남깁니다.

새로운 위협: 인식론적 편향 주입 (Epistemic Bias Injection, EBI)
이 논문은 기존과 구별되는 더 미묘한 위협을 제시합니다.

• 정의: 공격자가 사실적으로 정확하고 언어적으로 자연스럽지만, 특정 관점만을 강조하는 편향된 텍스트를 지식 베이스에 주입하는 공격입니다.
• 메커니즘: 다면적인 이슈에 대해 한쪽 관점의 사실만 선별적으로 제시하여 (Selective Reporting), 다른 관점의 자료들이 검색 결과에서 배제되도록 유도합니다.
• 결과: LLM 은 사실에 기반한 답변을 생성하지만, 그 답변은 공격자가 의도한 이념적 또는 해석적 입장으로 치우치게 됩니다.
• 난이도: 명시적인 지문이나 거짓 정보가 없으므로 기존 사실 확인, 모델 정렬 (Realignment), 비판적 사고 유도 등의 방어 기법을 우회합니다.

2. 방법론 (Methodology)

A. 편향 측정 지표: 극성 점수 (Polarization Score, PS)

EBI 공격을 정량화하고 탐지하기 위해 새로운 기하학적 지표를 제안했습니다.

• 개념: 텍스트 임베딩 공간에서 특정 주제에 대한 다양한 관점 (Anchor Passages) 을 분석하여 '극성 축 (Polarization Axis)'을 정의합니다.
• 계산:
  1. 특정 주제에 대한 다양한 관점의 텍스트 집합 (Anchor Passages) 의 임베딩을 수집합니다.
  2. 주성분 분석 (PCA) 을 수행하여 분산이 가장 큰 방향 (첫 번째 주성분) 을 극성 축 ($u_{polar}$) 으로 설정합니다.
  3. 임의의 텍스트 패시지 $d$의 임베딩을 이 축에 투영하여 스칼라 값인 PS (Polarization Score) 를 계산합니다.
     $$PS(d) = u_{polar}^T E(d)$$
• 편향 측정: 기준 (중립) 패시지의 PS 와 대상 패시지의 PS 차이 ($\Delta PS$) 를 통해 인식론적 편향을 정량화합니다.
• 검증: PS 점수는 LLM 을 판정자로 사용한 인간적 평가 (Likert 척도) 와 높은 상관관계 (Spearman's rank correlation 0.896) 를 보이며, 관점의 강도를 효과적으로 포착함을 확인했습니다.

B. EBI 공격 워크플로우

1. 후보 생성: LLM 을 사용하여 대상 질문에 대한 다양한 관점의 텍스트를 생성합니다.
2. 극성 축 도출: 생성된 텍스트의 임베딩에 PCA 를 적용하여 극성 축을 계산하고, 각 텍스트의 PS 를 산출합니다.
3. 편향된 패시지 선정: PS 값이 극단적으로 높은 (또는 낮은) 패시지를 선택하여 공격자의 의도된 관점을 정의합니다.
4. 악성 패시지 생성: 선정된 편향된 패시지를 참조하여, 사실적 정확성과 언어적 자연스러움을 유지하면서 특정 관점만 일관되게 강조하는 여러 개의 악성 패시지를 생성합니다.
5. 주입: 생성된 패시지를 RAG 데이터베이스에 주입하여 검색 시 상위권에 노출되도록 합니다.

C. 방어 기법: BiasDef

기존의 다양성 기반 검색 (MMR, SMART 등) 이나 사실 확인의 한계를 극복하기 위해 BiasDef를 제안합니다.

• 원리: 검색된 패시지들의 '관련성 (Similarity Score, SS)'과 '편향도 (PS)'의 2 차원 분포를 분석합니다.
• 동작 과정:
  1. Base Detector: SS 임계값을 변화시키며 두 집합 (편향된 집합 vs 중립 집합) 간의 KL 발산 (Kullback-Leibler Divergence) 을 최대화하는 최적의 경계 ($t^*_{ss}$) 를 찾습니다. 이는 이상적인 경우 (완벽한 분리) 에 이론적 보장을 제공합니다.
  2. 오류 완화 (Mitigation):
     • False Positive 제거: SS 는 높지만 PS 가 중립에 가까운 정상 패시지를 마하alanobis 거리 기반 분류 등을 통해 복원합니다.
     • False Negative 복구: SS 는 낮지만 편향된 패시지 군집과 통계적으로 유사한 (Mahalanobis distance 기준) 패시지를 탐지하여 제거합니다.
• 특징: LLM 재학습 없이 플러그 앤 플레이 (Plug-and-play) 방식으로 검색 단계에서 작동하며, 경량화되어 있습니다.

3. 주요 기여 (Key Contributions)

1. EBI 공격의 공식화: 사실은 정확하지만 편향된 내용을 통해 LLM 의 출력을 조작하는 새로운 공격 유형 (Epistemic Bias Injection) 을 정의하고, 이를 위한 위협 모델을 제시했습니다.
2. PS (Polarization Score) 지표 개발: 텍스트 임베딩 공간에서 관점의 편향을 정량화할 수 있는 연속적이고 해석 가능한 기하학적 지표를 제안했습니다.
3. BiasDef 방어 프로토타입: PS 지표를 활용하여 편향된 검색 결과를 필터링하는 경량 방어 메커니즘을 설계했습니다.
4. 종합 벤치마크 구축: WIKI-BALANCE, Reddit-Dialogues, HotpotQA 등 다양한 공개 데이터셋과 Llama-3, DeepSeek-R1, GPT-4.1 등 여러 모델을 대상으로 한 평가 환경을 구축했습니다.

4. 실험 결과 (Results)

• 공격 효과성:

  • 제안된 EBI 공격은 기존 RAG 시스템 (No Defense) 에서 검색된 상위 5 개 패시지 중 **98%**까지 악성 패시지로 대체시켰습니다.
  • 생성된 답변의 PS 편향도 (PS Shift) 는 공격 강도에 따라 급격히 증가했으며, Llama-3, DeepSeek-R1, GPT-4.1 등 모든 모델에서 동일한 취약성을 보였습니다.
  • 기존 사실 확인 (WikiCheck) 도 악성 패시지를 '사실 (Supports)'로 판별하여 무력화되었습니다.

• 기존 방어 기법의 한계:

  • MMR, SMART, BRRA 와 같은 다양성 기반 검색 기법은 악성 패시지 일부를 걸러내지만, 유용한 정상 패시지도 함께 제거하여 Recall@5 를 크게 저하시켰습니다 (최대 98% 감소).
  • 또한, 여전히 상당량의 악성 패시지를 검색 결과에 포함시켜 편향을 완전히 차단하지 못했습니다.

• BiasDef 의 성능:

  • A-Recall@5 (악성 패시지 검색률): BiasDef 는 대부분의 쿼리 (70% 이상) 에서 악성 패시지를 완전히 차단하여 A-Recall@5 를 0 에 가깝게 낮췄습니다.
  • Recall@5 (유용한 정보 검색률): 기존 방어 기법 대비 12 배 이상 높은 Recall@5 를 유지하며, 유용한 정보를 보존했습니다.
  • 편향 감소: 생성된 답변의 PS 편향도를 기존 방어 기법 대비 최대 8.8 배, 평균 6.2 배 이상 감소시켰습니다.
  • 비용: 평균 465ms 의 추가 지연 시간만 발생하여 경량화되었습니다.

5. 의의 및 결론 (Significance)

• 새로운 위협 인식: LLM 이 사실에 기반한 답변을 생성하더라도, 검색된 문맥의 '관점 편향'에 의해 사용자의 인식과 신념이 조작될 수 있음을 경고했습니다. 이는 기존 '거짓 정보' 중심의 보안 관점을 넘어선 중요한 발견입니다.
• 편향의 정량화: 추상적인 '편향' 개념을 기하학적 임베딩 공간에서의 거리 (PS) 로 정량화하여, 편향을 측정하고 필터링할 수 있는 객관적인 도구를 제공했습니다.
• 실용적 방어: LLM 모델 자체를 수정하지 않고 검색 단계에서 작동하는 경량 방어 솔루션 (BiasDef) 을 통해, RAG 시스템의 견고성을 높이는 실현 가능한 방안을 제시했습니다.
• 미래 방향: 다차원적인 편향 (여러 주성분 축) 처리와 인간 평가와의 상관관계 연구, 그리고 다른 공격 유형과 통합된 범용 방어 시스템 구축을 향후 과제로 제시했습니다.

이 논문은 RAG 기반 LLM 시스템이 사실적 정확성만으로는 안전하지 않으며, **인식론적 편향 (Epistemic Bias)**에 대한 체계적인 탐지와 방어가 필수적임을 입증했습니다.