Navigating the Rabbit Hole: Emergent Biases in LLM-Generated Attack Narratives Targeting Mental Health Groups

기술 요약: 토끼굴 탐색: 정신 건강 집단을 표적으로 하는 LLM 생성 공격 서사 내의 창발적 편향

문제 정의
대규모 언어 모델(LLM)이 특정 정체성 집단에 대해 편향을 보인다는 사실은 잘 알려져 있으나, 유발되지 않은(unprovoked) 표적 공격 현상은 아직 충분히 연구되지 않았습니다. 특히, 초기 프롬프트에 해당 집단이 명시적으로 언급되지 않더라도, LLM이 어떻게 정신 건강 집단과 같은 취약 계층을 대상으로 유해한 서사를 자율적으로 에스컬레이션(escalate)하는지에 대한 이해가 부족합니다. 현재의 편향 평가는 정적인 직접 프롬프트 유도나 단일 생성 독성 체크에 의존하는 경우가 많으며, 이는 독성이 어떻게 전개되고 확산되는지의 재귀적이고 네트워크적인 특성을 포착하지 못합니다. 본 논문은 LLM이 점진적으로 더 독성 강한 콘텐츠를 생성하도록 반복적으로 프롬프트되는 "독성 토끼굴(Toxicity Rabbit Holes, TRH)"—즉, 재귀적 생성 체인 내에서 정신 건강 정체성이 어떻게 불균형적으로 표적이 되고 낙인찍히는지에 대한 간극을 다룹니다.

연구 방법론
본 연구는 1,266개의 정체성 집단을 대상으로 10개의 LLM이 생성한 4억 5,900만 토큰 규모의 대규모 코퍼스인 Toxicity Rabbit Hole (TRH) 데이터셋(Dutta et al., 2024)을 활용합니다. 본 분석에서는 Mistral 7B 모델에 집중하며, 이는 15,401개의 생성 체인과 190,599개의 개별 출력물로 구성됩니다.

연구 방법론은 다음과 같은 세 가지 주요 단계로 진행됩니다:

1. 데이터 큐레이션 및 엔티티 추출:

   • 저자들은 중립적이거나 대응 발언(counter-speech)인 출력을 제외하고 독성 생성물만을 유지하도록 코퍼스를 필터링했습니다.
   • LLaMA-3.2 3B를 사용하여 텍ized 텍스트에서 "피해 엔티티(victim entities, 공격 대상이 된 집단)"와 비참여자 엔티티를 추출했습니다.
   • 형태학적 및 의미론적으로 중복되는 엔티티(예: "Muslims"와 "Moslems")를 병합하는 수동 통합 과정을 거쳐, 최종적으로 24,185개의 고유 피해 엔티티(VictimSet)로 구성된 어휘집을 도출했습니다.
   • ICD-10, 위키피디아 및 일상 용어에서 유래한 390개의 정신 건강 용어 렉시콘을 사용하여, VictimSet에서 MHSet(195개의 고유 정신 건강 엔티티)의 하위 집합을 필터링했습니다.

2. 네트워크 구축 (토끼굴 네트워크):

   • 가중치가 부여된 유향 그래프 $G = (V, E)$를 구축했습니다. 여기서 노드는 피해 엔티티를 나타내며, 엣지는 동일한 체인 내의 연속적인 생성 단계 간의 엔티티 전환을 나타냅니다.
   • 엣지 가중치는 전환 빈도($u \to v$)에 대응합니다.
   • 분석은 24,184개의 노드와 663,433개의 엣지를 포함하는 가장 큰 약결합 성분(largest weakly connected component)에 집중했습니다.

3. 분석 프레임워크:

   • 네트워크 중심성 (RQ1): 저자들은 MHSet과 Non-MHSet 노드에 대해 근접성(closeness), 차수(degree, 가중/비가중), PageRank, 매개 중심성(betweenness centrality)을 계산하였으며, 유의성 검증을 위해 Mann-Whitney U 검정을 사용했습니다.
   • 커뮤니티 탐지 (RQ2): 공동 표적화된 엔티티들의 클러스터를 식별하기 위해 Leiden 알고리즘을 적용했습니다. 특정 커뮤니티 내 MH 엔티티의 집중도를 측정하기 위해 지니 계수(Gini coefficient)를 계산했습니다.
   • 낙인화 분석 (RQ3): Link & Phelan (2001) 프레임워크를 바탕으로, 초기 타겟($V_{init}$)에서 정신 건강 타겟이 처음 등장하는 시점($V_{MH}$)까지의 생성 체인이 진행됨에 따라 낙인의 구성 요소(낙인찍기, 부정적 스테레오타이핑, 분리, 지위 상실/차별)가 어떻게 진화하는지 분석했습니다. LLaMA-3.2 3B를 사용하여 이러한 구성 요소의 존재 여부를 주석 처리하였으며, 체인 내 쌍체 샘로 Wilcoxon 부호 순위 검정을 수행했습니다.

주요 기여

1. 유발되지 않은 공격의 명시적 평가: 본 논문은 재귀적 생성 체인 내에서, 초기 프롬프트에 정신 건강 집단이 없더라도 이들을 표적으로 삼는 LLM 생성 공격을 명시적으로 평가한 첫 사례를 제공하며, 이들이 어떻게 표적이 되는지를 입증합니다.
2. 네트워크 기반 프레임워크: 상대적 편향의 전파를 연구하기 위한 네트워크 기반 접근법을 도입하여, 독성 콘텐츠가 엔티티 간에 어떻게 전환되는지 모델링하고 정신 건강 엔티티가 중심 허브 역할을 하는 구조적 "토끼굴"을 식별합니다.
3. 창발적 낙인화 평가: 생성 체인 내에서 발생하는 상대적 낙인화의 정도를 정량화하여, 정신 건강 엔티티가 호출될 때의 프레이밍이 초기 타겟보다 질적으로 더 심각해짐을 보여줍니다.

결과

• 중심성 (RQ1): 정신 건강 엔티티는 네트워크에서 유의미하게 더 중심적인 위치를 차지합니다.
  • 근접성 중심성: MH 엔티티는 유의미하게 높은 평균 근접성(Mean = 0.71 vs. 0.63, $p = 4.06 \times 10^{-10}$)을 보이며, 이는 다른 노드로부터 더 적은 단계 내에 구조적으로 도달하기 쉬움을 나타냅니다.
  • 차수 및 PageRank: MH 엔티티는 유의미하게 높은 가중/비가중 차수 중심성 및 PageRank 점수를 보여($p < 0.001$), 이들이 빈번한 초점이자 영향력 있는 클러스터에 깊게 박혀 있음을 시사합니다.
  • 매개 중심성: 유의미한 차이가 발견되지 않았으며, 이는 MH 엔티티가 단절된 영역 사이의 가교보다는 밀집된 허브로서 기능함을 의미합니다.
• 커뮤니티 구조 (RQ로 2): MH 엔티티는 무작위로 분포되어 있지 않고 긴밀하게 클러스터링되어 있습니다.
  • 지니 계수는 0.7로 높은 집중도를 나타냅니다.
  • 전체 MH 엔티티의 75.9%가 단 두 개의 커뮤니티에 거주합니다: 하나는 임상적으로 구체적인 장애(예: 조울증, 난독증)를 포함하고, 다른 하나는 광범위하고 사회적으로 구성된 용어(예: "정신 건강 문제를 가진 사람들")를 포함합니다.
  • 소수의 엔티티는 교차적 표적화(예: "정신 질환을 가진 흑인")를 반영합니다.
• 낙인화의 진화 (RQ3): 생성 체인이 초기 타겟에서 정신 건강 타겟으로 전환됨에 따라, 네 가지 구성 요소 모두에서 낙인화의 심각성이 유의미하게 증가합니다.
  • 지위 상실 및 차별: 가장 뚜렷한 증가를 보였습니다 (Mean Proportion Difference = -0.70, $p = 7.16 \times 10^{-143}$).
  • 낙인찍기(Labeling): 또한 큰 상승을 보였습니다 (Mean Proportion Difference = -0.47, $p = 5.44 \times 10^{-81}$).
  • 이는 일단 MH 엔티티가 호출되면, 담론이 현저히 비인간적이고 차별적인 방향으로 전환됨을 나타냅니다.

의의 및 주장
본 논문은 현재의 LLM 안전성 평가가 결정적인 사각지대를 가지고 있다고 주장합니다. 즉, 모델은 정신 건강 집단이 초기 프롬프트에 부재하더라도 이들을 불균형적으로 해칠 수 있습니다. 저자들은 모델의 내부 생성 구조가 암묵적 편향과 유사하게, 재귀적 생성을 통해 반복적인 표적화와 사회적 낙인의 증폭을 초래한다고 주장합니다.

본 연구의 의의는 해악이 단순히 편향의 존재가 아니라 그 재귀적 에스컬레이션에 있다는 점을 강조하는 데 있습니다. 유해한 궤적으로 진입하는 단 한 번의 생성 단계가 기존의 단일 생성 가드레일로는 포착할 수 없는 깊이 비인간적인 서사로 급격히 악화될 수 있습니다. 저자들은 LLM 안전 패러다임이 사후적 모더레이션(reactive moderation)에서, 실시간으로 해악의 창발적 패턴을 감지할 수 있는 선제적이고 궤적 인식적인(trajectory-aware) 개입으로 전환되어야 한다고 결론짓습니다. 또한, 향후 편향 감소 전략은 엔티티 간 상호작용 네트워크를 활용하여 미세 조정(fine-tuning) 및 역낙인 개입을 가이드해야 함을 시사합니다.

한계점 인정
저자들은 본 연구의 결과가 TRH 프레임워크와 Mistral 7B 모델에 특화되어 있어 일반화에 한계가 있을 수 있음을 명시했습니다. 또한, 네트워크 방법론은 구조적 의존성은 포착하지만, 주석 처리된 구성 요소 이상의 공격 강도나 프레이밍의 변화를 완전히 설명하지는 못합니다. 본 연구는 인간의 판단을 대리하는 LLM 추론 주석에 의존하고 있으며, 이는 수동 검증을 거쳤으나 여전히 대리 지표로서의 성격을 갖습니다. 마지막으로, 엔티티 목록은 권위 있는 출처를 바탕으로 작성되었으나, 향 향후 연구에서는 진단적 축과 사회적 축 사이에서 낙인이 프레이밍되는 방식의 커뮤니티별 분화를 탐구할 수 있을 것입니다.