Directed Social Regard: Surfacing Targeted Advocacy, Opposition, Aid, Harms, and Victimization in Online Media

"Directed Social Regard: Surfacing Targeted Advocacy, Opposition, Aid, Harms, and Victimization in Online Media" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

현재 감성 분석을 위한 자연어 처리 (NLP) 도구는 전체 텍스트를 긍정, 부정, 중립으로 분류하거나 단일 강도 점수를 할당하는 방식을 주로 사용합니다. 이러한 접근법은 온라인 미디어의 두 가지 중요한 복잡성을 해결하지 못합니다:

1. 공존하는 감성: 단일 메시지는 종종 혼합된 감성 (예: 가해자에 반대하는 동시에 피해자를 옹호하는 것) 을 포함하는데, 이를 단일 점수로 집계하면 이러한 감성이 손실됩니다.
2. 대상 모호성: 표준 도구는 감성이 누구나 무엇을 향하고 있는지 (대상) 를 식별할 수 없으며, 다양한 유형의 사회적 관계 (예: 대상이 도움을 받는지, 피해를 입는지, 반대받는지, 혹은 피해자인지) 를 구분하지 못합니다.

표적 감성 분석 (TSA), 속성 기반 감성 분석 (ABSA), 견해 탐지 (Stance Detection) 와 같은 기존 프레임워크는 종종 사전 정의된 대상을 요구하거나, 범주형 레이블에 의존하거나, 다차원 평가가 부족합니다. 따라서 자동으로 대상을 추출하고 사회적 존중의 이론적으로 근거한 연속적 차원을 따라 점수를 매길 수 있는 프레임워크가 필요합니다.

2. 방법론: 지향적 사회적 존중 (DSR) 프레임워크

저자들은 도덕적 소외 (Moral Disengagement) 와 도덕적 프레임 (Moral Framing) 과 같은 사회과학 이론에 기반한 다차원적, 다가치 감성 분석 접근법인 **지향적 사회적 존중 (Directed Social Regard, DSR)**을 제안합니다.

A. 이론적 차원

DSR 은 감성을 단일 극성이 아닌 세 가지 독립적인 양극성 축 (-1 에서 +1 범위) 으로 정의합니다:

1. 반대–옹호: 저자가 대상을 방해하거나 방어하기를 원하는지 여부.
2. 해로움–도움: 저자가 대상을 타인에게 해를 끼치는 원천으로 보거나 도움을 주는 원천으로 보는지 여부.
3. 피해자–도움받음: 저자가 대상을 타인에게서 해를 입은 것으로 보거나 도움을 받은 것으로 보는지 여부.

이러한 차원들은 대상을 동시에 "반대"하면서도 "해로움"으로 간주하여 (공격 정당화) 또는 "옹호"하면서도 "피해자"로 간주하여 (공감 표현) 하는 것과 같은 세밀한 표현을 가능하게 합니다.

B. 데이터셋 구축

• 데이터 소스: 저자들은 Reddit, 뉴욕타임스 댓글, Gab, 혐오 발언, '맨스피어 (Manosphere)', 정치적 사건 (예: #MeToo, 프랑스 선거) 에 대한 특정 코퍼스를 포함한 8 가지 다양한 공개 접근 정보 (PAI) 소스에서 1,838 개의 텍스트를 수집했습니다.
• 주석: 인간 주석자들은 **스팬 (스팬, 문자나 주제를 나타내는 연속된 단어 시퀀스)**을 식별하고 슬라이더 인터페이스 (-1.0 에서 1.0) 를 사용하여 세 가지 DSR 축에 대해 점수를 매겼습니다.
• 규모: 최종 데이터셋에는 13,893 개의 스판과 26,779 개의 평균 강도 점수가 포함되어 있습니다. 주석자 간 일치도 (Krippendorff's $\alpha$) 는 높았습니다 (0.71–0.91).

C. 모델 아키텍처

DSR 시스템은 두 단계의 트랜스포머 기반 파이프라인을 사용합니다:

1. 스팬 인식 (토큰 분류):
   • 미세 조정된 트랜스포머 (예: DeBERTa-v3) 를 사용하여 스판을 캐릭터 (사람/그룹) 또는 **주제 (사건/개념)**로 식별하고 분류합니다.
   • 출력: 유형이 지정된 감지된 스판 목록.
2. 존중 점수 매기기 (스팬 수준 강도):
   • 식별된 스판과 전체 텍스트 컨텍스트를 입력으로 받습니다.
   • 컨텍스트 임베딩을 생성하기 위해 트랜스포머 인코더 (DeBERTa-v3) 를 사용합니다.
   • **컨텍스트 풀러 (Context Pooler)**를 적용하여 스판 벡터를 정규화합니다.
   • 벡터를 선형 레이어를 통과시켜 각 스판에 대해 세 가지 연속 회귀 점수 (-1 에서 1) 를 예측합니다: 반대–옹호, 해로움–도움, 피해자–도움받음.
   • 참고: 모델은 평균 제곱 오차 (MSE) 손실 함수를 사용하여 훈련됩니다.

3. 주요 기여

• 새로운 프레임워크: 범주형 감성을 넘어 연속적이고 다차원적이며 대상별 사회적 존중을 다루는 DSR 의 도입.
• 새로운 데이터셋: 스판 수준 다차원 사회적 감성 훈련 및 평가를 위한 대규모 고품질 주석 데이터셋 생성.
• 이론적 통합: Bandura 의 도덕적 소외, Brown 과 Levinson 의 예의 이론과 같은 사회과학 이론을 NLP 작업에 성공적으로 운영화.
• 제로샷 대상 발견: 견해 탐지와 달리 DSR 은 사전 지정된 대상을 요구하지 않으며 텍스트에서 중요한 스판을 자동으로 발견합니다.

4. 실험 결과

A. 스판 인식 성능

• 가장 성능이 우수한 모델 (DeBERTa-v3-large-mnli) 은 엄격한 매칭 기준 하에서 캐릭터 스판에 대해 F1 점수 0.96, 주제 스판에 대해 0.74를 달성했습니다.
• 토큰 수준 지표는 더 높았습니다 (F1 약 0.92), 이는 모델이 감성 대상의 경계를 효과적으로 식별함을 나타냅니다.

B. 존중 점수 매기기 성능

• 점수 매기기 모델은 인간 주석과 강한 상관관계를 보였습니다.
• 반대–옹호: $R^2 = 0.85$, RMSE = 0.20.
• 피해자–도움받음: $R^2 = 0.67$, RMSE = 0.10.
• 해로움–도움: $R^2 = 0.57$, RMSE = 0.12.
• 비교: 전용 DeBERTa 모델은 LoRA 를 통해 미세 조정된 Llama 3.2 와 같은 대규모 언어 모델 (LLM) 과 퓨샷 (few-shot) 방식의 GPT-4o 보다 훨씬 우수한 성능을 보였습니다. 이는 생성형 LLM 보다 목적에 맞는 회귀 모델이 이러한 특정 수치 예측 작업에 더 효과적임을 시사합니다.

C. 응용 연구 (외부 데이터셋 검증)

저자들은 훈련된 DSR 모델을 6 개의 외부 데이터셋에 적용하여 유용성을 검증했습니다:

1. 브리징 벤치마크: DSR 점수는 문서 수준 레이블과 강한 상관관계를 보였습니다. 높은 '도덕적 분노 (Moral Outrage)'는 2 인/3 인 대상에 대한 높은 반대와 상관관계가 있었으며, '존중 (Respect)'은 옹호와 상관관계가 있었습니다.
2. 도덕적 기초 트위터 코퍼스 (MFTC): DSR 속성은 도덕적 기초 이론과 일치했습니다. '덕 (Virtues)' (예: 배려) 은 '도움/도움받음' 점수와 상관관계가 있었으며, '악 (Vices)' (예: 해악) 은 '해로움/반대' 점수와 상관관계가 있었습니다.
3. 코퍼스 비교:
   • 맨스피어 vs 혐오 발언: 맨스피어 코퍼스는 높은 '당신을 옹호함'과 '피해자|나/우리' (자기 피해자화) 를 보인 반면, 혐오 발언 코퍼스는 높은 '해악 옹호'를 보였습니다.
   • MeToo: 높은 '피해자|여성'과 '해로움|남성'을 보였으며, 이는 운동의 주제와 일치했습니다.
   • ALM vs 발티모어: 법 집행에 대한 상반된 견해를 구분했습니다. 'All Lives Matter'는 경찰에 대한 옹호를 보인 반면, '발티모어' 시위는 반대를 보였습니다.
4. 쌍별 분석: 모델은 공존하는 해악/도움 쌍을 시각화하여 (예: "그들이 우리를 해친다") 미시적 내러티브를 성공적으로 추출하여 커뮤니티 담론의 구조적 패턴을 드러냈습니다.

5. 중요성 및 함의

• 세분화: DSR 은 온라인 담론에 대한 세분화된 관점을 제공하여, 서로 다른 대상을 향한 친사회적 및 반사회적 감성이 단일 메시지 내에서 어떻게 공존하는지 드러냅니다.
• 사회과학 활용성: 사전 정의된 키워드에 의존하지 않고 도덕적 소외, 집단 정체성 형성, 온라인 급진화의 메커니즘을 연구할 수 있는 정량적 도구를 연구자에게 제공합니다.
• 플랫폼 안전: 이 프레임워크는 단순한 부정 감성 필터로는 놓칠 수 있는 복잡한 유해 콘텐츠 (예: 특정 집단에 대한 해악 옹호) 를 식별하는 데 도움이 될 수 있습니다.
• 미래 방향: 저자들은 영향력 작전 실시간 모니터링, 도덕적 프레임의 문화적 변화 이해, AI 기반 콘텐츠 중재의 설명 가능성 향상을 위해 DSR 을 사용할 것을 제안합니다.

결론적으로, 이 논문은 온라인 미디어에서 사회적 존중의 지향성, 강도, 그리고 다차원성을 포착함으로써 감성 분석의 최첨단 기술을 크게 발전시킨 견고하고 이론적으로 근거한 NLP 프레임워크를 제시합니다.