Speaking at the Right Level: Literacy-Controlled Counterspeech Generation with RAG-RL

1. 문제 정의 (Problem)

온라인 건강 관련 허위 정보 (Health Misinformation) 는 공중보건에 심각한 위협을 가하고 있습니다. 기존 연구들은 대규모 언어 모델 (LLM) 을 활용하여 허위 정보에 대한 반박 메시지 (Counterspeech) 를 자동 생성하는 방법을 탐구해 왔으나, 다음과 같은 중요한 한계가 존재했습니다.

• 문맥적 무관성: 기존 접근법은 대부분의 사용자에게 동일한 수준의 반박 메시지를 생성하는 경향이 있었습니다.
• 건강 문해력 (Health Literacy) 의 간과: 사용자의 건강 정보 이해 능력 (건강 문해력) 은 반박 메시지의 접근성과 효과성에 결정적인 영향을 미칩니다.
  • 낮은 문해력 사용자: 복잡한 과학적 용어나 기술적 언어를 포함한 메시지는 이해하기 어려워 오히려 혼란을 가중시킵니다.
  • 높은 문해력 사용자: 지나치게 단순화된 메시지는 전문성이 부족하다고 느껴져 신뢰를 잃거나 관심을 잃게 만듭니다.
• 현실적 필요: 다양한 건강 문해력을 가진 사용자에게 맞춤형으로 접근 가능한 반박 메시지를 생성할 수 있는 체계적인 프레임워크가 부재했습니다.

2. 제안 방법론 (Methodology)

저자들은 Controlled-Literacy라는 새로운 프레임워크를 제안합니다. 이는 **검색 증강 생성 (RAG)**과 **강화 학습 (RL)**을 결합하여, 대상 사용자의 건강 문해력 수준에 맞춰 반박 메시지를 생성하고 최적화하는 시스템입니다.

2.1 핵심 구성 요소

1. 건강 문해력 수준 정의:

   • 낮음 (Low): 기능적 건강 문해력 (기본적인 읽기/쓰기 능력).
   • 중간 (Medium): 상호작용적 건강 문해력 (의사소통 및 정보 적용 능력).
   • 높음 (High): 비판적 건강 문해력 (정보 분석 및 사회적 결정요인 이해).
   • 측정 지표: 텍스트의 난이도를 평가하기 위해 Flesch-Kincaid Reading Ease (FKRE) 점수를 사용하며, 이를 Easy (80-100), Medium (60-79), Hard (0-59) 로 분류합니다.

2. 데이터베이스 구축 (Knowledge Base Construction):

   • CDC, 존스 홉킨스 어린이 센터 등 다양한 신뢰할 수 있는 출처에서 데이터를 수집합니다.
   • 각 문서의 FKRE 점수를 계산하여 난이도별 (쉬움, 보통, 어려움) 로 분류된 지식 베이스를 구성합니다.

3. 적응형 증거 검색 (Health Literacy-Adaptive Evidence Retrieval):

   • 하이브리드 검색: 키워드 기반 검색 ($R_k$) 과 시맨틱 검색 ($R_s$) 을 결합하여 관련 증거를 추출합니다.
   • 필터링: 추출된 증거를 대상 문해력 수준의 FKRE 범위 내에 있는지, 그리고 LLM 기반 시뮬레이션 사용자 선호도 (1-5 점 척도) 가 3 점 이상인지 기준으로 필터링합니다. 이를 통해 생성된 메시지의 난이도와 사용자의 기대치를 동시에 충족시키는 증거만 선택합니다.

4. 제어된 문해력 RL 생성 (Controlled Literacy RL Generation):

   • 강화 학습 (GRPO): Group Relative Policy Optimization (GRPO) 알고리즘을 사용하여 LLM 정책을 최적화합니다.
   • 보상 함수 (Reward Function): 생성된 메시지의 품질을 평가하기 위해 두 가지 요소를 결합한 보상 함수를 설계합니다.
     • 가독성 보상 ($r_{read}$): FKRE 점수가 목표 범위 내에 있는지 평가 (Double-sigmoid 함수 사용).
     • 사용자 선호도 보상 ($r_{pref}$): LLM 을 다양한 문해력 수준의 사용자로 시뮬레이션하여 생성된 메시지의 명확성, 유용성, 접근성을 1-5 점으로 평가.
     • 최종 보상: $r(x, y) = \alpha \cdot r_{read} + (1-\alpha) \cdot r_{pref}$ (여기서 $\alpha$는 하이퍼파라미터).

3. 주요 기여 (Key Contributions)

1. 새로운 통찰: 효과적인 반박 메시지는 대상 사용자의 건강 문해력 수준과 정렬되어야 한다는 점을 최초로 강조했습니다.
2. Controlled-Literacy 프레임워크: 객관적인 가독성 지표와 주관적인 사용자 선호도를 모두 고려하여 RAG 와 RL 을 통합한 새로운 생성 프레임워크를 제안했습니다.
3. MisinfoLiteracy 데이터셋: 다양한 건강 문해력 수준에 맞춰 조정된 반박 메시지가 포함된 새로운 데이터셋을 구축하여 공개했습니다.

4. 실험 결과 (Results)

저자들은 Reddit 에서 수집한 건강 허위 정보 데이터셋 (MisinfoLiteracy) 과 다른 공개 데이터셋 (Check-COVID, MisinfoCorrect) 을 사용하여 실험을 수행했습니다.

• 성능 비교: 제안된 Controlled-Literacy 방법은 Instructional Prompt(단순 프롬프트) 및 RAG(최적화 없음) 베이스라인을 모든 지표에서 능가했습니다.
  • 가독성 (Target Distance): 목표 문해력 수준과의 거리가 가장 짧았습니다.
  • 사용자 선호도 (User Preference): 대상 사용자 그룹이 생성된 메시지를 가장 선호했습니다.
  • 정중함 (Politeness) 및 사실성 (Factual Accuracy): 모든 모델 (LLaMA-8B, Qwen-7B, LLaMA-1B) 에서 높은 점수를 기록했습니다.
• 모델 크기 영향: 특히 파라미터 수가 적은 작은 모델 (예: LLaMA-1B) 에서 Controlled-Literacy 프레임워크의 성능 향상 폭이 컸습니다. 이는 RL 기반 최적화가 저용량 모델의 성능을 극대화하는 데 효과적임을 시사합니다.
• 일반화 능력: Check-COVID 및 MisinfoCorrect 데이터셋에 대한 교차 평가에서도 일관된 우수한 성능을 보여주어, 다양한 유형의 건강 허위 정보에 대해 강건하게 작동함을 입증했습니다.
• 맞춤형 효과: 사용자가 자신의 문해력 수준에 맞는 반박 메시지를 받았을 때 선호도가 가장 높았으며, 문해력이 낮은 사용자는 상대적으로 더 간단한 메시지에 더 높은 선호도를 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 건강 허위 정보에 대응하는 커뮤니케이션의 형평성과 효과성을 높이는 데 중요한 기여를 합니다.

• 접근성 향상: 과학적 사실을 다양한 이해 수준에 맞게 전달함으로써, 건강 문해력이 낮은 취약 계층도 정확한 정보를 이해하고 올바른 건강 결정을 내릴 수 있도록 돕습니다.
• 공중보건 커뮤니케이션 개선: 일률적인 메시지 전달 방식에서 벗어나, 대상자의 인지적 특성에 맞춘 정밀한 반박 전략을 가능하게 합니다.
• 향후 과제: 실시간 정보 반영 (웹 검색 통합), 더 세분화된 사용자 그룹 분류, 그리고 실제 인간 사용자에 대한 포괄적인 평가 체계 마련이 향후 연구 과제로 제시되었습니다.

요약하자면, 본 논문은 RAG 를 통한 적절한 증거 추출과 RL 을 통한 문해력 수준의 정밀 제어를 결합하여, 건강 허위 정보에 대한 맞춤형 반박 메시지 생성의 새로운 표준을 제시한 연구입니다.