Speaking at the Right Level: Literacy-Controlled Counterspeech Generation with RAG-RL

Probleemstelling

De verspreiding van gezondheidsinformatie op het internet vormt een ernstige bedreiging voor de volksgezondheid, omdat het mensen kan misleiden en tot schadelijke keuzes kan leiden. Hoewel er onderzoek is gedaan naar het automatisch genereren van tegenberichten (counterspeech) om deze desinformatie te bestrijden, hebben bestaande methoden vaak een tekortkoming: ze produceren uniforme antwoorden die geen rekening houden met de geletterdheid op het gebied van gezondheid (health literacy) van het publiek.

Gezondheidsgeletterdheid verwijst naar het vermogen van individuen om gezondheidsinformatie te begrijpen, te beoordelen en toe te passen.

• Gebruikers met een lage geletterdheid hebben moeite met complexe, wetenschappelijke taal en hebben behoefte aan eenvoudige, duidelijke uitleg.
• Gebruikers met een hoge geletterdheid kunnen geïnteresseerd raken in gedetailleerde, technische informatie en vinden te simpele uitleg vaak onvoldoende of kinderachtig.

Het gebrek aan aanpassing aan het niveau van de lezer ondermijnt de effectiviteit van tegenberichten. Er is dus behoefte aan een systeem dat tegenberichten genereert die specifiek zijn afgestemd op het geletterdheidsniveau van de doelgroep.

Methodologie: Het Controlled-Literacy Framework

De auteurs stellen een nieuw framework voor genaamd Controlled-Literacy, dat Retrieval-Augmented Generation (RAG) combineert met Versterkend Leren (Reinforcement Learning - RL) om gepersonaliseerde tegenberichten te genereren. Het proces bestaat uit drie hoofdfasen:

1. Constructie van de Kennisbank (Knowledge Base Construction):

   • Er wordt een diverse kennisbank samengesteld uit betrouwbare bronnen zoals het CDC, academische databases en organisaties die materiaal in eenvoudige taal bieden.
   • Elk document wordt geëvalueerd op leesbaarheid met de Flesch-Kincaid Reading Ease (FKRE) score. De teksten worden gecategoriseerd in drie niveaus:
     • Makkelijk (Low): FKRE 80-100
     • Gemiddeld (Medium): FKRE 60-79
     • Moeilijk (High): FKRE 0-59

2. Geletterdheidsadaptieve Bewijsretrieval (Health Literacy-Adaptive Evidence Retrieval):

   • Het systeem gebruikt een hybride zoekmethode (keyword-based en semantisch) om relevante informatie op te halen.
   • Filtering: De opgehaalde bewijsstukken worden gefilterd op basis van twee criteria:
     • Ze moeten binnen het doel-FKRE-bereik vallen.
     • Ze moeten een positieve beoordeling krijgen (score $\ge$ 3 op een 5-puntsschaal) van een gesimuleerde gebruiker met het bijbehorende geletterdheidsniveau (gesimuleerd door een LLM). Dit zorgt ervoor dat de inhoud zowel leesbaar als relevant is voor de doelgroep.

3. Gecontroleerde Geletterdheids-RL-Generatie (Controlled Literacy RL Generation):

   • Een Large Language Model (LLM) wordt getraind om tegenberichten te genereren die aansluiten bij het doelniveau.
   • Reward Functie: De training wordt geoptimaliseerd met een hybride beloningsfunctie die twee componenten combineert:
     • Leesbaarheidsbeloning ($r_{read}$): Gebaseerd op een dubbele sigmoid-functie die de FKRE-score van de gegenereerde tekst binnen het gewenste bereik houdt.
     • Gebruikersvoorkeursbeloning ($r_{pref}$): Een gesimuleerde beoordeling (1-5) door een LLM dat de rol van een gebruiker met een specifiek geletterdheidsniveau speelt.
     • De totale beloning is een gewogen som: $r(x, y) = \alpha \cdot r_{read} + (1-\alpha) \cdot r_{pref}$.
   • Optimalisatie: Het framework maakt gebruik van Group Relative Policy Optimization (GRPO). Hierbij genereert het model meerdere antwoorden per prompt, berekent de relatieve voordelen op basis van de totale beloning, en update het beleid om de kans op hogere beloningen te vergroten, terwijl het afwijken van een referentiebeleid wordt beperkt (via KL-divergentie).

Belangrijkste Bijdragen

1. Nieuw Inzicht: Het artikel introduceert het cruciale inzicht dat effectieve tegenberichten moeten worden afgestemd op het geletterdheidsniveau van de doelgroep om toegankelijk en overtuigend te zijn.
2. Controlled-Literacy Framework: Een innovatieve architectuur die RAG en RL integreert om zowel objectieve leesbaarheid als subjectieve gebruikersvoorkeuren te optimaliseren.
3. MisinfoLiteracy Dataset: De auteurs hebben een nieuwe dataset samengesteld bestaande uit posts met gezondheidsdesinformatie (van Reddit) gekoppeld aan tegenberichten die specifiek zijn ontworpen voor lage, gemiddelde en hoge geletterdheidsniveaus.

Resultaten

De experimenten zijn uitgevoerd met verschillende modellen (LLaMA-8B, Qwen-7B, LLaMA-1B) en vergeleken met baselines zoals "Instructional Prompt" (zonder training) en standaard "RAG".

• Algemene Prestaties: Het Controlled-Literacy-framework presteerde consistent beter dan de baselines op alle vier de evaluatiemetingen:
  • Leesbaarheid (Target Distance): De gegenereerde teksten vielen veel nauwkeuriger binnen het beoogde FKRE-bereik.
  • Gebruikersvoorkeur: De gegenereerde berichten werden hoger gewaardeerd door de gesimuleerde gebruikers van het bijbehorende niveau.
  • Höfelijkheid: De antwoorden waren beleefder en respectvoller.
  • Feitelijke Nauwkeurigheid: Door het gebruik van een gefilterde kennisbank bleven de feitelijke fouten laag.
• Effect op Kleine Modellen: Kleine modellen (zoals LLaMA-1B) profiteerden het meest van dit framework, wat aangeeft dat de methode de capaciteiten van beperkte modellen aanzienlijk kan verbeteren.
• Cross-Generatie: Het model toonde robuustheid bij generalisatie naar andere datasets (Check-COVID en MisinfoCorrect), wat bewijst dat de methode niet alleen werkt op de trainingsdata.
• Kruisvalidatie: Gebruikers gaven over het algemeen de voorkeur aan tegenberichten die waren afgestemd op hun eigen geletterdheidsniveau, hoewel er soms een voorkeur was voor iets eenvoudiger taal (lagere leesbaarheid) binnen het doelbereik.

Betekenis en Impact

Dit onderzoek draagt bij aan een meer billijke en effectieve volksgezondheidscommunicatie. Door te erkennen dat "one-size-fits-all" oplossingen niet werken bij gezondheidsinformatie, biedt Controlled-Literacy een oplossing om desinformatie te bestrijden op een manier die begrijpelijk is voor iedereen, ongeacht hun achtergrond of kennisniveau.

De methode lost het probleem op dat complexe wetenschappelijke taal vaak een barrière vormt voor kwetsbare groepen, terwijl te simpele taal de geloofwaardigheid kan ondermijnen bij experts. Door de combinatie van RAG (voor feitelijke juistheid) en RL (voor aanpassing aan de gebruiker), creëert het systeem tegenberichten die niet alleen waarheidsgetrouw zijn, maar ook daadwerkelijk worden begrepen en geaccepteerd door de lezer. Dit is een belangrijke stap naar het verbeteren van de publieke gezondheid in de digitale tijd.