Speaking at the Right Level: Literacy-Controlled Counterspeech Generation with RAG-RL

1. Il Problema

La diffusione di disinformazione sanitaria online rappresenta una minaccia significativa per la salute pubblica, portando a scelte mediche errate e riducendo la fiducia nelle autorità sanitarie. Sebbene esistano strategie per generare automaticamente controversie (counterspeech) per smentire queste informazioni, gli approcci attuali presentano un limite fondamentale: tendono a produrre risposte uniformi, ignorando il livello di alfabetizzazione sanitaria (health literacy) del pubblico target.

L'alfabetizzazione sanitaria è la capacità di comprendere, valutare e utilizzare le informazioni sanitarie.

• Bassa alfabetizzazione: Gli utenti faticano a comprendere linguaggio tecnico o complesso.
• Alta alfabetizzazione: Gli utenti possono percepire spiegazioni eccessivamente semplificate come banali o poco credibili.
  Questa discrepanza compromette l'efficacia della contro-narrazione. L'obiettivo è generare risposte adattate dinamicamente a diversi livelli di competenza dell'utente.

2. Metodologia: Il Framework "Controlled-Literacy"

Gli autori propongono un nuovo framework che integra Retrieval-Augmented Generation (RAG) e Reinforcement Learning (RL) per generare contro-narrazioni personalizzate. Il processo si articola in tre fasi principali:

A. Costruzione della Knowledge Base

Viene creato un database di conoscenze provenienti da fonti affidabili e diversificate (es. CDC, Johns Hopkins Children's Center, articoli di ricerca). Ogni documento viene valutato e categorizzato in base alla sua leggibilità utilizzando il punteggio Flesch-Kincaid Reading Ease (FKRE):

• Facile (80-100): Per bassa alfabetizzazione.
• Medio (60-79): Per media alfabetizzazione.
• Difficile (0-59): Per alta alfabetizzazione.

B. Recupero Adattivo delle Prove (Evidence Retrieval)

Il sistema utilizza un metodo di recupero ibrido (parole chiave + semantica) per trovare informazioni pertinenti alla disinformazione. Successivamente, le prove recuperate vengono filtrate in base a due criteri:

1. Range FKRE: Il testo deve rientrare nel livello di leggibilità target.
2. Preferenza Utente Simulata: Un LLM, istruito per simulare un utente di un certo livello di alfabetizzazione, valuta se il contenuto è chiaro e utile (scala Likert 1-5). Vengono mantenute solo le prove con punteggio $\ge$ 3.

C. Generazione con RL (Reinforcement Learning)

Un modello linguistico (LLM) viene ottimizzato tramite Group Relative Policy Optimization (GRPO). La funzione di ricompensa ($r$) è una combinazione ponderata di due componenti:

1. Ricompensa di Leggibilità ($r_{read}$): Utilizza una funzione sigmoide doppia per incentivare il punteggio FKRE a rientrare nel range target (es. 80-100 per utenti a bassa alfabetizzazione).
2. Ricompensa di Preferenza Utente ($r_{pref}$): Basata su valutazioni simulate da LLM che agiscono come utenti target, misurando chiarezza, accessibilità e utilità percepita.

La formula della ricompensa totale è:
$$r(x, y) = \alpha \cdot r_{read}(x, y) + (1-\alpha) \cdot r_{pref}(x, y)$$
Dove $\alpha$ bilancia leggibilità oggettiva e preferenze soggettive.

3. Contributi Chiave

1. Nuova Prospettiva: Introduce l'idea che l'efficacia della contro-narrazione sanitaria dipenda dall'allineamento con il livello di alfabetizzazione sanitaria del destinatario.
2. Framework Ibrido: Propone "Controlled-Literacy", un sistema che combina RAG (per accuratezza fattuale e adattamento del linguaggio) e RL (per ottimizzare stile e preferenze) in modo controllato.
3. Nuovo Dataset (MisinfoLiteracy): Hanno curato un dataset contenente 440 post di disinformazione sanitaria (da Reddit) paired con risposte di contro-narrazione etichettate e adattate per livelli bassi, medi e alti di alfabetizzazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli LLM (LLaMA-8B, LLaMA-1B, Qwen-7B) confrontando il metodo proposto con baseline come "Instructional Prompt" (prompting diretto) e "RAG" (senza ottimizzazione RL).

• Performance Generale: Il metodo Controlled-Literacy supera costantemente le baseline in tutte le dimensioni di valutazione:
  • Politeness (Cortesia): Migliore rispetto ai prompt standard.
  • Target Distance: Riduzione significativa della distanza tra il punteggio FKRE reale e quello target (migliore allineamento alla leggibilità).
  • User Preference: Gli utenti simulati (e validati da umani) preferiscono le risposte generate dal modello controllato.
  • Factual Accuracy: Le risposte sono più accurate fattualmente grazie all'uso di RAG e filtri rigorosi.
• Impatto sui Modelli Piccoli: I modelli più piccoli (es. LLaMA-1B) traggono benefici maggiori dal framework, mostrando miglioramenti sostanziali rispetto alle baseline, suggerendo che il controllo dell'alfabetizzazione è cruciale anche per modelli con capacità limitate.
• Generalizzazione: Il metodo dimostra robustezza su dataset esterni (Check-COVID, MisinfoCorrect), mantenendo alte performance anche su fonti diverse da Reddit.
• Analisi Incrociata: Gli utenti tendono a preferire le risposte adattate al loro livello specifico, sebbene in alcuni casi (specialmente per utenti a media alfabetizzazione) possano preferire risposte leggermente più semplici per una migliore accessibilità.

5. Significato e Implicazioni

Questa ricerca contribuisce alla comunicazione sanitaria pubblica rendendola più equa ed efficace.

• Accessibilità: Garantisce che le informazioni correttive siano comprensibili per tutti, indipendentemente dal background educativo o sanitario.
• Fiducia: Evita che utenti esperti si sentano sottovalutati o che utenti meno esperti si sentano confusi, aumentando la probabilità che la contro-narrazione venga accettata.
• Scalabilità: Offre una soluzione scalabile per gestire il volume crescente di disinformazione sanitaria, superando i limiti della fact-checking manuale.

Limitazioni e Futuro:
Il lavoro riconosce che la knowledge base attuale non include informazioni in tempo reale (necessarie per crisi sanitarie dinamiche) e che la categorizzazione in soli tre livelli di alfabetizzazione potrebbe essere troppo semplificata. Futuri lavori mireranno a integrare la ricerca web in tempo reale e a sviluppare segmentazioni utente più granulari.