The Impact of Ideological Discourses in RAG: A Case Study with COVID-19 Treatments

1. Il Problema

L'uso dei Modelli Linguistici su Grande Scala (LLM) in settori ad alto rischio come la sanità è in crescita, ma questi modelli soffrono di allucinazioni e mancanza di conoscenze aggiornate. La Retrieval-Augmented Generation (RAG) è stata introdotta per mitigare questi problemi collegando gli LLM a fonti di conoscenza esterne. Tuttavia, mentre la RAG migliora la fattualità, introduce nuovi rischi legati ai bias ideologici presenti nei documenti recuperati.
Il problema centrale affrontato dallo studio è l'assenza di ricerche su come i testi ideologicamente caricati (ideologically loaded texts) nelle basi di conoscenza esterne influenzino le risposte degli LLM in un contesto RAG. In particolare, il paper indaga se e quanto le risposte generate si allineino alle ideologie presenti nei documenti recuperati, e come la struttura del prompt (con o senza descrizioni esplicite dell'ideologia) possa amplificare questo effetto.

2. Metodologia

Gli autori hanno sviluppato un framework sperimentale basato su tre fasi principali:

A. Costruzione del Corpus e Analisi LMDA

• Corpus: È stato creato un corpus di 1.117 articoli accademici riguardanti i trattamenti per il COVID-19 (pubblicati tra il 2020 e il 2022). Il corpus è diviso in due categorie:
  • Testi controversi: Promuovono trattamenti non approvati (es. idrossiclorochina, azitromicina).
  • Testi approvati (Endorsed): Allineati agli standard scientifici internazionali e alle agenzie sanitarie.
• Analisi LMDA (Lexical Multidimensional Analysis): È stato applicato un framework di linguistica corpus per identificare le dimensioni ideologiche sottostanti. L'LMDA utilizza l'analisi fattoriale sulle co-occorrenze lessicali per scoprire variabili latenti.
• Dimensioni Identificate: Sono state individuate 5 dimensioni, di cui 3 sono state selezionate per gli esperimenti a causa della loro forte polarizzazione:
  1. Trattamenti Contestati vs. Focus Ampio: Promozione di farmaci dubbi vs. analisi di impatti psicologici.
  2. Etica della Ricerca vs. Analisi Comparativa: Rispetto degli standard etici vs. uso di analisi comparative per convalidare farmaci controversi.
  3. Rigor Statistico vs. Divulgazione Scientifica: Uso di statistiche apparenti per supportare trattamenti non provati vs. condivisione aperta dei dati.

B. Configurazione Sperimentale RAG

Il sistema RAG è stato testato su quattro modelli LLM all'avanguardia: GPT-3.5-turbo, GPT-4o-mini, Gemini-2.0-flash e Qwen2.5:7b.
Sono stati utilizzati due tipi di prompt per generare le risposte:

1. Prompt Standard (Regular): Contiene la domanda dell'utente e i testi ideologici recuperati, senza spiegazioni esplicita dell'ideologia.
2. Prompt Potenziato (Enhanced): Oltre a domande e testi, include descrizioni esplicite delle dimensioni LMDA (etichetta, descrizione, lessico tipico ed esempi di testi). Questo simula un uso consapevole e intenzionale dell'ideologia nel prompt.

C. Valutazione

L'allineamento tra le risposte degli LLM e i testi ideologici di riferimento è stato misurato utilizzando due metriche di similarità:

• Similarità Semantica: Basata su embedding BERT (modello all-MiniLM-L6-v2) e calcolo della similarità del coseno.
• Similarità Lessicale: Basata su vettori TF-IDF e calcolo della similarità del coseno.

3. Contributi Chiave

1. Framework LMDA per la RAG: Introduzione di un metodo basato sulla linguistica corpus (LMDA) per mappare e quantificare le dimensioni ideologiche in un dominio specifico (sanità) e utilizzarle come variabili di controllo in un sistema RAG.
2. Analisi dell'Impatto del Prompt: Dimostrazione empirica che l'inclusione di descrizioni ideologiche esplicite (prompt potenziato) non solo non neutralizza il bias, ma amplifica l'allineamento dell'LLM con l'ideologia presente nei testi recuperati.
3. Valutazione Multidimensionale: Fornitura di una valutazione dettagliata su come diverse dimensioni ideologiche (positive e negative) influenzino modelli diversi, evidenziando che la RAG rende gli LLM più suscettibili alla manipolazione ideologica rispetto al loro funzionamento autonomo.

4. Risultati Principali

• Allineamento Ideologico: I risultati mostrano che le risposte generate in modalità RAG sono significativamente più allineate alle ideologie presenti nei testi recuperati rispetto alle risposte generate dagli LLM basandosi solo sulla conoscenza interna.
• Effetto del Prompt Potenziato: L'uso di prompt che includono le descrizioni LMDA (Enhanced Prompt) ha aumentato ulteriormente la similarità semantica e lessicale tra le risposte e i testi ideologici di riferimento.
  • Ad esempio, per la similarità semantica, l'uso di prompt potenziati ha portato a un aumento medio delle punteggi di allineamento rispetto ai prompt standard.
  • In alcuni casi, l'allineamento è aumentato drasticamente (es. da 0.73 a 0.80 nella similarità lessicale per una specifica dimensione).
• Analisi Statistica: L'ANOVA ha rivelato differenze statisticamente significative (p < 0.05) tra le prestazioni degli LLM puri e quelle del sistema RAG, specialmente quando si utilizzano prompt potenziati. Questo conferma che il contesto recuperato e la sua strutturazione nel prompt guidano attivamente il comportamento del modello.
• Eccezioni: Il modello Qwen ha mostrato un leggero calo di similarità in alcuni casi con il prompt potenziato, ma la tendenza generale per tutti gli altri modelli è stata un aumento dell'allineamento ideologico.

5. Significato e Implicazioni

Lo studio evidenzia un doppio rischio critico per le applicazioni RAG nel settore sanitario e non solo:

1. Bias Involontario: Anche senza intenzione malevola, se una base di conoscenza contiene testi ideologicamente distorti, il sistema RAG li trasmetterà agli utenti, influenzando la percezione e la fiducia nel sistema.
2. Manipolazione Maliziosa: La capacità di un prompt "potenziato" di forzare l'allineamento del modello a una specifica ideologia dimostra che questi sistemi possono essere facilmente manipolati per propagare disinformazione o narrazioni specifiche, sfruttando la struttura del prompt e la selezione dei documenti.

Conclusione: Il paper sottolinea la necessità urgente di identificare e monitorare i discorsi ideologici all'interno delle fonti di conoscenza e di sviluppare strategie di mitigazione. Non basta garantire la fattualità dei dati; è necessario garantire la neutralità ideologica o, quantomeno, la consapevolezza del bias introdotto dal contesto recuperato, specialmente in ambiti sensibili come la salute pubblica.