The Impact of Ideological Discourses in RAG: A Case Study with COVID-19 Treatments

1. Problema Investigado

O artigo aborda uma lacuna crítica na pesquisa sobre Grandes Modelos de Linguagem (LLMs) e sistemas de Geração Aumentada por Recuperação (RAG). Embora o RAG seja amplamente utilizado para reduzir alucinações e melhorar a precisão factual ao conectar LLMs a fontes de conhecimento externo, ele introduz novos riscos relacionados a vieses ideológicos.

O problema central é que, se as fontes de conhecimento externas contiverem textos carregados de ideologia (especialmente em domínios de alto risco como a saúde), o LLM pode absorver e reproduzir esses vieses em suas respostas. O estudo foca especificamente em como discursos ideológicos sobre tratamentos controversos versus endossados para a COVID-19 influenciam as saídas dos modelos, e como a estrutura do prompt (com ou sem descrições explícitas da ideologia) pode amplificar esse alinhamento.

2. Metodologia

Os autores propõem um framework experimental que integra linguística de corpus e engenharia de prompts. A metodologia divide-se em três etapas principais:

A. Construção do Corpus e Análise LMDA

• Corpus: Foi compilado um conjunto de 1.117 artigos acadêmicos publicados entre 2020 e 2022. O corpus é dividido em dois grupos:
  • Textos Endossados: Alinhados com padrões internacionais de saúde e ciência (ex: LitCovid).
  • Textos Controversos: Promovendo tratamentos não aprovados ou questionáveis (ex: Hidroxicloroquina), coletados de fontes como Cureus e Retraction Watch.
• Análise Multidimensional Lexical (LMDA): Utilizada para identificar padrões latentes de discurso. O processo envolveu:
  1. Pré-processamento (lematização, remoção de stopwords).
  2. Extração de palavras-chave e colocações (combinações recorrentes de palavras).
  3. Análise fatorial para descobrir variáveis latentes.
  4. Identificação de 3 dimensões ideológicas principais (com polos positivos e negativos):
     • Dim 1: Tratamentos Contestados (+) vs. Foco Amplo (-).
     • Dim 2: Ética na Pesquisa (+) vs. Análise Comparativa de Tratamentos (-).
     • Dim 3: Rigor Estatístico (+) vs. Disseminação da Ciência (-).

B. Configuração Experimental (RAG)

O estudo testou quatro modelos de ponta (GPT-3.5-turbo, GPT-4o-mini, Gemini-2.0-flash, Qwen2.5) em dois cenários de prompt:

1. Prompt Regular (RAG): O modelo recebe a pergunta e os textos ideológicos recuperados, sem instruções explícitas sobre a natureza ideológica do texto.
2. Prompt Aprimorado (Enhanced Prompt): Além dos textos, o prompt inclui explicitamente o rótulo da dimensão, a descrição da dimensão (gerada via LMDA), vocabulário típico e exemplos de textos. Isso simula uma "consciência" da ideologia pelo modelo.

C. Avaliação

A alinhamento entre as respostas do LLM e os textos de referência ideológicos foi medido usando:

• Similaridade Semântica: Baseada em embeddings BERT (modelo all-MiniLM-L6-v2).
• Similaridade Lexical: Baseada em vetores TF-IDF.
• Foi calculada a similaridade de cosseno entre as respostas geradas e os textos de referência dos polos ideológicos correspondentes.

3. Contribuições Principais

• Framework LMDA para RAG: Introduz o uso da Análise Multidimensional Lexical para mapear e rotular discursos ideológicos em corpora específicos, permitindo um controle fino sobre os vieses injetados no sistema RAG.
• Análise de Sensibilidade a Prompts: Demonstra que a simples inclusão de textos ideológicos altera a saída do modelo, mas que a instrução explícita sobre a ideologia (via descrições LMDA no prompt) amplifica significativamente esse efeito.
• Identificação de Riscos de Manipulação: Evidencia que o RAG não é apenas uma ferramenta de correção factual, mas um vetor potencial para a propagação de desinformação ideológica, especialmente quando combinado com engenharia de prompts maliciosos ou não monitorados.

4. Resultados Chave

• Alinhamento com Ideologia Externa: Em todos os modelos testados, as respostas baseadas em RAG mostraram maior alinhamento semântico e lexical com os textos ideológicos recuperados do que as respostas geradas apenas com o conhecimento interno do modelo (sem RAG).
• Efeito do Prompt Aprimorado: O uso de prompts com descrições LMDA aumentou ainda mais a similaridade entre a resposta do modelo e a ideologia de referência.
  • Exemplo: Para o GPT-4o-mini, a similaridade semântica média aumentou de 0.87 (prompt regular) para 0.86-0.89 (prompt aprimorado) dependendo da dimensão, com a maioria das dimensões mostrando um aumento claro.
• Estabilidade dos Modelos: Quase todos os modelos (exceto o Qwen em casos marginais) seguiram a tendência de maior alinhamento com a ideologia do contexto externo quando guiados pelos prompts aprimorados.
• Significância Estatística: Testes ANOVA confirmaram diferenças estatisticamente significativas entre os scores de LLM puro e RAG, especialmente para prompts aprimorados na similaridade semântica.

5. Significado e Conclusão

O estudo conclui que os sistemas RAG são altamente sensíveis ao viés ideológico presente nas fontes de conhecimento. A descoberta mais crítica é que a manipulação intencional (injetando descrições ideológicas explícitas nos prompts) pode forçar o modelo a alinhar suas respostas a uma narrativa específica com alta fidelidade.

Implicações:

• Segurança em Saúde: Em domínios críticos como a saúde, a presença de vieses ideológicos em bases de conhecimento pode levar a recomendações perigosas ou desinformação.
• Necessidade de Mitigação: É imperativo desenvolver mecanismos para identificar e monitorar discursos ideológicos nas fontes de dados de RAG.
• Defesa contra Manipulação: Os resultados alertam para o risco de "envenenamento" de sistemas RAG, onde atores maliciosos poderiam usar descrições de dimensões ideológicas para direcionar a saída de modelos de IA para fins específicos, comprometendo a neutralidade e a confiabilidade do sistema.

Em suma, o papel sugere que a transparência sobre a origem e a natureza ideológica dos textos recuperados é essencial para garantir a integridade de aplicações de LLM no mundo real.