💬 NLP

How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?

Este estudo demonstra que sistemas de Geração Aumentada de Recuperação (RAG) podem transmitir e amplificar vieses ideológicos das fontes recuperadas para os outputs de LLMs, sendo que a força dessa transferência é significativamente modulada pela temperatura de amostragem, que atinge o pico em níveis moderados, onde a estocasticidade e o embasamento estão equilibrados.

Autores originais: Elmira Salari, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Maria Nunes Delfino, Anderson Avila

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Elmira Salari, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Maria Nunes Delfino, Anderson Avila

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô bibliotecário superinteligente chamado "LLM" que sabe quase tudo, mas às vezes inventa histórias selvagens quando lhe perguntam sobre tópicos complicados. Para impedir que o bibliotecário minta, demos a ele uma mochila "RAG" especial cheia de livros e artigos reais. A ideia era simples: "Responda apenas usando o que está na mochila!" Mas aqui está a reviravolta: e se a própria mochila estiver cheia de livros que argumentam sobre o mesmo tópico de maneiras muito diferentes e enviesadas?

Este estudo fez uma pergunta divertida, mas séria: Se entregarmos ao bibliotecário uma mochila cheia de livros enviesados, quanto desse viés vaza para as respostas do robô e o "humor" do robô (chamado de temperatura) muda o quanto ele copia esse viés?

O Experimento: Uma Biblioteca de Dois Mundos

Os pesquisadores construíram uma mochila especial usando 1.117 artigos sobre tratamentos para COVID-19 de 2020 a 2022. Eles dividiram esses artigos em dois campos:

O Campo "Endossado": 991 artigos que seguiam as regras oficiais de saúde e padrões científicos.
O Campo "Controverso": 116 artigos defendendo tratamentos que agências oficiais não aprovaram (como a hidroxicloroquina).

Usando uma ferramenta matemática sofisticada chamada Análise Multidimensional Lexical (LMDA), eles descobriram exatamente como as palavras nesses dois campos diferiam. Eles encontraram três "discursos ideológicos" distintos (basicamente, três formas diferentes de argumentar o mesmo ponto).

O Botão de Controle da "Temperatura"

Agora, imagine que o robô bibliotecário tem um botão chamado Temperatura.

Temperatura Baixa (0.1): O robô é super sério, robótico e escolhe as palavras mais óbvias e seguras. É como um robô lendo um roteiro.
Temperatura Alta (0.9): O robô é selvagem, criativo e escolhe palavras aleatoriamente. É como um robô improvisando um solo de jazz.

Os pesquisadores pediram ao robô para responder perguntas sobre esses tratamentos usando diferentes temperaturas e diferentes tipos de instruções (prompts).

A Grande Descoberta: A Zona "Goldilocks"

Aqui está o que eles descobriram, e é um pouco surpreendente:

1. A Mochila Vence:
Quando o robô usou a mochila (RAG), ele copiou o viés dos livros muito mais do que quando usou apenas seu próprio cérebro. Se os livros eram enviesados, as respostas do robô eram enviesadas. A mochila foi o principal motor.

2. A Reviravolta da Temperatura:
Você poderia pensar: "Se o robô for super sério (temp baixa), ele não cometerá erros, então não copiará o viés." Errado! O estudo sugere o contrário.

Em Temperaturas Baixas (0.1): O robô era rígido demais. Ele suprimiu a transferência do viés. Ele estava tão focado em ser preciso que não absorveu totalmente a "vibe" dos livros enviesados.
Em Temperaturas Moderadas (0.5): Este era o ponto ideal. O robô estava equilibrado — sério o suficiente para ler os livros, mas flexível o suficiente para absorver o "sabor" ideológico deles. O alinhamento entre a resposta do robô e os livros enviesados foi mais alto aqui.
Em Temperaturas Altas (0.9): O robô ficou caótico demais. Embora ainda usasse os livros, a aleatoriedade selvagem tornou as respostas menos perfeitamente alinhadas com o viés específico, embora o sistema RAG ainda o mantivesse mais fundamentado do que um robô sem mochila.

3. O Prompt "Aprimorado":
Quando os pesquisadores deram notas extras ao robô dizendo: "Ei, estes livros têm um ponto de vista específico, tente combiná-lo", a transferência do viés ficou ainda mais forte. Mas mesmo com essas notas, a temperatura moderada ainda era onde o robô melhor correspondia ao viés.

Os Modelos de Robô

Eles testaram quatro cérebros de robôs: GPT-4o-mini, GPT-3.5-turbo, Gemini-2.0 e Qwen.

Qwen foi o mais facilmente influenciado pelos livros enviesados, combinando o viés com pontuações acima de 0.85 (em uma escala onde 1 é uma combinação perfeita).
GPT-4o-mini foi o mais teimoso. Teve as pontuações mais baixas, sugerindo que modelos maiores e mais inteligentes podem ser melhores em ignorar o viés na mochila, mesmo quando a mochila é cheia dele.

E Quanto ao "Sem Viés"?

Eles também testaram um "Prompt Negativo", dizendo ao robô: "Aqui estão os livros enviesados, mas não copie o estilo deles!"

Isso funcionou! As respostas do robô tornaram-se muito menos enviesadas.
Curiosamente, a instrução "Sem Viés" funcionou melhor na temperatura mais alta (0.9), enquanto a instrução "Copie o Viés" funcionou melhor na temperatura moderada (0.5).

A Conclusão

O artigo sugere que a temperatura não é apenas sobre criatividade; ela muda o quanto um robô copia o viés em seu material de origem.

Se você quer que um robô absorva o ponto de vista específico de uma fonte enviesada, uma temperatura moderada (cerca de 0.5) parece ser a mais eficaz.
Se você quer impedir que um robô copie um viés, uma temperatura alta (0.9) combinada com uma instrução estrita de "não faça isso" pode ser sua melhor aposta.

Os autores são cuidadosos ao dizer que isso é baseado em simulações com textos de COVID-19, portanto, não podemos ter 100% de certeza de que funciona para todos os tópicos ou todos os robôs. Mas os dados mostram um padrão claro: o "humor" do robô (temperatura) e a "mochila" (informação recuperada) dançam juntos para decidir quanto viés termina na resposta final.

Resumo Técnico: Como a Temperatura Molda o Discurso Ideológico em Geração Aumentada por Recuperação

Declaração do Problema

Embora a Geração Aumentada por Recuperação (RAG) seja amplamente adotada para mitigar alucinações e melhorar o embasamento factual de Grandes Modelos de Linguagem (LLMs), o impacto do viés ideológico dentro dos documentos recuperados nos outputs de LLMs permanece pouco explorado. Pesquisas existentes abordaram imprecisões factuais na recuperação, mas negligenciaram amplamente como as estruturas de RAG podem transmitir, amplificar ou suprimir discursos ideológicos presentes em fontes de conhecimento externas. Isso é particularmente crítico em domínios de alto risco como a saúde, onde mudanças sutis na redação podem remodelar a interpretação de tratamentos e riscos. Além disso, o papel da temperatura de amostragem — um parâmetro que controla a aleatoriedade da geração de tokens — na modulação dessa transferência ideológica dentro de sistemas RAG recebeu atenção limitada.

Metodologia

Construção do Corpus e Identificação Ideológica

O estudo utilizou um corpus específico de domínio composto por 1.117 artigos científicos sobre tratamentos de COVID-19 publicados entre 2020 e 2022. O corpus foi dividido em dois subcorpora:

Controverso: 116 textos promovendo tratamentos não aprovados por agências oficiais de saúde (ex: hidroxicloroquina, ivermectina).
Endossado: 991 textos alinhados com padrões internacionais de ciência e saúde.

Para identificar discursos ideológicos latentes, os autores aplicaram a Análise Multidimensional Lexical (LMDA). Este método estende a Análise Multidimensional de Biber ao utilizar análise fatorial em coocorrências de palavras (colocações) para descobrir dimensões derivadas estatisticamente.

Pré-processamento: Colocações-chave foram extraídas usando escores Log-Dice ( $D \ge 7$ ) dentro de um intervalo de quatro palavras.
Análise Fatorial: Uma matriz de correlação tetracórica foi computada, seguida de análise fatorial. Três dimensões primárias foram selecionadas com base em sobreposições claras entre os polos das dimensões e os subconjuntos de texto (Controverso vs. Endossado).
Microanálise: A análise qualitativa de textos nos extremos dessas dimensões permitiu a rotulagem de orientações discursivas (ex: promocional vs. baseado em evidências).

Configuração Experimental

O estudo avaliou a propagação desses discursos identificados para os outputs de LLM sob diferentes condições:

Modelos: Quatro LLMs foram testados: GPT-4o-mini, GPT-3.5-turbo, Gemini-2.0 e Qwen2.5.
Condições de Geração:
- Apenas LLM: Os modelos responderam sem contexto externo.
- RAG: Os modelos responderam utilizando contexto recuperado do corpus ideológico.
Estratégias de Prompting:
- Regular: Prompts padrão com ou sem contexto recuperado.
- Aprimorado (Enhanced): Prompts que incluíram explicitamente metadados da LMDA (rótulos de dimensão, descrições, vocabulário típico e textos de exemplo) para guiar o modelo em direção a enquadramentos ideológicos específicos.
- Prompt Negativo: Uma condição específica onde os modelos foram instruídos explicitamente a evitar refletir os metadados ideológicos fornecidos.
Temperaturas de Amostragem: Os experimentos foram conduzidos através de cinco temperaturas: 0.1, 0.3, 0.5, 0.7 e 0.9.

Métricas de Avaliação

O alinhamento ideológico foi medido usando três abordagens de similaridade contra textos ideológicos de referência:

Similaridade Semântica: Similaridade de cosseno de embeddings médios do tipo BERT.
Similaridade Lexical: Similaridade de cosseno de vetores TF-IDF.
Similaridade Híbrida: Uma concatenação de vetores semânticos e lexicais.

Métricas estruturais adicionais incluíram a Razão Tipo-Token (TTR) para diversidade lexical, Entropia de Token Média para incerteza de geração e Comprimento do Output.

Principais Resultados

1. Impacto de RAG e Prompting no Alinhamento

Superioridade do RAG: Em todas as temperaturas e métricas, as configurações baseadas em RAG alcançaram maior alinhamento ideológico do que a geração apenas por LLM.
Prompting Aprimorado: A combinação de RAG com prompting aprimorado (metadados ideológicos explícitos) gerou os maiores escores de alinhamento, sugerindo que pistas explícitas no prompt são mais eficazes quando reforçadas pelo contexto ideológico recuperado.
Limitações do Apenas LLM: Sem o embasamento por recuperação, mesmo o prompting aprimorado falhou em melhorar significativamente o alinhamento, indicando que o conhecimento externo é crucial para uma transferência ideológica consistente.

2. O Papel da Temperatura de Amostragem

O efeito da temperatura no alinhamento do discurso dependeu fortemente da configuração do sistema:

RAG com Prompting Aprimorado: O alinhamento foi menor na configuração mais determinante ( $T=0.1$ ), aumentou para um máximo em uma temperatura moderada ( $T=0.5$ ) e estabilizou conforme a temperatura aumentava. Isso sugere que um equilíbrio entre estocasticidade e embasamento de recuperação é ideal.
RAG com Prompting Regular: Mostrou um aumento gradual e monotônico no alinhamento conforme a temperatura subia, atingindo o pico em $T=0.9$ . As evidências recuperadas parecem restringir a geração o suficiente para permitir maior diversidade sem degradar o alinhamento.
Apenas LLM: Exibiu um padrão de "ascensão e queda". O alinhamento aumentou de $T=0.1$ para $T=0.3$ , mas depois declinou e estabilizou em temperaturas mais altas. Isso indica que, sem o suporte da recuperação, a aleatoriedade excessiva introduz variabilidade que o modelo não consegue controlar, reduzindo a coerência ideológica.

3. Achados Específicos por Modelo

O Qwen2.5 demonstrou consistentemente os maiores escores de alinhamento em todas as métricas e temperaturas, sugerindo uma maior suscetibilidade à influência ideológica.
O GPT-4o-mini apresentou os menores escores de alinhamento e a menor variação entre temperaturas, implicando que modelos maiores com mais conhecimento de mundo codificado podem ser mais resistentes ao enquadramento ideológico externo.

4. Métricas Estruturais

Diversidade Lexical (TTR): Outputs de apenas LLM mostraram consistentemente maior diversidade lexical do que os outputs de RAG. A temperatura teve impacto mínimo no TTR dentro do cenário RAG.
Entropia: A entropia média aumentou modestamente com a temperatura para ambos os cenários, confirmando maior aleatoriedade na seleção de tokens.
Comprimento do Output: Outputs de RAG foram significativamente mais longos do que os de apenas LLM. O comprimento do RAG aumentou gradualmente com a temperatura, enquanto o comprimento do apenas LLM permaneceu relativamente estável.

5. Prompting Negativo

Quando os modelos foram instruídos explicitamente a evitar o alinhamento ideológico (Prompt Negativo), os escores de alinhamento caíram significativamente em comparação com as configurações regulares. A métrica lexical mostrou a maior redução, indicando que a escolha de palavras é altamente sensível à polaridade do prompt, enquanto as estruturas semânticas foram mais resistentes.

Significância e Contribuições

O artigo traz duas contribuições principais:

Definição Formal de Dimensões Ideológicas: Estabelece um conjunto de dimensões ideológicas derivadas de conhecimento externo (via LMDA) que permite a avaliação quantitativa do alinhamento de resposta de LLM a uma ideologia específica.
Caracterização da Propagação Ideológica: Investiga como os discursos ideológicos se propagam do conhecimento externo de RAG para os outputs de LLM sob diferentes temperaturas de amostragem.

Conclusões Principais:
O estudo conclui que, embora a temperatura de amostragem impacte significativamente o alinhamento do discurso, seu efeito é estruturalmente moderado pelo design do sistema. Em sistemas RAG, o embasamento pela recuperação restringe o desvio ideológico causado pela temperatura, tornando o alinhamento mais estável através das temperaturas em comparação com sistemas de apenas LLM. A transferência ideológica em sistemas fundamentados surge da interação entre a estocasticidade de decodificação, o prompting baseado em metadados e as restrições de recuperação, em vez de apenas a temperatura.

Limitações:
Os autores observam que os achados são específicos ao contexto do discurso da COVID-19 (2020–2022), um período caracterizado por urgência aguda e polarização. A generalização para domínios não médicos (ex: mudanças climáticas) permanece não verificada. Adicionalmente, a dependência de métricas de similaridade automatizadas sugere a necessidade de futuras avaliações humanas para corroborar os achados.