Reasoning Boosts Opinion Alignment in LLMs

Título: O Raciocínio Potencializa o Alinhamento de Opinião em LLMs

Autores: Frédéric Berdoz, Yann Billeter, Yann Vonlanthen, Roger Wattenhofer (ETH Zurich)

1. O Problema

O objetivo da modelagem de opiniões é capturar preferências políticas individuais ou de grupos para aplicações como democracias digitais, onde "gêmeos digitais" poderiam votar ou simular políticas em nome dos cidadãos.

• Desafio Atual: Embora os Grandes Modelos de Linguagem (LLMs) sejam versáteis, eles tendem a produzir opiniões enviesadas quando solicitados de forma ingênua (apenas com prompts demográficos).
• Limitações das Abordagens Existentes:
  • Métodos baseados em prompts demográficos (ex: "Você é um democrata...") falham em capturar a verdadeira diversidade de opiniões e exibem inconsistências.
  • Métodos que usam dados ricos (como transcrições de entrevistas) são caros e difíceis de escalar.
  • A maioria dos modelos não consegue simular fielmente as preferências políticas de um indivíduo específico, especialmente em questões complexas.

2. Metodologia

Os autores propõem tratar a formação de opinião como um problema de raciocínio estruturado, utilizando dados de pesquisas eleitorais para treinar agentes.

Abordagem Principal: GRPO (Group Relative Policy Optimization)

Em vez de apenas prever uma resposta, o modelo é treinado para gerar um rastro de raciocínio antes de dar a resposta final.

• Estrutura de Saída: O modelo deve seguir um esquema fixo: <reasoning>[justificação]</reasoning><answer>[posição]</answer>.
• Dados de Treino: Utilizam respostas de pesquisas reais (sem os raciocínios originais). O modelo deve aprender a gerar um raciocínio coerente que leve à resposta correta (a da pessoa real na pesquisa).
• Função de Recompensa (Composite Reward): O GRPO utiliza uma recompensa composta por três componentes:
  1. Formato ($R_{format}$): Penaliza se as tags XML (<reasoning>, <answer>) não estiverem corretas.
  2. Comprimento ($R_{length}$): Penaliza desvios de um comprimento de token desejado para o raciocínio.
  3. Correção ($R_{correct}$): A recompensa principal é dada se a resposta final do modelo coincidir com a resposta real da pessoa na pesquisa.
• Fase de Inicialização (Opcional): Utiliza Supervised Fine-Tuning (SFT) com dados sintéticos (argumentos gerados por um LLM maior) para "aquecer" o modelo antes do GRPO, melhorando a convergência.

Conjunto de Dados

O método foi avaliado em três conjuntos de dados reais cobrindo diferentes sistemas políticos:

1. Suíça (smartvote): 18 candidatos de 6 partidos (180 questões).
2. Alemanha (Wahl-O-Mat): 6 partidos principais (foco em posições partidárias).
3. EUA (ANES 2020): 21 respondentes individuais com diferentes espectros ideológicos.

3. Contribuições Principais

1. Alinhamento de Opinião Baseado em Raciocínio via RL: Introduz o uso de Reinforcement Learning (especificamente GRPO) para forçar LLMs a gerar justificativas estruturadas que alinham suas respostas às preferências individuais de perfis políticos.
2. Benchmark de Dados Reais: Libera três conjuntos de dados de opiniões políticas autênticas (Suíça, Alemanha, EUA) como um novo benchmark para a comunidade de pesquisa.
3. Análise de Viés Ideológico: Investiga sistematicamente como a ideologia (Esquerda, Centro, Direita) impacta a capacidade do modelo de aprender e alinhar opiniões, revelando disparidades significativas.

4. Resultados Chave

• Desempenho Superior: A combinação SFT + GRPO superou consistentemente as baselines (como In-Context Learning, ORPO e SFT puro) em todos os conjuntos de dados.
  • No conjunto smartvote, o SFT+GRPO atingiu um F1-score de 70.73% (Magistral 24B).
  • No ANES (EUA), atingiu 45.43%, o que é considerado difícil devido à complexidade e ao viés inerente dos dados.
• Impacto do Raciocínio: O uso de raciocínio explícito melhorou a precisão em comparação com modelos que apenas geram respostas diretas.
• Desafio da Classe "Neutro": O desempenho cai significativamente para respostas "Neutras". Há uma correlação negativa forte entre a taxa de respostas "Neutras" de um indivíduo e a precisão do modelo para aquele indivíduo.
• Viés Ideológico e Desempenho Assimétrico:
  • Os modelos tendem a ter melhor desempenho em perfis de Esquerda e pior em perfis de Direita e Centro.
  • Mesmo invertendo as respostas (transformando perfis de direita em esquerda), o modelo não atingiu o mesmo nível de precisão que tinha originalmente para a esquerda, sugerindo que perfis de esquerda podem ser intrinsecamente mais fáceis de modelar ou que o viés base do LLM é um fator limitante.
• Análise de Posicionamento (PCA): Ao mapear as posições dos agentes em um espaço político (Eixo Esquerda-Direita vs. Liberal-Conservador), observou-se que os agentes tendem a se deslocar para o centro-direita, em vez de seguirem o viés de esquerda-libertária frequentemente reportado em outros estudos. Isso sugere que o alinhamento base do modelo pode estar "puxando" as opiniões para o centro.

5. Significado e Conclusão

• Validação do Raciocínio: O trabalho demonstra que forçar LLMs a "pensar" (raciocinar) antes de responder melhora a fidelidade na simulação de opiniões políticas, tornando-os melhores "gêmeos digitais".
• Limitações e Riscos: O estudo revela que, embora a técnica seja promissora, ela não elimina totalmente o viés. A dificuldade em modelar opiniões de direita e posições neutras representa um risco para a representação democrática se esses sistemas forem implantados prematuramente.
• Futuro: O artigo estabelece uma base sólida para pesquisas futuras, sugerindo a necessidade de mecanismos adicionais para mitigar vieses ideológicos e melhorar a modelagem de posições centrais e neutras antes de aplicações em democracias digitais reais.

Em resumo, o papel prova que o raciocínio estruturado via Reinforcement Learning é uma ferramenta poderosa para alinhar LLMs a perfis políticos individuais, mas alerta que a justiça e a representatividade total ainda são desafios não resolvidos.