Improving the Distributional Alignment of LLMs using Supervision

Título: Improving the Distributional Alignment of LLMs using Supervision

Autores: Gauri Kambhatla et al. (The University of Texas at Austin)

1. Problema e Motivação

À medida que os Grandes Modelos de Linguagem (LLMs) são integrados em sistemas do mundo real, torna-se crucial avaliá-los não apenas por sua capacidade de gerar respostas individuais, mas por sua capacidade de simular a distribuição de opiniões de diversos grupos populacionais.

• Limitação das Abordagens Atuais: A maioria dos trabalhos anteriores utiliza persona prompting (ex: "Imagine que você é um homem de 30 anos...") para alinhar LLMs a grupos sociodemográficos (SD). No entanto, esses métodos frequentemente assumem uma resposta majoritária única para cada grupo, ignorando a discordância intragrupo (a variação de opiniões dentro de um mesmo grupo demográfico).
• O Falácia Ecológica: Modelar um grupo como tendo uma única opinião é uma falácia, pois membros de um mesmo grupo não compartilham crenças idênticas. Além disso, o prompting sociodemográfico puro muitas vezes não melhora consistentemente o alinhamento e pode levar a estereótipos ou caricaturas.
• Objetivo: O trabalho busca alinhar as distribuições de respostas geradas por LLMs com as distribuições reais de respostas humanas em pesquisas de opinião subjetiva, utilizando supervisão para corrigir desvios.

2. Metodologia

2.1. Dados e Configuração

Os autores utilizaram três conjuntos de dados de pesquisas globais cobrindo saúde pública, opinião pública e valores:

1. Wellcome Global Monitor (WGM): Percepções globais sobre ciência e saúde.
2. OpinionQA (OQA): Opiniões públicas dos EUA.
3. World Values Survey (WVS): Valores e crenças morais globais.

• Escopo: 92 perguntas no total, cobrindo 4.500 distribuições de respostas humanas reais.
• Modelos: 15 LLMs variados (famílias Claude, Llama, Mistral, OLMo, Qwen), variando em tamanho, abertura (open-source vs. API) e métodos de pós-treinamento.

2.2. Métodos de Elaboração de Distribuição (Distribution Elicitation)

Para extrair distribuições probabilísticas dos LLMs, foram testadas três técnicas:

1. Verbalizado (Verbalized): O modelo é instruído a outputar diretamente uma lista de probabilidades (ex: [0.7, 0.2, 0.05, 0.05]).
2. Auto-Aleatório (Self-random): O modelo gera uma única resposta, repetido $n=5$ vezes com temperatura 0.7, criando uma distribuição empírica.
3. Parafraseado (Paraphrase): O modelo gera uma resposta única, mas o prompt é reescrito em $n=5$ variações diferentes para criar a distribuição.

2.3. Abordagem de Calibração Supervisionada (A Contribuição Central)

Em vez de apenas ajustar os pesos internos do modelo, os autores propõem uma calibração pós-geração via regressão supervisionada:

• Mecanismo: Um modelo de regressão é treinado para mapear a distribuição gerada pelo LLM ($D_{LLM}$) para a distribuição real humana ($D_{Human}$).
• Treinamento: O modelo de regressão aprende a transformação para cada opção de resposta individualmente. Por exemplo, se o LLM prevê 0.6 para a opção A e a realidade é 0.25, o regressor aprende a ajustar esse valor.
• Normalização: Após a transformação, as probabilidades são re-normalizadas para somar 1.
• Supervisão Mínima: Investigou-se se poucos exemplos (1 a 10) seriam suficientes para treinar esse regressor.

2.4. Métrica de Avaliação

Utilizou-se a Alinhamento de Opinião baseada na Distância de Wasserstein (Earth Mover's Distance). Esta métrica é preferível à divergência KL ou JS porque leva em conta a natureza ordinal das respostas de pesquisas (ex: "concordo muito" é mais próximo de "concordo" do que de "discordo").

3. Principais Resultados

3.1. Eficácia do Prompting Sociodemográfico (RQ1)

• Resultado: Adicionar informações demográficas aos prompts não melhora consistentemente o alinhamento. Em muitos casos, o prompting SD resultou em alinhamento igual ou pior do que prompts base (sem demografia), dependendo do modelo e do conjunto de dados.

3.2. Eficácia da Calibração Supervisionada (RQ2)

• Melhoria Significativa: A calibração supervisionada melhorou o alinhamento médio em 16,3% através de todos os modelos, métodos de elicitação e conjuntos de dados.
• Consistência: Em 94,8% das configurações (modelo-dataset-método), a calibração aumentou o alinhamento.
• Redução de Variância: A calibração reduziu significativamente a variância (desvio padrão) nas pontuações de alinhamento entre diferentes configurações, indicando que o método torna o desempenho mais robusto e menos dependente da escolha específica do modelo ou do método de elicitação.

3.3. Variação entre Grupos Demográficos (RQ3)

• O alinhamento varia entre grupos. A calibração tende a melhorar mais os grupos que estavam inicialmente menos alinhados (ex: regiões da África, América do Sul) e pode reduzir ligeiramente o alinhamento em grupos que já estavam muito alinhados (ex: Austrália/Nova Zelândia).
• Modelos diferentes têm afinidades diferentes com certos datasets (ex: Claude performou melhor no OQA, enquanto OLMo performou melhor no WVS).

3.4. Quantidade de Dados Necessária (RQ4)

• Convergência Rápida: A calibração atinge desempenho próximo ao ótimo com apenas 1 a 10 exemplos completos de treinamento.
• Comparação com Few-Shot: A calibração supervisionada foi mais consistente e eficaz do que o uso de few-shot prompting (exemplos no contexto) com o mesmo número de exemplos.

4. Contribuições Chave

1. Mudança de Paradigma: Demonstra que o alinhamento distribucional (pluralístico) é mais importante e desafiador do que o alinhamento de respostas majoritárias.
2. Método de Calibração Leve: Propõe uma técnica de calibração baseada em regressão supervisionada simples que é aplicável a qualquer LLM (aberto ou fechado) e não requer fine-tuning pesado do modelo base.
3. Benchmark Abrangente: Fornece um benchmark extensivo avaliando 15 modelos, 3 datasets e múltiplas estratégias de prompting, estabelecendo uma base para pesquisas futuras.
4. Insights sobre Viés: Evidencia que os LLMs tendem a exagerar as diferenças entre grupos demográficos (distribuições mais extremas que a realidade), e a calibração ajuda a mitigar esse viés.

5. Significado e Limitações

• Significado: O trabalho oferece uma solução prática e eficiente para tornar LLMs melhores simuladores de opinião pública, essencial para aplicações em ciências sociais, psicologia e testes de políticas públicas. Mostra que a supervisão externa (calibração) é mais eficaz do que tentar forçar o modelo a "pensar" como um grupo via prompting.
• Limitações e Ética:
  • Essencialização: O uso de dados demográficos para modelar opiniões corre o risco de essencializar identidades (tratar grupos como monolíticos). Os autores enfatizam que a demografia não determina totalmente a opinião.
  • Viés de Amostragem: Os dados de referência (pesquisas) têm seus próprios vieses de amostragem e questões de temporalidade.
  • Generalização: Embora a calibração funcione bem, ela pode não generalizar perfeitamente para questões onde a demografia não é um preditor forte.

Conclusão

O artigo conclui que, embora o prompting sociodemográfico puro seja inconsistente, a aplicação de calibração supervisionada simples sobre as distribuições geradas por LLMs é uma estratégia robusta e eficaz para alinhar modelos com a diversidade de opiniões humanas. Isso permite que LLMs sirvam como proxies mais fiéis para populações reais em estudos de opinião, reduzindo a dependência de escolhas específicas de modelos e métodos de prompting.