Resumo Técnico: Aprendizado de Preferência para Alinhamento de IA: Uma Perspectiva Causal

Declaração do Problema

O alinhamento de Modelos de Linguagem de Grande Escala (LLMs) com valores humanos depende fortemente do Aprendizado por Reforço a partir de Feedback Humano (RLHF), especificamente na etapa de modelagem de recompensa, onde os modelos aprendem a partir de dados de preferência em pares. As abordagens atuais geralmente tratam isso como um problema de regressão estatística, assumindo que modelos simples ajustados a conjuntos de dados observacionais podem generalizar efetivamente para pares de prompt-resposta não vistos.

No entanto, os autores argumentam que esse otimismo é mal fundamentado. Os dados de preferência observacionais são frequentemente coletados de forma oportunista, onde os usuários tanto geram prompts quanto avaliam respostas. Isso cria uma interação complexa entre a distribuição de amostragem do LLM, características latentes do texto e contextos específicos do usuário (por exemplo, expertise, objetivos). Consequentemente, os modelos de recompensa padrão tendem a aprender correlações espúrias em vez de fatores causais verdadeiros, levando a:

1. Má Identificação Causal: Modelos que detectam artefatos como comprimento ou formatação em vez de qualidade.
2. Heterogeneidade de Preferência: Falha em contabilizar objetivos variados dos usuários, levando a desempenho subótimo para subgrupos específicos.
3. Confundimento: Fatores específicos do usuário influenciando tanto o tipo de prompt gerado quanto o rótulo de preferência atribuído, violando a suposição de não confundimento necessária para inferência causal.

Metodologia: Um Framework Causal

O artigo reformula o aprendizado de preferência utilizando o framework de resultados potenciais da inferência causal.

1. Configuração Formal

• Variáveis: Seja $X$ o prompt, $Y, Y'$ as respostas candidatas e $L \in \{0, 1\}$ o rótulo de preferência binário.
• Recompensas Potenciais: Os autores introduzem recompensas potenciais $R(x, y)$ e $R'(x, y')$, representando a recompensa hipotética que um indivíduo atribuiria a qualquer par prompt-resposta.
• Modelo Bradley-Terry-Luce (BTL): A probabilidade de preferência é modelada como $P((X, Y) \succ (X, Y')) = \sigma(R(X, Y) - R'(X, Y'))$.
• Desafio Fundamental: Apenas o resultado para o tratamento observado $(X, Y, Y')$ é visível; os resultados contrafactuais para outros pares permanecem não observados.

2. Suposições de Identificabilidade

Para estimar resultados potenciais a partir de dados observacionais, o artigo delineia três suposições padrão adaptadas a este cenário:

• Consistência: O rótulo observado corresponde ao resultado potencial do tratamento atribuído.
• Não Confundimento: Não existem confundidores não observados (ou seja, $L \perp (X, Y, Y')$). O artigo destaca que isso é frequentemente violado quando os usuários escrevem seus próprios prompts com base em seus objetivos específicos ($C$), criando um confundidor que afeta tanto a seleção do prompt quanto a preferência.
• Positividade: Cada combinação de tratamento tem uma probabilidade não nula de ocorrer.

3. Modelo de Tratamento Latente

Para abordar a alta dimensionalidade da linguagem natural e a violação da positividade no espaço observável, os autores propõem um Modelo de Tratamento Latente:

• Fatores Latentes ($Z$): Textos observados são mapeados para características latentes $Z = \{Z_X, Z_T\}$.
  • $Z_X$: Artefatos do prompt (por exemplo, tópico, tipo de tarefa).
  • $Z_T$: Tratamentos latentes (por exemplo, concisão, correção factual) determinados conjuntamente pelo prompt e pela resposta.
• Suficiência Latente: A recompensa depende apenas desses fatores latentes, e não do texto bruto.
• Positividade Latente: A positividade é exigida no espaço latente e não no espaço de texto observável. Isso permite a generalização para textos não vistos se eles compartilharem a mesma estrutura latente que os dados observados.

4. Estratégias de Mitigação

O artigo propõe intervenções arquitetônicas específicas para lidar com o confundimento e melhorar a robustez:

• Arquitetura Multi-cabeça: Separa a aprendizagem de representações latentes da previsão de recompensas condicionadas a objetivos específicos (por exemplo, utilidade vs. inocuidade).
• Treinamento Adversarial: Introduz um objetivo adversarial para garantir que a representação latente aprendida $\hat{Z}$ seja invariante ao tipo de prompt (por exemplo, subconjunto "útil" vs. "inocente"), removendo assim correlações espúrias entre o tipo de prompt e os objetivos do usuário, enquanto retém características causais.

Contribuições Principais

1. Formulação Causal: O artigo introduz um framework causal para o aprendizado de preferência, definindo explicitamente o problema em termos de intervenções e resultados potenciais.
2. Identificação de Confundimento: Identifica e aborda explicitamente o confundimento devido a objetivos específicos do usuário (por exemplo, o nível de expertise de um usuário influenciando tanto a complexidade do prompt que escreve quanto sua preferência por respostas detalhadas), um fator previamente negligenciado na literatura de alinhamento.
3. Framework de Tratamento Latente: Propõe um modelo onde as recompensas são determinadas por características latentes e não por texto bruto, permitindo generalização sob deslocamentos de distribuição através da suposição de suficiência latente.
4. Validação Empírica:
   • Experimento UltraFeedback: Demonstra que os modelos BTL padrão sofrem quedas significativas de desempenho em dados Fora de Distribuição (OOD) quando os fatores latentes (veracidade e seguimento de instruções) estão altamente correlacionados nos dados de treinamento (violando a positividade latente).
   • Estudo de Caso HH-RLHF: Usando um conjunto de dados aumentado com rótulos contrafactuais, os autores mostram que, quando os tipos de prompt e os objetivos do usuário estão perfeitamente correlacionados ($\rho=1.0$), modelos ingênuos falham em generalizar para exemplos inconsistentes. O modelo Adversarial Multi-cabeça proposto supera significativamente os modelos de base e os modelos apenas Multi-cabeça nesses regimes de alto confundimento.

Resultados

• Impacto da Positividade Latente: No experimento UltraFeedback, à medida que a correlação ($\rho_{tr}$) entre fatores latentes aumentava, a precisão dos modelos padrão em dados OOD (onde essa correlação foi quebrada) caiu significativamente (por exemplo, de ~64,5% em $\rho=0$ para ~57,8% em $\rho=0.9$).
• Impacto do Confundimento: No estudo HH-RLHF, quando o alinhamento entre o tipo de prompt e o objetivo do usuário era perfeito ($\rho=1.0$), todos os modelos falharam em generalizar para amostras inconsistentes (precisão < 55%).
• Desempenho do Modelo: O modelo Adversarial consistentemente alcançou a maior precisão em amostras inconsistentes (OOD) em vários níveis de confundimento, demonstrando que a separação das representações latentes dos objetivos específicos do usuário melhora a robustez.

Significado e Alegações

O artigo afirma que a modelagem de recompensa robusta requer ir além das associações estatísticas para uma perspectiva causal. Os autores argumentam que:

• Coleta de Dados é Crítica: A prática atual de coleta oportunista de dados introduz confundimento inerente que limita a confiabilidade dos modelos de recompensa.
• Intervenções são Necessárias: Para abordar as limitações dos dados observacionais, as práticas futuras devem migrar para intervenções direcionadas (por exemplo, consulta ativa, coleta de justificativas e geração de texto controlada) para garantir sobreposição latente e identificar fatores causais verdadeiros.
• Generalização: Ao adotar aprendizagem de representação causal e abordar o confundimento, os modelos podem alcançar melhor generalização para prompts não vistos e populações de usuários diversas, o que é essencial para um alinhamento de IA seguro e eficaz.

Os autores permanecem modestos, observando que suas suposições são suficientes, mas não estritamente necessárias para a identificabilidade, e que cenários do mundo real frequentemente envolvem confundidores não observados que são difíceis de medir diretamente. Eles posicionam este trabalho como um passo fundamental em direção a um aprendizado de preferência mais rigoroso e consciente de causalidade.