A Descriptive and Normative Theory of Human Beliefs in RLHF

Resumo Técnico: Uma Teoria Descritiva e Normativa das Crenças Humanas em RLHF

Definição do Problema
O Aprendizado por Reforço com Feedback Humano (RLHF) tradicionalmente modela as preferências humanas como uma função da função de recompensa do humano ou dos valores de estado-ação ótimos ($A^*$) do agente. As abordagens padrão, incluindo modelos baseados em retorno ou em arrependimento (regret), assumem que os rotuladores avaliam trajetórias com base no que realmente ocorreu ou no que um agente ótimo poderia alcançar. No entanto, este trabalho postula que os rotuladores humanos também possuem crenças sobre as capacidades reais do agente que está sendo treinado. Se um rotulador assume que um agente é ótimo quando ele não é (ou vice-versa), suas preferências podem levar a políticas catastróficas ou subótimas pós-RLHF. O artigo investiga duas questões centrais: (1) As crenças dos rotuladores humanos sobre as capacidades do agente afetam descritivamente as preferências que eles fornecem? E (2) Normativamente, qual é o conjunto ideal de crenças que os rotuladores devem manter para maximizar o desempenho da política resultante?

Metodologia
Os autores propõem um modelo de preferência baseado em crenças e o validam através de análise teórica, experimentos sintéticos e um estudo com seres humanos.

1. Estrutura Teórica:

   • Os autores definem Crença de Capacidade do Agente como uma função $Q$ ($Q^{\pi_{belief}}$) que representa a estimativa do rotulador sobre a política pós-RLHF do agente.
   • Eles introduzem um novo modelo de preferência (Equação 3) onde a probabilidade de preferir a trajetória $\sigma^+$ sobre $\sigma^-$ é determinada pela função de vantagem $A^{\pi_{belief}}$, em vez da vantagem ótima $A^*$.
   • Ideal Normativo: O artigo define uma crença ideal normativa ($Q^{\pi^*_{belief}}$) não como a otimalidade absoluta, mas como a crença que produz o maior retorno esperado para a melhor política alcançável dadas as restrições do agente (ex: limites de aproximação de função, atuadores ruidosos).
   • Limites Teóricos: Os autores derivam um limite formal (Teorema 4.3) sobre a perda de desempenho da política pós-RLHF como uma função do "desacordo agente-rotulador" ($\delta$), definido como a magnitude da diferença entre a crença ótima e a crença real do rotulador. O limite mostra que o retorno esperado degrada linearmente com a magnitude deste desacordo.

2. Experimentos Sintéticos:

   • Os autores realizaram experimentos em um domínio GridWorld onde as capacidades do agente eram limitadas por um parâmetro de ruído $\epsilon$-greedy ($\epsilon$).
   • As crenças do rotulador foram manipuladas variando o nível de ruído assumido ($\epsilon'$) usado para gerar preferências sintéticas.
   • O estudo mediu o retorno esperado da política treinada através de uma matriz de ruído real do agente ($\epsilon$) e ruído assumido pelo rotulador ($\epsilon'$).

3. Estudo com Seres Humanos:

   • Domínio: Uma simulação de carro autônomo (CARLA).
   • Intervenção: Os participantes foram designados para três condições: (1) Controle (sem indução/priming), (2) Indução de Segurança (Safe Priming: assistir a um vídeo de um carro dirigindo de forma segura e competente) e (3) Indução de Insegurança (Unsafe Priming: assistir a um vídeo de um carro derrapando e colidindo).
   • Tarefa: Os participantes forneceram preferências sobre pares de trajetórias de condução, escolhendo entre caminhos mais rápidos/arriscados e caminhos mais lentos/seguros.
   • Análise: O estudo utilizou análise de sentimento (via GPT-4) no feedback de texto livre sobre as capacidades do carro e testes estatísticos (Kruskal-Wallis e teste de Dunn) nos dados de preferência de escala Likert para determinar se a indução alterou as crenças e as preferências subsequentes.

Principais Contribuições

1. Ilustração do Desacordo: O artigo demonstra que o mau acordo entre as crenças de um rotulador e as capacidades reais de um agente pode levar a políticas subótimas, mesmo quando o rotulador age de forma "racional" com base em suas (incorretas) crenças.
2. Teoria Normativa: Define um ideal normativo para as crenças do rotulador que é relativo ao teto de desempenho alcançável do agente, em vez da otimalidade absoluta, e fornece um limite teórico para o arrependimento causado por desvios desse ideal.
3. Validação Empírica da Influência das Crenças: O estudo humano confirma que as crenças humanas sobre as capacidades do agente afetam significativamente a geração de preferências. Especificamente, a indução de participantes com informações sobre as capacidades do agente (seguro vs. inseguro) alterou estatisticamente as preferências.
4. Subotimalidade de Assumir a Otimalidade: Experimentos sintéticos mostram que assumir a otimalidade do agente (a abordagem padrão baseada em arrependimento) é frequentemente subótimo quando o agente possui limitações inerentes de desempenho (ex: alto ruído).

Resultos

• Teóricos: O limite derivado (Equação 4) estabelece que o retorno esperado da política pós-RLHF é limitado inferiormente pelo retorno ótimo menos um termo proporcional ao desacordo agente-rotulador ($\delta / (1-\gamma)$).
• Sintéticos: Nos experimentos de GridWorld, os maiores retornos de política foram alcançados quando o ruído assumido pelo rotulador ($\epsilon'$) correspondia de perto ao ruído real do agente ($\epsilon$). Assumir um agente ótimo ($\epsilon'=0$) quando o agente era ruidoso ($\epsilon=0.3$ ou $0.5$) resultou em retornos significativamente menores, pois o agente aprendeu comportamentos arriscados que não conseguia executar com segurança.
• Estudo Humano:
  • Crenças: A análise de sentimento das respostas de texto livre mostrou que os participantes no grupo de "indução de insegurança" detinham uma confiança significativamente menor nas capacidades do carro em comparação ao grupo de "indução de segurança".
  • Preferências: A análise estatística revelou uma diferença significativa ($p=0.015$) nas preferências entre os grupos de indução segura e insegura. Participantes induzidos com comportamento inseguro foram mais propensos a preferir trajetórias mais seguras e lentas, enquanto aqueles induzidos com comportamento seguro estavam mais dispostos a aceitar riscos e trajetórias mais rápidas.
  • Conclusão: As preferências humanas não são estáticas; elas são influenciadas pelas crenças do rotulador sobre as capacidades atuais do agente.

Significância e Alegações
O artigo alega que reduzir o descompasso entre as crenças humanas e as capacidades do agente é crítico para melhorar o desempenho do RLHF. Argumenta-se que a suposição padrão de racionalidade do rotulador baseada na otimalidade absoluta é insuficiente quando os agentes são imperfeitos. Os autores sugerem que os praticantes devem gerenciar ativamente as crenças dos rotuladores para alinhá-las com as capacidades reais do agente.

O artigo propõe duas práticas recomendadas específicas:

1. Informar os Rotuladores: Comunicar diretamente as limitações conhecidas do agente (ex: restrições de dados, limites físicos) aos rotuladores antes da coleta de dados.
2. Indução Intermitente: Utilizar loops de coleta de preferência online onde os rotuladores são expostos à política atual do agente (via demonstrações) para atualizar suas crenças continuamente.

Os autores enfatizam que este calibre deve ser "verdadeiro" (representativo do comportamento real on-policy) para evitar manipulação. Eles concluem que, embora seus limites teóricos sejam derivados em configurações tabulares e seu estudo humano seja uma prova de conceito, os resultados apontam para uma mudança necessária nas práticas de RLHF: tratar as crenças humanas como uma variável que deve ser alinhada com a realidade do agente para garantir um alinhamento seguro e eficaz.