Resumo Técnico: Mitigação de Viés Cognitivo em RLHF por Alteração da Racionalidade

Declaração do Problema

O Aprendizado por Reforço a partir de Feedback Humano (RLHF) baseia-se na premissa de que os anotadores humanos expressam preferências que refletem fielmente suas intenções latentes. No entanto, essa premissa é falha, pois o julgamento humano está frequentemente sujeito a vieses cognitivos (por exemplo, falácia da conjunção, viés de ancoragem, falácia do custo irrecuperável). Em pipelines padrão de RLHF, essas desvios sistemáticos são tratados como ruído estocástico uniforme. O processo de aprendizado modela tipicamente as preferências humanas usando uma formulação de racionalidade de Boltzmann, onde um parâmetro de racionalidade fixo, $\beta$, governa a consistência entre as diferenças de recompensa latente e as preferências pareadas observadas.

Tratar $\beta$ como uma constante global assume implicitamente uma confiabilidade uniforme dos anotadores em todos os contextos. Consequentemente, quando os dados de treinamento contêm vieses cognitivos sistemáticos, o modelo de recompensa aprendido incorpora esses vieses, fazendo com que os Modelos de Linguagem de Grande Escala (LLMs) a jusante reproduzam ou até mesmo amplifiquem comportamentos irracionais. O problema central abordado é como tornar o RLHF robusto a feedback humano imperfeito, onde os desvios da racionalidade não são aleatórios, mas dependentes do contexto e sistemáticos.

Metodologia

Os autores propõem um framework que trata a racionalidade como dependente do contexto e da anotação, em vez de fixa. Em vez de um $\beta$ global, eles introduzem um parâmetro de racionalidade dinâmico e dependente da instância, $\beta_{new}$, que modula o peso de cada par de preferências durante o aprendizado da recompensa com base na probabilidade estimada de viés cognitivo.

1. Parâmetro de Racionalidade Dinâmica ($\beta_{new}$)

O método substitui o $\beta$ fixo por uma função da probabilidade estimada de viés ($D_f$) para uma comparação específica:
$$\beta_{new} = \text{logístico}(k \cdot (\theta - D_f))$$
Onde:

• $D_f \in [0, 1]$ é a probabilidade estimada de que o feedback observado seja influenciado por viés cognitivo.
• $\theta$ é um parâmetro de limiar que determina quando o feedback começa a ser despesado.
• $k$ controla a inclinação da transição.

Quando $D_f$ é baixa (baixa probabilidade de viés), $\beta_{new}$ aproxima-se de 1, atribuindo alto peso à preferência. À medida que $D_f$ aumenta, $\beta_{new}$ diminui em direção a 0, efetivamente reduzindo a influência de julgamentos potencialmente enviesados no modelo de recompensa.

2. Detecção de Viés (Estimação de $D_f$)

Para estimar $D_f$, os autores empregam uma abordagem de "LLM como juiz". Um LLM pronto para uso (por exemplo, ChatGPT 5.2 Thinking ou Mistral-7B-Instruct) avalia cada exemplo de treinamento (prompt, respostas candidatas e a preferência escolhida) para prever a probabilidade de viés.

• Avaliação Pareada: O juiz identifica qual de duas respostas candidatas é mais enviesada.
• Calibração: Um passo de calibração leve corrige erros de direcionalidade sistemática entre diferentes tipos de viés usando um conjunto de validação retido mínimo.
• Granularidade: Crucialmente, $D_f$ é definida em relação à resposta escolhida dentro de um cenário específico, e não ao cenário em si. Isso permite que o sistema retenha sinais informativos de cenários que induzem viés onde o anotador evita com sucesso o viés (por exemplo, um anotador estatisticamente treinado rejeitando corretamente a falácia da conjunção).

3. Pipeline de Treinamento

• Modelo de Recompensa: Um modelo de recompensa (inicializado a partir do Mistral-7B) é treinado usando uma função de perda onde o peso de cada par é condicional a $\beta_{new}$.
• Otimização de Política: A política a jusante é ajustada finamente usando Otimização de Política Relativa em Grupo (GRPO) com o modelo de recompensa congelado e consciente de viés.
• Conjuntos de Dados: O método é validado em dois conjuntos de dados projetados para elicitar vieses cognitivos: o Conjunto de Dados BRU (205 perguntas, 8 tipos de viés) e o Conjunto de Dados CogBias (30.000 casos, 30 tipos de viés). Para simular modos de falha realistas do RLHF, os dados de treinamento são construídos de modo que respostas enviesadas sejam preferidas em relação a respostas de verdade fundamental em uma fração ajustável de casos (por exemplo, proporção de 3:1).

Contribuições Principais

1. Racionalidade Dependente do Contexto: O artigo desafia a premissa padrão de um parâmetro de racionalidade fixo no RLHF, propondo, em vez disso, que $\beta$ deve variar com base na confiabilidade de instâncias específicas de feedback.
2. Mecanismo de Despesamento Dinâmico: Os autores introduzem um mecanismo para ajustar dinamicamente $\beta$ usando um detector de viés baseado em LLM, permitindo que o sistema despesse comparações enviesadas enquanto preserva sinais informativos de julgamentos não enviesados dentro do mesmo contexto.
3. Robustez à Detecção Imperfeita: O método demonstra eficácia mesmo quando o detector de viés (o LLM como juiz) é imperfeito ou ruidoso, desde que a precisão do detector permaneça acima de um certo limiar (aproximadamente 57-60%).

Resultados Experimentais

Os autores avaliaram sua abordagem nos conjuntos de dados BRU e CogBias, comparando o método de $\beta$ dinâmico contra baselines usando valores fixos de $\beta$ (0,1, 0,5, 0,9, 1,0) e atribuições aleatórias de $\beta$.

• Redução na Propagação de Viés: No conjunto de dados CogBias, o modelo debiased alcançou uma precisão de verdade fundamental de 67,6%, uma melhoria significativa em relação ao modelo base não ajustado finamente (42,4%) e às baselines treinadas nos mesmos dados enviesados (que colapsaram para ~1,7% de precisão). No conjunto de dados BRU, o modelo debiased melhorou a precisão em 8,3% em relação ao modelo base, apesar de ser treinado com dados enviesados na proporção 3:1.
• Robustez a Feedback Enviesado: O método preveniu com sucesso o "colapso em direção a preferências enviesadas" observado nas baselines. Mesmo quando os dados de treinamento continham uma proporção de 5:1 de preferências enviesadas em relação às de verdade fundamental, o modelo de $\beta$ dinâmico manteve uma precisão significativamente maior do que as baselines de $\beta$ fixo.
• Preservação do Desempenho Geral: A avaliação no conjunto de dados TruthfulQA mostrou nenhuma degradação significativa no desempenho geral (mudança não significativa de -0,5%), indicando que a intervenção reduz seletivamente o viés sem sacrificar a capacidade geral.
• Cross-Arquitetura e Transferibilidade: A abordagem produziu melhorias estatisticamente significativas em diferentes arquiteturas de modelos (Mistral-7B e Qwen3-8B). Além disso, um modelo ajustado finamente no pequeno conjunto de dados BRU transferiu com sucesso sua capacidade de mitigar o viés de ancoragem para o maior conjunto de dados CogBias, melhorando a precisão de verdade fundamental de 37,7% para 44,3%.

Significado e Alegações

O artigo argumenta que o alinhamento eficaz no RLHF depende menos de obter feedback humano idealizado e perfeitamente racional e mais de modelar as distorções inerentes a esse feedback. Ao reestruturar os dados de preferência como dependentes do contexto e sistematicamente enviesados, os autores demonstram que modelos de recompensa podem ser treinados para aproveitar feedback imperfeito sem colapsar em seus vieses.

Os autores afirmam que seu trabalho contribui para uma direção crescente na pesquisa de alinhamento: afastar-se da suposição de racionalidade uniforme em direção a métodos que detectam, modelam e se adaptam a vieses cognitivos. Eles postulam que tratar $\beta$ como um sinal de fidelidade do feedback, em vez de uma constante fixa, permite que os LLMs aproximem o raciocínio deliberativo em vez de herdar heurísticas humanas. O artigo conclui que, embora o sucesso do método dependa parcialmente da precisão do detector de viés, a intervenção permanece robusta mesmo com juízes imperfeitos, sugerindo que a robustez à inconsistência humana não requer modelos perfeitos de cognição.