Three Models of RLHF Annotation: Extension, Evidence, and Authority

1. Declaração do Problema

O Aprendizado por Reforço com Feedback Humano (RLHF) e métodos relacionados (por exemplo, Otimização Direta de Preferência) são os paradigmas dominantes para alinhar Modelos de Linguagem de Grande Escala (LLMs) com valores humanos. Esses pipelines dependem de anotadores humanos para classificar ou avaliar as saídas do modelo. No entanto, o artigo identifica uma lacuna conceitual crítica: o papel normativo desses anotadores raramente é explicitado.

Os designers de pipelines fazem suposições implícitas sobre por que os julgamentos dos anotadores importam. Os anotadores estão meramente estendendo as próprias preferências dos designers? Eles estão fornecendo evidências independentes sobre fatos ou padrões da comunidade? Ou possuem autoridade legítima para ditar o comportamento do sistema como representantes do público?

• A Consequência: Quando esses papéis são confundidos ou deixados indefinidos, isso leva a designs de pipeline incoerentes, métricas de validação inconsistentes e "modos de falha" onde o sistema não atinge seus objetivos de alinhamento pretendidos. Além disso, isso obscurece a responsabilização, tornando difícil determinar quem é responsável pelas saídas do modelo.

2. Metodologia

O artigo emprega uma análise conceitual e normativa em vez de um experimento empírico. A metodologia envolve:

• Enquadramento Filosófico: Baseando-se na filosofia política (autoridade, legitimidade) e na epistemologia (evidência, justificação de razões) para categorizar o papel normativo dos anotadores.
• Levantamento da Literatura: Analisando artigos fundamentais de RLHF (por exemplo, Ouyang et al., Bai et al., Glaese et al.) e propostas de reforma para identificar qual modelo conceitual eles implicitamente utilizam.
• Mapeamento de Implicações de Design: Derivando sistematicamente como cada modelo conceitual dita decisões técnicas específicas no pipeline de RLHF, incluindo:
  • Seleção de Anotadores: Quem deve ser contratado? (Especialistas vs. amostra aleatória vs. proxies dos designers).
  • Instruções: Como os prompts devem ser redigidos? (por exemplo, "O que se encaixa na política?" vs. "O que a comunidade pensaria?").
  • Validação: Como a qualidade é medida? (Rótulos de padrão-ouro vs. Concordância entre Anotadores).
  • Agregação: Como os julgamentos são combinados? (Maioria binária vs. distribuições escalares).

3. Contribuições Principais: Os Três Modelos Conceituais

A contribuição central é a distinção de três modelos de anotação mutuamente distintos, cada um com implicações técnicas específicas:

A. O Modelo de Extensão

• Definição: Anotadores atuam como proxies para estender as próprias preferências dos designers do sistema para casos novos que eles não podem julgar pessoalmente.
• Base Normativa: Mimetismo das crenças do designer.
• Implicações Técnicas:
  • Seleção: Anotadores são selecionados com base em sua capacidade de concordar com os designers (por exemplo, "rejeição suave" se a concordância < 75%).
  • Instruções: Enquadradas em torno da política da empresa ou da intenção do designer.
  • Validação: Baseia-se em rótulos de "Padrão-Ouro" fornecidos pelos designers; a Concordância entre Anotadores (IAA) é secundária.
  • Agregação: Medidas binárias são suficientes; a discordância é tratada como ruído.

B. O Modelo de Evidência

• Definição: Anotadores fornecem evidências independentes sobre fatos (verdades objetivas) ou crenças da comunidade (fatos sociais).
• Base Normativa: Posição epistêmica; os designers devem aceitar esses julgamentos como razões para acreditar que uma proposição é verdadeira.
• Implicações Técnicas:
  • Seleção: Baseada em expertise (para fatos) ou representatividade (para preferências da comunidade).
  • Instruções: Enquadradas para elicitar conhecimento ou percepção de padrões da comunidade (por exemplo, "A comunidade acharia isso ofensivo?").
  • Validação: Evita rótulos de Padrão-Ouro; baseia-se na IAA para fatos, mas rejeita a IAA para agregação de preferências (pois a diversidade é o sinal, não a convergência).
  • Agregação: Medidas escalares (distribuições) são preferidas para preferências da comunidade para capturar heterogeneidade; medidas binárias para fatos objetivos.

C. O Modelo de Autoridade

• Definição: Anotadores possuem autoridade prática legítima (como uma "mini-legislatura") para determinar o comportamento do sistema, independentemente de seu julgamento ser "correto" ou "evidenciado".
• Base Normativa: Legitimidade democrática e justiça; o "quem" importa mais do que o "o quê".
• Implicações Técnicas:
  • Seleção: Deve ser uma amostra aleatória e representativa da população.
  • Instruções: Enquadradas como um exercício de julgamento/autoridade (por exemplo, "O sistema deve ser permitido a produzir isso?").
  • Validação: Rejeita Padrão-Ouro e IAA estrita; foca na legitimidade procedimental.
  • Agregação: Requer deliberação moral; a regra da maioria é um padrão, mas pode exigir ponderação para grupos minoritários para garantir justiça.

4. Resultados e Análise

O autor analisa a literatura existente e identifica três grandes modos de falha resultantes da confusão desses modelos:

1. Auto-derrota: Pipelines que misturam modelos incompatíveis (por exemplo, selecionar anotadores para concordância com o designer enquanto se pede que representem padrões da comunidade) minam seus próprios objetivos.
2. Fragmentação: Instruções vagas levam os anotadores a alternar entre modelos, criando um "mistureba" de dados que confunde o modelo de recompensa.
3. Atribuição Errada (Lavagem de Responsabilidade): Designers afirmam usar o Modelo de Autoridade ou Evidência para transferir a culpa por saídas prejudiciais aos anotadores, enquanto retêm secretamente o controle via Modelo de Extensão (por exemplo, filtrando outliers).

Estudos de Caso:

• InstructGPT (Ouyang et al.): Primariamente Extensão (anotadores alinham-se com pesquisadores da OpenAI).
• Anthropic (Bai et al.): Primariamente Evidência (anotadores fornecem visões diversas sobre "inocuidade" sem filtrar por concordância).
• Jury Learning (Gordon et al.): Autoridade (modelando explicitamente representação de grupo e legitimidade).

IA Constitucional: O artigo analisa a IA Constitucional como um modelo misto onde os princípios são definidos via Extensão, mas a aplicação depende de Evidência ou Autoridade, frequentemente levando a incoerência, a menos que seja cuidadosamente gerenciada.

5. Significado e Recomendações

O artigo argumenta que nenhum pipeline único serve para todas as tarefas de alinhamento. A escolha do modelo deve ser impulsionada pela natureza do valor sendo alinhado:

• Estilo/Ajuda: Mais adequado ao modelo de Extensão (direitos de propriedade dos designers).
• Precisão Factual: Mais adequado ao modelo de Evidência (Fatos).
• Ofensividade/Padrões da Comunidade: Mais adequado ao modelo de Evidência (Preferências).
• Controvérsia Política/Legitimidade Democrática: Mais adequado ao modelo de Autoridade.

Recomendação Primária:
Os designers de pipelines de RLHF devem decompor a anotação em dimensões separáveis e criar pipelines heterogêneos. Em vez de um único modelo de recompensa unificado, os desenvolvedores devem:

1. Identificar a dimensão de valor específica (por exemplo, toxicidade vs. tom).
2. Selecionar o modelo conceitual apropriado para essa dimensão.
3. Adaptar as etapas de seleção, instruções, validação e agregação especificamente para aquele modelo.

Impacto Mais Amplo:
Este quadro transforma o design de RLHF de um problema puramente técnico de engenharia em um problema metaético e político. Ele fornece uma ferramenta de diagnóstico para identificar inconsistências ocultas nos sistemas atuais e oferece um caminho para um alinhamento de IA mais legítimo, responsável e eficaz, esclarecendo a origem do "humano" no Feedback Humano.