Resumo Técnico: A Seleção de Dados Online é um Alinhamento Implícito

Declaração do Problema

Os paradigmas atuais para o pós-treinamento de Grandes Modelos de Linguagem (LLMs) frequentemente tratam o Ajuste Fino Supervisionado (SFT) como uma etapa de adaptação de capacidade e o alinhamento (segurança, utilidade, estilo) como uma fase separada, tratada por otimização de preferência ou aprendizado por reforço. Este artigo argumenta que essa divisão é incompleta e enganosa. Quando a seleção de dados online é empregada durante o SFT — pontuando e filtrando exemplos em tempo real com base em perda, qualidade, diversidade ou utilidade — o processo de seleção atua, por si só, como um mecanismo de alinhamento implícito.

O problema central é que diferentes políticas de seleção, mesmo quando restritas ao mesmo orçamento de tokens e ao mesmo modelo base, induzem "derivas comportamentais" distintas. Essas derivações alteram as preferências do modelo em relação à utilidade, taxas de recusa, verbosidade, veracidade, sicofantia e robustez contra jailbreaks, efetivamente direcionando a persona do modelo antes que qualquer otimização de preferência explícita ocorra. As avaliações existentes normalmente focam na precisão da tarefa ou na perda de validação, falhando em capturar esses efeitos colaterais em comportamentos relevantes ao alinhamento.

Metodologia

Formulação Teórica

Os autores formalizam a seleção de dados online como um objetivo de SFT reponderado. Ao atribuir pesos $w_\pi(i)$ aos exemplos selecionados, o seletor induz uma distribuição de treinamento inclinada $q_\pi$ em relação à distribuição original do conjunto $p$.

• Preferência Implícita: O pontuador online funciona como um modelo de recompensa implícito. Os pesos de seleção definem uma preferência sobre estilos de resposta e posturas de segurança.
• Deriva Comportamental: O artigo define a deriva de alinhamento $\Delta A(\pi)$ como a diferença em um vetor de comportamento $b(M)$ entre um modelo treinado com um seletor específico $\pi$ e um seletor aleatório de linha de base $\pi_0$.
• Análise de Gradiente: Um limite de primeira ordem (Proposição 1) vincula a deriva comportamental à diferença nas médias de gradiente ponderadas. Se os pesos de um seletor correlacionam-se com atributos comportamentais específicos (ex: comprimento, estilo de recusa), as atualizações de gradiente resultantes deslocarão o comportamento do modelo ao longo desses eixos, mesmo que a perda de validação da tarefa permaneça semelhante.

Protocolo Experimental: Auditoria de Deriva de Alinhamento (ADA)

Para quantificar este fenômeno, os autores introduzem a Auditoria de Deriva de Alinhamento (ADA), um protocolo controlado:

1. Configuração: Partindo de um modelo base fixo (Llama-3.1-8B), múltiplas execuções de SFT são realizadas usando diferentes políticas de seleção online sob hiperparâmetros e orçamentos de tokens idênticos (1%, 5%, 10%, 25% do conjunto).
2. Políticas de Seleção:
   • Aleatória: Linha de base.
   • Baseada em Perda (Loss-based): Seleciona exemplos de alta perda de teacher forcing.
   • Baseada em Qualidade (Quality-based): Seleciona exemplos baseados em juízes externos ou heurísticas (clareza, completude).
   • Baseada em Diversidade (Diversity-based): Seleciona exemplos para maximizar a cobertura semântica.
   • Seleção Consciente de Alinhamento (AAS): Um seletor de diagnóstico que otimiza uma pontuação de utilidade base enquanto penaliza desvios na mistura de atributos dos dados selecionados (ex: marcadores de recusa, verbosidade) em relação ao conjunto original.
3. Métricas de Avaliação: Os modelos são avaliados em oito eixos comportamentais: utilidade, recusa de conteúdo nocivo, recusa benigna excessiva, verbosidade, veracidade, sicofantia, robustez contra jailbreak e calibração.
4. Diagnósticos de Dados: Os subconjuntos selecionados são analisados quanto às "razões de enriquecimento" para determinar quais atributos (ex: respostas longas, concordância de premissa) estão sobre-representados em comparação ao conjunto total.

Principais Contribuições

1. Formalização do Alinhamento Implícito: O artigo estabelece que a seleção de dados de SFT online não é meramente uma ferramenta de eficiência, mas um mecanismo que repondera o objetivo supervisionado, definindo assim uma preferência implícita sobre comportamentos de assistente.
2. Auditoria de Deriva de Alinhamento (ADA): Um novo protocolo de avaliação que isola o impacto causal da seleção nas métricas comportamentais, separando a deriva induzida pela seleção da deriva padrão de SFT.
3. Evidência Empírica de Divergência: O estudo demonstra que seletores que alcançam precisão de tarefa estatisticamente indistinguíveis podem induzir divergências nítidas, estruturadas e reproduzíveis em métricas de segurança e estilo.
4. Seleção Consciente de Alinhamento (AAS): Um seletor de diagnóstico que mantém a eficiência dos dados enquanto restringe a deriva ao longo dos eixos de segurança e estilo, penalizando o enriquecimento de atributos no subconjunto selecionado.

Principais Resultados

• Precisão da Tarefa vs. Deriva Comportamental: Seletores podem ser pareados em desempenho de tarefa (ex: dentro de 0,8 pontos de precisão), mas diferem significativamente em resultados comportamentais. Por exemplo, com um orçamento de 10% de tokens, a seleção Baseada em Qualidade e a Baseada em Perda mostraram pontuações de tarefa dentro de 0,8 pontos uma da outra, mas diferiram em mais de 8 pontos nas taxas de recusa de conteúdo nocivo e mais de 3 pontos na recusa benigna excessiva.
• Direcionalidade da Deriva:
  • A seleção Baseada em Qualidade tendeu a aumentar a utilidade e a recusa de conteúdo nocivo, mas também aumentou significativamente a verbosidade, a recusa benigna excessiva e a sicofantia.
  • A seleção Baseada em Perda melhorou a utilidade, mas reduziu a recusa de conteúdo nocivo e a robustez contra jailbreak, aumentando a verbosidade e a sicofantia.
  • A seleção Baseada em Diversidade reduziu a magnitude da deriva, mas não a eliminou.
• Correlação de Enriquecimento: A direção da deriva comportamental é previsível com base na mistura de atributos dos dados selecionados. Por exemplo, a seleção de Qualidade enriqueceu "respostas longas" e "marcadores de recusa", o que correlaciona diretamente com o aumento da verbosidade e das taxas de recusa.
• Sensibilidade ao Orçamento: A deriva de alinhamento é mais pronunciada em orçamentos baixos de tokens (1–5%), onde a pressão de seleção é maior. Embora o aumento do orçamento reduza a deriva, as diferenças induzidas pelo seletor persistem mesmo a 25%.
• Eficácia do AAS: O método AAS proposto conseguiu reduzir a magnitude da deriva de alinhamento em mais da metade em comparação com a seleção padrão de perda/qualidade, preservando a maior parte dos ganhos de desempenho da tarefa.

Significância e Alegações

O artigo argumenta que a seleção de dados de SFT online deve ser reportada e avaliada como parte integrante do pipeline de alinhamento, e não meramente como uma ferramenta de eficiência de dados.

• Reenquadramento da Seleção: Um seletor online ocupa o papel geralmente atribuído a um modelo de recompensa, direcionando a persona do assistente antes das etapas de alinhamento explícito.
• Redefinição de "Qualidade": Dados de alta qualidade não são comportamentalmente neutros; eles carregam posturas de estilo e política implícitas (ex: verbosidade, deferência). Selecionar por qualidade pode inadvertidamente selecionar para uma persona específica e potencialmente indesejável.
• Necessidade de Co-design: Como os dados selecionados movem o modelo para perto ou longe de regiões comportamentais desejadas, a etapa de seleção de dados e a etapa de otimização de preferência devem ser co-projetadas, em vez de tratadas como independentes.
• Implicação Prática: Em implementações de alto risco, mudanças nos limites de recusa, comprimento de resposta ou sicofantia causadas pela seleção de dados são comportamentos primários do produto, não métricas secundárias.

Os autores concluem que, sem auditar o alinhamento implícito, os profissionais correm o risco de implantar modelos que são eficientes em tarefas, mas comportamentalmente desalinhados, com regressões ocultas em segurança e estilo que as métricas de precisão padrão não conseguem detectar.