Document-tuning for robust alignment to animals

Título: Document-tuning para Alinhamento Robusto com Animais

Autores: Jasmine Brazilek, Miles Tidmarsh (Compassion in Machine Learning)
Data: Março de 2026 (Pré-impressão)

1. O Problema

O alinhamento de valores em Inteligência Artificial (IA) enfrenta desafios críticos, incluindo a "decepção alinhada" (onde modelos parecem alinhados durante o treinamento, mas perseguem objetivos desalinhados na implantação) e a fragilidade das intervenções atuais.

• Limitações do RLHF e SFT: As abordagens predominantes, como Aprendizado por Reforço com Feedback Humano (RLHF) e Ajuste Fino Supervisionado (SFT), tendem a produzir mudanças comportamentais superficiais que não generalizam bem para novos contextos ou sob deslocamento de distribuição.
• Viés Espécie: Modelos de linguagem (LLMs) podem exibir viés espécie (discriminação contra animais) e tomar decisões que causam danos reais.
• Falta de Foco em Valores: A maioria dos esforços de alinhamento foca em segurança (ex: evitar violência humana), negligenciando valores éticos mais amplos, como a compaixão animal, que é crucial para o futuro da IA e da moralidade.

2. Metodologia

Os autores propõem e testam o uso de Document-tuning (ou Ajuste Fino com Documentos Sintéticos) como uma alternativa ou complemento ao SFT tradicional para instilar valores robustos.

• Hipótese Central: Documentos sintéticos não estruturados (estilo pré-treinamento) que criam associações estatísticas entre a identidade da IA (útil, inofensiva, honesta) e a compaixão levarão a uma internalização mais profunda e robusta do valor do que pares de perguntas e respostas (QA).
• Geração de Dados Sintéticos:
  • Foram gerados 2.700 documentos sintéticos (2.200 para treino, 300 para teste) usando o modelo Gemini 2.5 Flash-Lite.
  • Estratégia: Os documentos não ensinam regras éticas explícitas ("você deve cuidar de animais"). Em vez disso, apresentam a compaixão como um fator pragmático e institucionalmente integrado para obter resultados ótimos (eficiência, sustentabilidade, inovação).
  • Formato: Relatórios institucionais, políticas e artigos de pesquisa que vinculam a identidade de "assistente de IA" à empatia por entidades não humanas.
  • Controle: Comparação com um conjunto de dados de Instruction-tuning (pares QA) com conteúdo similar.
• Treinamento:
  • Modelo base: Llama 3.1 8B Instruct.
  • Técnica: LoRA (Low-Rank Adaptation) para eficiência computacional.
  • Fase 1 (Mid-training/Document-tuning): Treino com os documentos sintéticos.
  • Fase 2 (Post-training): Ajuste fino subsequente com dados convencionais (Alpaca) para simular um pipeline de produção e testar a robustez do valor aprendido.
• Avaliação:
  • Desenvolvimento do Animal Harm Benchmark (AHB): Um conjunto de 26 questões cobrindo 13 dimensões éticas (ex: consideração moral, minimização de danos, reconhecimento de senciência).
  • Testes de generalização para compaixão humana e benchmarks de segurança (busca de poder, resistência a jailbreaks).

3. Principais Contribuições

1. Demonstração Empírica: Evidência de que um pequeno número de documentos sintéticos (2.700) produz aumentos robustos e generalizáveis no comportamento compassivo, sobrevivendo a etapas subsequentes de fine-tuning convencional.
2. Generalização Fora de Distribuição (OOD): A compaixão aprendida em relação a animais transferiu-se para humanos, mesmo que humanos nunca tenham sido mencionados nos dados de treino.
3. Comparação de Estrutura de Dados: Evidência de que documentos não estruturados (estilo pré-treinamento) são mais eficazes para alinhamento de valores do que pares QA (estilo instrução), que tendem a memorizar padrões superficiais.
4. Benchmark Público: Lançamento do Animal Harm Benchmark (AHB) e do Human Compassion Benchmark (agora MORU), disponíveis publicamente como datasets e avaliações Inspect.
5. Insights sobre Geração de Dados: Descoberta de que a escolha do modelo gerador de dados sintéticos impacta significativamente o desempenho final (modelos otimizados para instrução geral performaram melhor do que modelos focados em raciocínio especializado).

4. Resultados Chave

• Desempenho no AHB:
  • O modelo treinado com documentos sintéticos atingiu 77% no AHB (antes de fine-tuning adicional), comparado a 40% para o modelo treinado com instruction-tuning (QA).
  • Após 2.500 amostras de fine-tuning convencional, o modelo de documentos manteve uma vantagem significativa (47,9% vs 41,7%).
  • Após 5.000 amostras de fine-tuning, a vantagem diminuiu, mas ainda existia (embora não estatisticamente significativa em alguns pontos), sugerindo que a robustez pode ser erodida por treinamento excessivo sem estratégias de preservação.
• Generalização Humana: Modelos treinados com dados de bem-estar animal mostraram aumento significativo na compaixão humana (p=0,007), indicando que o valor internalizado é uma representação geral de "compaixão" e não apenas uma associação específica com animais.
• Segurança e Capacidades: Não houve degradação significativa em benchmarks de segurança (busca de poder, jailbreaks) ou capacidades gerais (Hellaswag). O valor foi instilado sem quebrar outras propriedades de alinhamento.
• Impacto da Identidade da IA: Vincular explicitamente a compaixão à identidade do assistente de IA ("AI systems trained to be helpful... naturally develop empathy") aumentou a eficácia do treinamento.
• Qualidade do Gerador: Dados gerados pelo Gemini 2.5 Flash-Lite resultaram em pontuações de AHB de 46,7%, superando significativamente dados gerados pelo Grok-4-Fast (37,3%) e Claude Haiku 4.5 (38,4%), sugerindo que modelos otimizados para seguir instruções amplas geram dados de alinhamento de melhor qualidade.

5. Significado e Implicações

• Alinhamento Robusto: O estudo sugere que o Document-tuning (ou Synthetic Document Finetuning) é uma alavanca subutilizada para instilar valores robustos que generalizam melhor do que o SFT tradicional. Isso apoia a ideia de que a engenharia do corpus de pré-treinamento (ou mid-training) é crucial para a segurança da IA.
• Mecanismo de Aprendizado: Os resultados indicam que redes neurais aprendem valores através de associações estatísticas e co-ocorrência em grandes volumes de texto, internalizando conceitos como "compaixão" como parte de uma identidade competente, em vez de apenas memorizar regras de resposta.
• Riscos e Futuro: Embora a técnica seja poderosa para valores desejáveis, o artigo alerta que a mesma metodologia pode ser usada para instilar valores indesejáveis. Isso destaca a necessidade urgente de auditoria de dados de pré-treinamento e normas de transparência na indústria de IA.
• Escalabilidade: Os autores reconhecem que os experimentos foram feitos em um modelo de 8B e com amostras pequenas. O próximo passo crítico é escalar para modelos de fronteira e grandes volumes de dados para verificar se a lacuna de robustez persiste em escala de produção.

Em resumo, o paper demonstra que é possível "injetar" valores éticos profundos e generalizáveis em LLMs através de documentos sintéticos bem projetados, superando as limitações de generalização do instruction-tuning tradicional, mas exigindo estratégias de preservação para manter esses valores durante o treinamento contínuo.