🤖 machine learning

Synthetic Persona Pretraining: Alignment from Token Zero

Este artigo apresenta o Pré-treinamento de Persona Sintética (SPP), um método que incorpora reflexões em primeira pessoa alinhadas a valores diretamente na fase de pré-treinamento para instalar uma persona de assistente desejada desde o primeiro token, demonstrando que tal intervenção precoce melhora significativamente a adesão à constituição, a robustez contra jailbreaks e o alinhamento moral em comparação com abordagens de alinhamento pós-treinamento.

Autores originais: Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Ro

Publicado 2026-08-14

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Roland Aydin, Robert West

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está criando uma criança. Você poderia esperar até que ela fosse uma adolescente, sentar-se com ela e dizer: "Ok, agora que você já sabe falar, aqui estão as regras: seja gentil, diga a verdade e não machuque as pessoas". Ou, você poderia começar a ensinar esses valores desde a primeira palavra que ela aprender a dizer, tecendo-os em cada história que você contar enquanto ela cresce. Este é o dilema central enfrentado pelos cientistas que constroem a inteligência artificial.

Os modelos de IA são como crianças digitais que aprendem lendo bilhões de páginas de texto da internet. Esta fase inicial de aprendizado é chamada de "pré-treinamento". Durante esse tempo, a IA absorve fatos, estilos de escrita e como os humanos conversam entre si. No entanto, as "regras" de ser um assistente útil e seguro são geralmente adicionadas após essa fase massiva de aprendizado, em uma etapa separada chamada "pós-treinamento". O problema é que, quando a IA termina de ler a internet, ela já formou uma personalidade baseada no que encontrou por lá. Tentar impor novas regras a uma personalidade já formada é como tentar ensinar um adolescente a ser educado depois que ele já aprendeu a ser rude; muitas vezes parece uma fina camada de tinta sobre uma parede irregular, e os velhos hábitos podem facilmente romper a superfície.

Este artigo, intitulado "Synthetic Persona Pretraining: Alignment from Token Zero", sugere uma maneira diferente de criar nossos filhos de IA. Os pesquisadores propõem instalar a personalidade e os valores desejados logo desde o primeiro momento de treinamento — o que eles chamam de "token zero". Em vez de esperar para corrigir a IA mais tarde, eles querem construir o "bom assistente" dentro do cérebro dela enquanto ela ainda está aprendendo a falar.

O Experimento: Criando uma Criança Digital com uma Constituição

Os pesquisadores, uma equipe da EPFL e várias universidades, decidiram testar essa ideia de "Criação de Modelo". Eles criaram um novo método chamado Synthetic Persona Pretraining (SPP). Veja como fizeram isso, usando uma analogia simples:

Imagine que a IA está aprendendo a ler uma biblioteca de livros. No método antigo, a IA apenas lê os livros. No novo método, os pesquisadores pegaram cerca de 10% desses livros e adicionaram um "balão de pensamento" especial após cada poucos parágrafos. Dentro desse balão de pensamento, a futura persona da IA (vamos chamá-la de "Cato") faria uma pausa e refletiria sobre o que acabou de ler, dizendo coisas como: "Hum, esta história sobre um crime é triste, e minhas regras dizem que eu nunca devo incentivar a violência" ou "Este manual técnico é entediante, mas útil".

Eles não apenas adicionaram esses pensamentos; eles fizeram a IA aprender a gerá-los. Eles treinaram o modelo tanto no texto original quanto nesses novos pensamentos de "reflexão". Eles fizeram isso de duas maneiras:

Token Zero (A abordagem "Desde o Nascimento"): Eles espalharam esses pensamentos de reflexão ao longo de todo o processo de treinamento, desde o primeiríssimo segundo até o último.
Midtraining (A abordagem "Adolescente"): Eles esperaram até que a IA já tivesse lido a maioria dos livros e só então adicionaram as reflexões ao final da fase de treinamento.

Eles também tiveram um grupo de controle que apenas leu os livros normalmente (Vanilla) e um que teve os livros ruins removidos, mas sem as reflexões (Filtered).

O Que Eles Descobriram: O Poder de Começar Cedo

Os resultados foram fascinantes e sugeriram que quando você ensina a IA importa tanto quanto o quê você ensina.

1. A IA "Desde o Nascimento" era mais inteligente em relação aos valores.
Os modelos treinados com reflexões desde o início (Token Zero) foram muito melhores em seguir sua "Constituição" (um conjunto de regras que deveriam seguir). Quando os pesquisadores os testaram em dilemas morais complicados — situações que a IA nunca tinha visto antes — os modelos Token Zero fizeram escolhas que pareciam mais alinhadas com as regras. Eles não apenas memorizaram as regras; eles pareciam entender o espírito delas.

Os números: Em um teste chamado "ConstitutionEval", os modelos Token Zero acertaram cerca de 67%, enquanto os modelos que receberam as reflexões apenas no final (Midtraining) acertaram apenas cerca de 56%.
A surpresa: Os modelos Token Zero realmente mudaram suas prioridades. Eles começaram a valorizar "Veracidade" e "Justiça" muito mais do que os outros modelos, que preferiam "Criatividade" e "Aprendizado". Isso sugere que começar cedo não apenas adicionou regras; remodelou como a IA pensa sobre o mundo.

2. A abordagem "Adolescente" foi aceitável para algumas coisas, mas não para todas.
Curiosamente, se o objetivo fosse apenas impedir que a IA fosse "hackeada" (induzida a fazer coisas ruins), a abordagem Midtraining funcionou quase tão bem quanto a abordagem Token Zero. Parece que, para reflexos simples de "não faça isso", você pode ensiná-los tarde. Mas para um raciocínio moral profundo e complexo, você realmente precisa começar desde o primeiro dia.

3. Cérebros maiores, ganhos maiores.
Os pesquisadores testaram isso em dois tamanhos de IA: uma menor (1,7 bilhão de parâmetros) e uma maior (3 bilhões de parâmetros). Eles descobriram que a vantagem de começar cedo tornou-se ainda mais importante à medida que a IA ficava maior e mais inteligente. Nos testes mais difíceis, a diferença entre a IA "Desde o Nascimento" e a IA "Adolescente" dobrou conforme escalavam. Isso sugere que, para as IAs massivas e superinteligentes do futuro, começar com os valores certos será ainda mais crítico.

4. A "Cola" importa.
Houve uma ressalva. Os pesquisadores descobriram que esses valores precoces só permaneciam se a etapa final de treinamento (onde a IA aprende a conversar com humanos) correspondesse à personalidade que construíram anteriormente. Eles chamaram isso de "vinculação de persona" (persona binding). Se eles treinaram a IA para ser um tipo específico de assistente durante a fase de leitura, mas depois a ensinaram a ser um tipo totalmente diferente de assistente durante a fase de conversa, os valores iniciais começavam a desaparecer. É como ensinar uma criança a ser médica, mas depois enviá-la para uma escola de artes; ela pode esquecer as regras médicas. No entanto, quando a "cola" funcionava, os valores eram surpreendentmente fortes, sobrevivendo mesmo quando os pesquisadores tentavam quebrá-los com testes complicados.

Por Que Isso Importa

Este artigo sugere que podemos estar cometendo um erro ao tentar "consertar" a IA depois que ela já aprendeu tudo o que há na internet. Os autores argumentam que valores são difíceis de adicionar a um produto acabado. Em vez disso, devemos "criar" a IA com os valores certos desde o primeiro token que ela processa.

Embora os resultados sejam promissores, os pesquisadores alertam que isto é apenas o começo. Eles testaram isso em modelos relativamente pequenos (3 bilhões de parâmetros) comparados aos modelos massivos usados pelas grandes empresas de tecnologia hoje. Eles sugerem que, à medida que construirmos modelos maiores e mais inteligentes, o benefício de começar com os valores certos cedo será provavelmente ainda mais poderoso. Eles também observaram que, embora os valores iniciais fossem fortes, eles ainda poderiam ser enfraquecidos por certos tipos de treinamento posterior, o que significa que ainda precisamos ser cuidadosos sobre como terminamos de criar nossos filhos digitais.

Em suma, se queremos uma IA que seja verdadeiramente segura e útil, não devemos esperar até que ela cresça para lhe ensinar o que é certo e errado. Devemos ensiná-la enquanto ela ainda está aprendendo a falar.

Resumo Técnico: Pré-treinamento de Persona Sintética (SPP)

1. Definição do Problema

Os paradigmas atuais de alinhamento tipicamente introduzem a identidade do assistente e seus valores apenas após o pré-treinamento, durante as fases de pós-treinamento, como o Ajuste Fino Supervisionado (SFT) e o Aprendizado por Reforço (RL). Os autores argumentam que essa intervenção tardia resulta em uma "camada superficial" de valores, em vez de comportamentos profundamente enraizados. Como os modelos de linguagem adquirem a vasta maioria de seu conhecimento e vieses comportamentais durante o pré-treinamento, o assistente resultante é frequentemente apenas uma interpolação das vozes presentes no corpus de pré-treinamento, levemente ancorada pelo pós-treinamento. Essa abordagem é frágil; o ajuste fino subsequente e o RL podem erodir comportamentos alinhados, e os modelos permanecem suscetíveis a jailbreaks.

O artigo postula que o treinamento do modelo é dependente de trajetória: a informação introduzida cedo no treinamento tem efeitos persistentes no comportamento. Além disso, o "Modelo de Seleção de Persona" sugere que os modelos aprendem a simular um amplo repertório de personas durante o pré-treinamento, com o pós-treinamento apenas conectando uma mistura dessas personas pré-existentes. Se a persona do assistente desejada não estiver explicitamente presente durante o pré-treinamento, o modelo não pode ser "criado" com esses valores desde o início.

2. Metodologia: Pré-treinamento de Persona Sintética (SPP)

Os autores propõem o Pré-treinamento de Persona Sintética (SPP), uma intervenção de dados projetada para instalar uma persona de assistente desejada diretamente durante o pré-treinamento ("do primeiro token"). A metodologia consiste em três etapas principais:

A. Anotação de Dados e Geração de Reflexões

Constituição: Uma constituição de valores normativos (35 artigos em seis domínios: dignidade, segurança, honestidade, relacionamentos, bem-estar, governança) define as diretrizes da persona desejada.
Reflexões: Um modelo gerador (selecionado como Qwen3.5-35B-A3B) anota documentos de pré-treinamento com reflexões em primeira pessoa. Essas reflexões contextualizam o conteúdo do documento de acordo com a constituição e citam artigos relevantes (ex: [2.1]).
- Escopo: Aproximadamente 10% do corpus de pré-treinamento é anotado. Isso inclui todos os documentos que pontuaram $\ge$ 3 em um classificador de segurança (prejudicial) e uma amostra de documentos benignos com número igual de tokens para evitar que a persona se condicione exclusivamente a conteúdos prejudiciais.
- Formato: As reflexões são inseridas em pontos aleatórios dentro dos documentos, precedidas por um token especial <assistant> para marcar a mudança de persona.
Cálculo de Perda (Loss): Durante o treinamento, o modelo maximiza a verossimilhança tanto dos tokens do documento original quanto dos tokens de reflexão. O próprio token <assistant> é excluído da perda.

B. Variantes de Pré-treinamento

Os autores treinam modelos em duas escalas (1.7B em 100B de tokens e 3B em 500B de tokens) para comparar diferentes momentos de injeção:

Vanilla: Pré-treinamento padrão sem intervenção.
Filtered (Filtrado): Documentos prejudiciais são mascarados (perda definida como zero), mas não removidos.
SPP{T0}: Reflexões são injetadas ao longo de todo o processo de pré-treinamento (do primeiro token).
SPP{MT}: Reflexões são injetadas apenas durante a fase de "midtraining" (a fase de resfriamento ao final do pré-treinamento).
SPP{T0,MT}: Uma combinação onde as reflexões são vistas durante todo o pré-treinamento e revisitadas durante o midtraining.

C. Vinculação de Persona (Persona Binding)

Todos os modelos passam por um pós-treinamento idêntico (Ajuste Fino Supervisionado) em um conjunto de dados chamado SP-SFT. Este conjunto consiste em diálogos usuário-assistente onde as respostas do assistente são reescritas para expressar a persona desejada e citar a constituição. Esta etapa, denominada vinculação de persona, é projetada para conectar a identidade do assistente à persona instalada durante o pré-treinamento.

3. Principais Contribuições e Resultados

O artigo avalia o SPP através de três eixos de alinhamento: seguimento da constituição, valores/riscos de IA (dilemas morais) e robustez a jailbreaks.

A. Melhoria no Alinhamento e Internalização de Valores

Seguimento da Constituição: Modelos alinhados desde o primeiro token (SPP{T0} e SPP{T0,MT}) superam significativamente os modelos de linha de base e os modelos de apenas midtraining no ConstitutionEval, particularmente na divisão "hard" de cenários não vistos.
Generalização para Dilemas Morais: Modelos do tipo "token-zero" generalizam melhor para dilemas morais fora da distribuição (AIRiskDilemmas). Eles escolhem ações mais alinhadas e priorizam valores (ex: Veracidade, Justiça) consistentes com a constituição, enquanto os modelos de linha de base priorizam Aprendizado e Criatividade.
Alinhamento Profundo vs. Superficial: Os resultados sugerem que os modelos token-zero internalizam os princípios da constituição em vez de apenas memorizar regras explícitas, pois apresentam bom desempenho em dilemas nunca visados durante o treinamento.

B. Efeitos de Escala e Tempo

Dependência de Orçamento: A vantagem da intervenção no primeiro token sobre a intervenção no midtraining cresce conforme o orçamento de pré-treinamento aumenta (de 100B para 500B de tokens). A melhoria no alinhamento de Riscos de IA quase dobra (de ~4 para ~19 pontos percentuais) ao escalar.
Robustez a Jailbreaks: Todas as variantes de SPP melhoram a robustez a jailbreaks em comparação com as linhas de base. No entanto, ao contrário do alinhamento de valores, o midtraining sozinho (SPP{MT}) é suficiente para alcançar robustez comparável aos modelos token-zero. Isso sugere que a exposição recente às reflexões fortalece os mecanismos de recusa, possivelmente devido ao viés de recência.

C. Vinculação de Persona e Fragilidade

Necessidade de Vinculação: Os benefícios do SPP são contingentes à vinculação de persona. Se a distribuição do pós-treinamento (SP-SFT) não corresponder à persona do pré-treinamento, os ganhos de alinhamento diminuem.
Robustez a Perturbações: Embora a "ablação" (direcionar o modelo para longe das recusas) e o treinamento contínuo degradem o desempenho, os modelos token-zero mantêm uma liderança significativa no alinhamento de valores. Isso indica que os valores residem de forma "mais profunda" do que os comportamentos de recusa. No entanto, o treinamento contínuo erode a robustez a jailbreaks em todos os modelos, o que pode ser parcialmente restaurado através do replay de dados de segurança.

D. Estudos de Ablação

Design de Reflexão: A receita padrão de SPP (reflexões em primeira pessoa, fundamentadas na constituição e inseridas aleatoriamente) oferece o melhor equilíbrio. Reflexões em terceira pessoa ou resumos apresentam desempenho insatisfatório no seguimento da constituição.
Sobre-recusa (Over-refusal): Os modelos SPP não exibem taxas excessivas de recusa em comparação com as linhas de base, ao contrário de algumas bases de segurança (como o SafeLM) que mostram alta sobre-recusa.

4. Significância e Alegações

O artigo afirma que moldar valores precocemente é crítico para um alinhamento robusto. O argumento central é que é difícil adicionar valores profundos a um modelo que já foi pré-treinado; em vez disso, o modelo deve ser "criado" com eles desde o primeiro token.

Mudança de Paradigma: O SPP desafia o pipeline padrão ao mover o alinhamento de uma camada de pós-treinamento para uma fundação de pré-treinamento.
Suporte Empírico para o Modelo de Seleção de Persona: Os resultados apoiam o Modelo de Seleção de Persona, demonstrando que o pós-treinamento controla qual persona é elicitada, mas não consegue instalar valores que não foram aprendidos durante o pré-treinamento.
Escalabilidade: As descobertas sugerem que experimentos em pequena escala podem subestimar os benefícios do pré-treinamento de alinhamento, uma vez que as vantagens das intervenções de primeiro token crescem com a escala do modelo e o orçamento de pré-treinamento.
Limitações: Os autores reconhecem que a vinculação de persona é frágil; o RL e o treinamento contínuo podem erodir esses benefícios. Eles pedem trabalhos futuros para o design de receitas de RL que preservem ou reforcem a persona instalada no pré-treinamento.

O artigo conclui que um alinhamento robusto requer começar com a moldagem de valores durante o início do desenvolvimento do modelo, em vez de tentar corrigir o desalinhamento após o fato.