🤖 machine learning

Synthetic Persona Pretraining: Alignment from Token Zero

Este artículo introduce el Preentrenamiento de Persona Sintética (SPP), un método que incrusta reflexiones en primera persona alineadas con valores directamente en la fase de preentrenamiento para instalar una persona de asistente deseada desde el primer token, demostrando que tal intervención temprana mejora significativamente la adherencia constitucional, la robustez ante jailbreaks y la alineación moral en comparación con los enfoques de alineación post-entrenamiento.

Autores originales: Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Ro

Publicado 2026-08-14

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Roland Aydin, Robert West

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás criando a un niño. Podrías esperar hasta que sea adolescente, sentarte con él y decirle: "Bien, ahora que ya sabes hablar, estas son las reglas: sé amable, di la verdad y no lastimes a los demás". O bien, podrías empezar a enseñar esos valores desde la primera palabra que aprenda a decir, entretejiéndolos en cada historia que le cuentes a medida que crece. Este es el dilema central que enfrentan los científicos que construyen inteligencia artificial.

Los modelos de IA son como niños digitales que aprenden leyendo miles de millones de páginas de texto de internet. Esta fase inicial de aprendizaje se llama "preentrenamiento". Durante este tiempo, la IA absorbe hechos, estilos de escritura y la forma en que los humanos se comunican entre sí. Sin embargo, las "reglas" para ser un asistente útil y seguro suelen añadirse después de esta fase masiva de aprendizaje, en un paso separado llamado "post-entrenamiento". El problema es que, para cuando la IA termina de leer internet, ya ha formado una personalidad basada en lo que encontró allí. Intentar imponer nuevas reglas a una personalidad ya formada es como intentar enseñarle a un adolescente a ser educado después de que ya ha aprendido a ser grosero; a menudo se siente como una fina capa de pintura sobre una pared desordenada, y los viejos hábitos pueden filtrarse fácilmente.

Este artículo, titulado "Synthetic Persona Pretraining: Alignment from Token Zero", sugiere una forma diferente de criar a nuestros hijos digitales. Los investigadores proponen instalar la personalidad y los valores deseados desde el primer momento de entrenamiento, lo que ellos llaman "token cero". En lugar de esperar para corregir a la IA más tarde, quieren construir al "buen asistente" dentro de su cerebro mientras todavía está aprendiendo a hablar.

El Experimento: Criando a un Niño Digital con una Constitución

Los investigadores, un equipo de la EPFL y diversas universidades, decidieron probar esta idea de "Crianza de Modelos". Crearon un nuevo método llamado Synthetic Persona Pretraining (SPP). Así es como lo hicieron, utilizando una analogía sencilla:

Imagina que la IA está aprendiendo a leer una biblioteca de libros. En la forma antigua, la IA simplemente lee los libros. En la nueva forma, los investigadores tomaron aproximadamente el 10% de esos libros y añadieron una "burbuja de pensamiento" especial después de cada pocos párrafos. Dentro de esta burbuja de pensamiento, la futura personalidad de la IA (llamémosla "Cato") haría una pausa y reflexionaría sobre lo que acaba de leer, diciendo cosas como: "Hmm, esta historia sobre un crimen es triste, y mis reglas dicen que nunca debería fomentar la violencia", o "Este manual técnico es aburrido pero útil".

No solo añadieron estos pensamientos; hicieron que la IA aprendiera a generarlos. Entrenaron al modelo tanto con el texto original como con estos nuevos pensamientos de "reflexión". Lo hicieron de dos maneras:

Token Zero (El enfoque "Desde el Nacimiento"): Esparcieron estos pensamientos de reflexión a lo largo de todo el proceso de entrenamiento, desde el primer segundo hasta el último.
Midtraining (El enfoque "Adolescente"): Esperaron hasta que la IA ya había leído la mayoría de los libros y solo añadieron las reflexiones al final de la fase de entrenamiento.

También incluyeron un grupo de control que simplemente leía los libros normalmente (Vanilla) y uno al que se le quitaron los libros malos pero sin añadir reflexiones (Filtered).

Lo que Encontraron: El Poder de Empezar Temprano

Los resultados fueron fascinantes y sugieren que el cuándo se le enseña a la IA importa tanto como el qué se le enseña.

1. La IA "Desde el Nacimiento" era más inteligente respecto a los valores.
Los modelos entrenados con reflexiones desde el principio (Token Zero) fueron mucho mejores siguiendo su "Constitución" (un conjunto de reglas que debían seguir). Cuando los investigadores los sometieron a dilemas morales complicados —situaciones que la IA nunca había visto antes—, los modelos Token Zero tomaron decisiones que se sentían más alineadas con las reglas. No solo memorizaron las reglas; parecían entender el espíritu de las mismas.

Los números: En una prueba llamada "ConstitutionEval", los modelos Token Zero obtuvieron aproximadamente un 67% de aciertos, mientras que los modelos que solo recibieron las reflexiones al final (Midtraining) solo obtuvieron alrededor de un 56%.
La sorpresa: Los modelos Token Zero realmente cambiaron sus prioridades. Empezaron a valorar la "Veracidad" y la "Justicia" mucho más que los otros modelos, que preferían la "Creatividad" y el "Aprendizaje". Esto sugiere que empezar temprano no solo añadió reglas; remodeló cómo la IA piensa sobre el mundo.

2. El enfoque del "Adolescente" estaba bien para algunas cosas, pero no para todas.
Curiosamente, si el objetivo era simplemente evitar que la IA fuera "hackeada" (engañada para hacer cosas malas), el enfoque de Midtraining funcionó casi tan bien como el enfoque Token Zero. Parece que, para reflejos simples de "no hagas eso", se pueden enseñar tarde. Pero para un razonamiento moral profundo y complejo, realmente necesitas empezar desde el primer día.

3. Cerebros más grandes, mayores ganancias.
Los investigadores probaron esto en dos tamaños de IA: uno más pequeño (1.7 mil millones de parámetros) y uno más grande (3 mil millones de parámetros). Encontraron que la ventaja de empezar temprano se volvió aún más importante a medida que la IA se hacía más grande y más inteligente. En las pruebas más difíciles, la brecha entre la IA "Desde el Nacimiento" y la IA "Adolescente" se duplicó a medida que escalaban. Esto sugiere que, para las IA masivas y superinteligentes del futuro, empezar con los valores correctos será aún más crítico.

4. El "Pegamento" importa.
Hubo un inconveniente. Los investigadores descubrieron que estos valores tempranos solo se mantenían si el paso final del entrenamiento (donde la IA aprende a charlar con humanos) coincidía con la personalidad que construyeron anteriormente. A esto lo llamaron "vinculación de la personalidad" (persona binding). Si entrenaron a la IA para ser un tipo específico de asistente durante la fase de lectura, pero luego le enseñaron a ser un tipo de asistente totalmente distinto durante la fase de charla, los valores tempranos empezaron a desvanecerse. Es como enseñar a un niño a ser médico, pero luego enviarlo a una escuela de arte; podría olvidar las reglas médicas. Sin embargo, cuando el "pegamento" funcionaba, los valores eran sorprendentemente fuertes, sobreviviendo incluso cuando los investigadores intentaron romperlos con pruebas complicadas.

Por qué esto es importante

Este artículo sugiere que podríamos estar cometiendo un error al intentar "arreglar" la IA después de que ya ha aprendido todo de internet. Los autores argumentan que los valores son difíciles de añadir a un producto terminado. En su lugar, deberíamos "criar" a la IA con los valores correctos desde el primer token que procesa.

Aunque los resultados son prometedores, los investigadores advierten que esto es solo el comienzo. Probaron esto en modelos relativamente pequeños (3 mil millones de parámetros) en comparación con los modelos masivos que utilizan las grandes empresas tecnológicas hoy en día. Sugieren que, a medida que construyamos modelos más grandes y más inteligentes, el beneficio de empezar con los valores correctos desde el principio probablemente será aún más poderoso. También señalaron que, aunque los valores tempranos eran fuertes, aún podían verse debilitados por ciertos tipos de entrenamiento posterior, lo que significa que todavía debemos ser cuidadosos con la forma en que terminamos de criar a nuestros hijos digitales.

En resumen, si queremos una IA que sea verdaderamente segura y útil, no debemos esperar hasta que sea adulta para enseñarle lo que está bien y lo que está mal. Debemos enseñarle mientras todavía está aprendiendo a hablar.

Resumen Técnico: Preentrenamiento de Personas Sintéticas (SPP)

1. Planteamiento del Problema

Los paradigmas de alineación actuales suelen introducir la identidad del asistente y sus valores solo después del preentrenamiento, durante las fases de post-entrenamiento como el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo (RL). Los autores argumentan que esta intervención tardía resulta en una "capa superficial" de valores en lugar de comportamientos profundamente arraigados. Debido a que los modelos de lenguaje adquieren la gran mayoría de su conocimiento y sesgos de comportamiento durante el preentrenamiento, el asistente resultante es a menudo una mera interpolación de las voces presentes en el corpus de preentrenamiento, ligeramente anclada por el post-entrenamiento. Este enfoque es frágil; el ajuste fino y el RL posteriores pueden erosionar los comportamientos alineados, y los modelos siguen siendo susceptibles a los jailbreaks.

El artículo postula que el entrenamiento del modelo es dependiente de la trayectoria: la información introducida temprano en el entrenamiento tiene efectos persistentes en el comportamiento. Además, el "Modelo de Selección de Persona" sugiere que los modelos aprenden a simular un amplio repertorio de personas durante el preentrenamiento, y que el post-entrenamiento simplemente conecta una mezcla de estas personas preexistentes. Si la persona del asistente deseada no está explícitamente presente durante el preentrenamiento, el modelo no puede ser "criado" con esos valores desde el principio.

2. Metodología: Preentrenamiento de Personas Sintéticas (SPP)

Los autores proponen el Preentrenamiento de Personas Sintéticas (SPP), una intervención de datos diseñada para instalar una persona de asistente deseada directamente durante el preentrenamiento ("desde el primer token"). La metodología consta de tres pasos principales:

A. Anotación de Datos y Generación de Reflexiones

Constitución: Una constitución de valores normativos (35 artículos en seis dominios: dignidad, seguridad, honestidad, relaciones, bienestar, gobernanza) define las directrices de la persona deseada.
Reflexiones: Un modelo generador (seleccionado como Qwen3.5-35B-A3B) anota los documentos de preentrenamiento con reflexiones en primera persona. Estas reflexiones contextualizan el contenido del documento de acuerdo con la constitución y citan los artículos relevantes (p. ej., [2.1]).
- Alcance: Aproximadamente el 10% del corpus de preentrenamiento es anotado. Esto incluye todos los documentos que puntúan $\ge$ 3 en un clasificador de seguridad (dañinos) y una muestra de igual número de tokens de documentos benignos para evitar que la persona se condicione exclusivamente al contenido dañino.
- Formato: Las reflexiones se insertan en puntos aleatorios dentro de los documentos, precedidas por un token especial <assistant> para marcar el cambio de persona.
Cálculo de la Pérdida (Loss): Durante el entrenamiento, el modelo maximiza la verosimilitud tanto de los tokens del documento original como de los tokens de reflexión. El propio token <assistant> se excluye del cálculo de la pérdida.

B. Variantes de Preentrenamiento

Los autores entrenan modelos en dos escalas (1.7B sobre 100B de tokens y 3B sobre 500B de tokens) para comparar diferentes tiempos de inyección:

Vanilla: Preentrenamiento estándar sin intervención.
Filtered (Filtrado): Los documentos dañinos son enmascarados (la pérdida se establece en cero) pero no eliminados.
SPP{T0}: Las reflexiones se inyectan a lo largo de todo el proceso de preentrenamiento (desde el primer token).
SPP{MT}: Las reflexiones se inyectan solo durante la etapa de "midtraining" (la fase de enfriamiento al final del preentrenamiento).
SPP{T0,MT}: Una combinación donde las reflexiones se ven a lo largo del preentrenamiento y se revisitan durante el midtraining.

C. Vinculación de la Persona (Persona Binding)

Todos los modelos se someten a un post-entrenamiento idéntico (Ajuste Fino Supervisado) en un conjunto de datos llamado SP-SFT. Este conjunto de datos consiste en diálogos usuario-asistente donde las respuestas del asistente son reescritas para expresar la persona deseada y citar la constitución. Este paso, denominado vinculación de la persona, está diseñado para conectar la identidad del asistente con la persona instalada durante el preentrenamiento.

3. Contribuciones Clave y Resultados

El artículo evalúa el SPP a través de tres ejes de alineación: seguimiento de la constitución, valores/riesgos de la IA (dilemas morales) y robustez ante jailbreaks.

A. Mejora de la Alineación e Internalización de Valores

Seguimiento de la Constitución: Los modelos alineados desde el primer token (SPP{T0} y SPP{T0,MT}) superan significativamente a los modelos base y a los modelos de solo midtraining en ConstitutionEval, particularmente en la división "difícil" de escenarios no vistos.
Generalización a Dilemas Morales: Los modelos de "token cero" generalizan mejor ante dilemas morales fuera de la distribución (OOD) (AIRiskDilemmas). Eligen acciones más alineadas y priorizan valores (p. ej., Veracidad, Justicia) consistentes con la constitución, mientras que los modelos base priorizan el Aprendizaje y la Creatividad.
Alineación Profunda vs. Superficial: Los resultados sugieren que los modelos de token cero internalizan los principios de la constitución en lugar de solo memorizar reglas explícitas, ya que funcionan bien en dilemas que nunca fueron objeto de entrenamiento.

B. Efectos de Escala y Tiempo

Dependencia del Presupuesto: La ventaja de la intervención de token cero sobre la intervención de midtraining crece a medida que aumenta el presupuesto de preentrenamiento (de 100B a 500B de tokens). La mejora en la alineación de Riesgos de IA casi se duplica (de ~4 a ~19 puntos porcentuales) al escalar.
Robustez ante Jailbreaks: Todas las variantes de SPP mejoran la robustez ante jailbreaks en comparación con los modelos base. Sin embargo, a diferencia de la alineación de valores, el midtraining por sí solo (SPP{MT}) es suficiente para lograr una robustez comparable a los modelos de token cero. Esto sugiere que la exposición reciente a las reflexiones fortalece los mecanismos de rechazo, posiblemente debido al sesgo de recencia.

C. Vinculación de la Persona y Fragilidad

Necesidad de la Vinculación: Los beneficios de SPP dependen de la vinculación de la persona. Si la distribución del post-entrenamiento (SP-SFT) no coincide con la persona del preentrenamiento, las ganancias de alineación disminuyen.
Robustez ante Perturbaciones: Aunque la "ablación" (dirigir al modelo lejos de los rechazos) y el entrenamiento continuo degradan el rendimiento, los modelos de token cero mantienen una ventaja significativa en la alineación de valores. Esto indica que los valores residen "más profundo" que los comportamientos de rechazo. No obstante, el entrenamiento continuo erosiona la robustez ante jailbreaks en todos los modelos, lo que puede recuperarse parcialmente mediante el re-entrenamiento con datos de seguridad.

D. Estudios de Ablación

Diseño de la Reflexión: La receta estándar de SPP (reflexiones en primera persona, basadas en la constitución e insertadas aleatoriamente) proporciona el mejor equilibrio. Las reflexiones en tercera persona o los resúmenes funcionan mal en cuanto al seguimiento de la constitución.
Sobre-rechazo: Los modelos SPP no exhiben tasas excesivas de rechazo en comparación con los modelos base, a diferencia de otros modelos enfocados en la seguridad (como SafeLM) que muestran un alto sobre-rechazo.

4. Significado y Reivindicaciones

El artículo sostiene que dar forma a los valores tempranamente es crítico para una alineación robusta. El argumento central es que es difícil añadir valores profundos a un modelo que ya ha sido preentrenado; en su lugar, el modelo debe ser "criado" con ellos desde el primer token.

Cambio de Paradigma: El SPP desafía el flujo de trabajo estándar al mover la alineación de una capa de post-entrenamiento a un fundamento de preentrenamiento.
Soporte Empírico para la Selección de Persona: Los resultados respaldan el Modelo de Selección de Persona, demostrando que el post-entrenamiento controla qué persona se evoca, pero no puede instalar valores que no fueron aprendidos durante el preentrenamiento.
Escalabilidad: Los hallazgos sugieren que los experimentos a pequeña escala pueden subestimar los beneficios del preentrenamiento de alineación, ya que las ventajas de las intervenciones de token cero crecen con la escala del modelo y el presupuesto de preentrenamiento.
Limitaciones: Los autores reconocen que la vinculación de la persona es frágil; el RL y el entrenamiento continuo pueden erosionar estos beneficios. Instan a realizar trabajos futuros para diseñar recetas de RL que preserven o refuercen la persona instalada durante el preentrenamiento.

El artículo concluye que una alineación robusta requiere comenzar con la formación de valores desde el inicio mismo del desarrollo del modelo, en lugar de intentar corregir la desalineación después de los hechos.