🔬 condensed matter

Learning Pseudorandom Numbers with Transformers: Permuted Congruential Generators, Curricula, and Interpretability

Este artículo demuestra que los modelos Transformer pueden aprender y predecir secuencias de Generadores Congruenciales Permutados (PCG) complejos mediante el aprendizaje por currículo y el descubrimiento de representaciones de rotación invariantes a nivel de bits, revelando una ley de escala donde la longitud del contexto requerida crece como la raíz cuadrada del módulo.

Autores originales: Tao Tao, Maissam Barkeshli

Publicado 2026-07-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tao Tao, Maissam Barkeshli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a predecir el siguiente número en un truco de magia. Le muestras una secuencia como 3, 7, 15, 31, y tiene que adivinar qué viene después. En el mundo real, las computadoras usan recetas especiales llamadas Generadores de Números Pseudoaleatorios (PRNG, por sus siglas en inglés) para crear números que parecen completamente aleatorios para nosotros, como el barajado de una baraja de cartas o la estática en un televisor antiguo. Pero para la computadora, estos números no son aleatorios en absoluto; siguen una regla matemática estricta y oculta. Si conoces la regla y el número inicial, puedes predecir todo el futuro de la secuencia perfectamente.

Durante mucho tiempo, los científicos se han preguntado: ¿Puede la IA moderna, específicamente un tipo de modelo llamado "Transformer" (el mismo tipo de cerebro detrás de muchos chatbots y generadores de imágenes), descifrar estas reglas ocultas solo mirando ejemplos? Es como preguntar si un estudiante puede aprender el código secreto de una cerradura simplemente observando a alguien abrirla unas cuantas veces, sin que nunca se le diga cómo funciona la cerradura. Esto es algo muy importante porque estos generadores de números son la columna vertebral de la seguridad informática. Si la IA puede romperlos con demasiada facilidad, podría significar que nuestros cerrojos digitales no son tan seguros como pensamos. Pero si la IA no puede romperlos, nos dice algo profundo sobre cómo estos modelos aprenden patrones y dónde están sus límites.

La historia del artículo: Descifrando el código con un giro inesperado

En este artículo, los autores plantean un desafío para los Transformers utilizando una familia específica y difícil de generadores de números llamados Generadores Congruenciales Permutados (PCG). Piensa en un generador de números estándar como una máquina simple que suma y multiplica números para obtener el siguiente. Un PCG es esa misma máquina, pero con un giro: antes de mostrarte el resultado, desordena los bits (los diminutos 0s y 1s que componen el número) usando una serie de desplazamientos, giros y rotaciones. Es como tomar un mensaje secreto, escribirlo y luego desordenar las letras para que parezca un galimatías, aunque el mensaje original fuera perfectamente lógico.

Los investigadores descubrieron que los Transformers son sorprendentemente buenos en esto. Incluso cuando la computadora solo ve una pequeña y desordenada parte de la salida —a veces solo un bit, como un simple "sí" o "no"— el modelo aún puede predecir el siguiente número con alta precisión. Es como si el robot estuviera mirando un solo píxel de una imagen desordenada y, de alguna manera, supiera exactamente cómo es la imagen completa. Los modelos aprendieron a hacer esto sin que se les dijeran las reglas; simplemente descubrieron el patrón a partir de los ejemplos proporcionados.

Sin embargo, hay un inconveniente. Cuanto más difícil es el rompecabezas, más ayuda necesita el robot. Los autores descubrieron una "ley de escala": a medida que los números se vuelven más grandes (específicamente, a medida que el módulo, o el tamaño del conjunto de números, crece), el modelo necesita ver más ejemplos seguidos para resolver el rompecabezas. Si los números son pequeños, el modelo necesita ver unos 128 ejemplos. Si los números son enormes (como $2^{22}$ ), el modelo necesita ver aproximadamente $\sqrt{m}$ ejemplos, lo que significa que la longitud del contexto tiene que crecer significativamente. Es como intentar resolver un rompecabezas de piezas: si las piezas son diminutas, necesitas tener muchas en la mano para ver la imagen.

El descubrimiento más emocionante fue sobre cómo aprende el modelo. Cuando los investigadores intentaron entrenar al modelo directamente con los rompecabezas más grandes y difíciles, este se quedó estancado. El modelo se quedaba mirando los datos durante mucho tiempo, sin progresar casi nada, como un estudiante que mira un problema matemático que no entiende. Pero cuando utilizaron un "currículo" —una estrategia de enseñanza donde comenzaron el modelo con rompecabezas pequeños y fáciles e introdujeron gradualmente otros más difíciles— el modelo de repente lo logró. Fue como si el modelo necesitara aprender a caminar antes de poder correr. Al empezar con lo pequeño, el modelo aprendió la "gramática" básica de la generación de números, y luego pudo aplicar ese conocimiento a los rompecabezas gigantes y complejos.

Los autores también echaron un vistazo dentro del "cerebro" del modelo (sus representaciones de datos internas) y encontraron algo fascinante. El modelo no solo memorizó los números; los organizó basándose en su estructura binaria. Agrupó números que tenían patrones similares de ceros y unos, incluso si esos números parecían totalmente diferentes en la superficie. Parece que el modelo descubrió que las reglas de "desorden" utilizadas por los generadores tratan ciertos patrones de bits como si fueran el mismo, y aprendió a respetar esas reglas. Esto sugiere que el modelo no solo está adivinando; está construyendo un mapa mental de las simetrías matemáticas ocultas.

En resumen, el artículo muestra que los Transformers pueden aprender a predecir secuencias de números complejas y desordenadas, incluso cuando la información está muy recortada. Pero necesitan el camino de entrenamiento adecuado: empezar con lo pequeño y construir hacia arriba. Aunque pueden superar a algunos métodos de hackeo de la vieja escuela, todavía chocan contra un muro cuando los números se vuelven demasiado grandes sin ese currículo de ayuda. Esto nos dice que, si bien la IA está mejorando en la detección de patrones ocultos, todavía depende de una forma estructurada de aprendizaje, de forma muy similar a un estudiante humano, para abordar los misterios matemáticos más difíciles.

Resumen Técnico: Aprendizaje de Números Pseudoaleatorios con Transformers

Declaración del Problema

El artículo investiga la capacidad de los modelos Transformer para aprender y predecir secuencias generadas por Generadores de Permutación Congruencial (PCG, por sus siglas en inglés), una familia ampliamente utilizada de generadores de números pseudoaleatorios (PRNG). Aunque los Transformers han demostrado éxito en el aprendizaje en contexto (ICL) para diversas tareas algorítmicas, persisten preguntas fundamentales sobre su capacidad para descubrir patrones deterministas ocultos dentro de datos diseñados para superar pruebas de aleatoriedad estadística.

Los PCG presentan un desafío significativamente mayor que los Generadores Congruenciales Lineales (LCG). Mientras que los LCG siguen una recurrencia lineal simple ( $s_i = (a s_{i-1} + c) \mod m$ ), los PCG aplican una función compleja $f$ al estado oculto $s_i$ antes de producir la salida $x_i$ . Esta función involucra desplazamientos de bits, XOR, rotaciones y truncamientos. Estas operaciones están diseñadas para oscurecer la estructura lineal subyacente, haciendo que los PCG sean resistentes a los ataques algebraicos clásicos que asumen el conocimiento del módulo y el multiplicador. Los autores pretenden determinar si los Transformers pueden descubrir estas relaciones de recurrencia ocultas y estructuras de permutación sin conocimiento explícito de los parámetros del generador, y comprender los mecanismos y limitaciones de dicho aprendizaje.

Metodología

Configuración Experimental

El estudio utiliza un benchmark controlado empleando varias variantes de PCG (XSLRR, XSHRR, XSHRS) y un LCG Truncado (TLCG).

Generadores: El estado interno $s_i$ evoluciona mediante un LCG, y la salida $x_i = f(s_i)$ se deriva a través de permutaciones específicas. Los autores varían el módulo $m$ (desde $2^{14}$ hasta $2^{22}$ ) y el tamaño de la salida (por ejemplo, salidas de 8 bits a partir de estados de 16 bits).
Conjuntos de Datos: Se emplean dos configuraciones:
1. Separada: Entrenamiento y prueba en un único tipo de generador.
2. Combinada: Entrenamiento y prueba en una mezcla de todos los tipos de generadores, lo que requiere que el modelo distinga entre diferentes reglas de permutación.
- Los conjuntos de datos consisten en secuencias generadas con multiplicadores ( $a$ ) e incrementos ( $c$ ) no vistos para probar la generalización.
Arquitectura del Modelo: Transformers de tipo decodificador solo (decoder-only) estilo GPT con Incrustaciones Posicionales Rotatorias (RoPE). Los experimentos escalan la profundidad del modelo (1–6 capas), la anchura (cabezales de atención) y el tamaño del vocabulario (basado en el ancho de bits de la salida).
Entrenamiento: Los modelos se entrenan de forma autorregresiva para predecir el siguiente token utilizando la pérdida de entropía cruzada. El entrenamiento implica hasta 100k pasos con tamaños de lote de 512.

Técnicas Clave

Aprendizaje de Currículo (Curriculum Learning): Para módulos grandes ( $m \ge 2^{20}$ ), el entrenamiento directo suele fallar, provocando un estancamiento prolongado. Los autores introducen una estrategia de currículo donde los datos de módulos más pequeños se mezclan en el conjunto de datos del módulo más grande. La razón de mezcla $\alpha$ decae exponencialmente durante los pasos de entrenamiento.
Inicialización Preentrenada: Modelos entrenados en módulos más pequeños se utilizan para inicializar los pesos para tareas de módulos más grandes, transfiriendo las estructuras de incrustación aprendidas.
Análisis de Interpretabilidad: Los autores emplean el Análisis de Componentes Principales (PCA) en las incrustaciones de los tokens y analizan los patrones de atención para comprender cómo el modelo representa los datos de entrada.

Contribuciones Clave y Resultados

1. Predicción Exitosa en Contexto

Los Transformers pueden realizar con éxito la predicción en contexto de secuencias PCG de múltiples variantes, generalizando a parámetros no vistos ( $a, c$ ).

Rendimiento: Los modelos alcanzan una precisión >90% en diversas variantes de PCG tras observar aproximadamente 512 elementos en contexto.
Robustez: La predicción sigue siendo robusta incluso cuando la salida está fuertemente truncada (por ejemplo, conservando solo el bit más alto del estado), donde el modelo supera significativamente el azar.
Generalización: Esta capacidad excede los ataques clásicos publicados, que típicamente requieren el conocimiento previo del módulo y el multiplicador.

2. Leyes de Escalamiento

El artículo identifica una ley de escalamiento específica respecto a la longitud del contexto necesaria para una predicción exitosa:

Longitud de Contexto vs. Módulo: El número de elementos de secuencia en contexto requeridos para exceder el 90% de precisión escala como $\sqrt{m}$ . Esto es más pronunciado que el escalamiento de $m^{0.25}$ observado para los LCG, lo que refleja la oscurecimiento de la información introducido por las permutaciones de PCG.
Tamaño del Modelo: Los modelos más grandes (mayor profundidad y anchura) requieren menos elementos observados para alcanzar la misma precisión, lo que sugiere que la escala permite un desarrollo de estrategias más eficiente.

3. Necesidad de Aprendizaje de Currículo

Para módulos grandes ( $m \ge 2^{20}$ ), el entrenamiento directo dentro de presupuestos de cómputo fijos resulta en fases de estancamiento prolongadas con una reducción mínima de la pérdida.

Eficacia del Currículo: Incorporar datos de módulos más pequeños (por ejemplo, mezclando datos de $m=2^{16}$ en el entrenamiento de $m=2^{18}$ ) elimina la fase de estancamiento, amplía el rango de tasas de aprendizaje estables y produce un rendimiento final sustancialmente más fuerte.
Preentrenamiento: Inicializar con pesos de un modelo de un módulo menor actúa como una forma discreta de currículo, permitiendo al modelo saltarse la fase inicial de estancamiento y converger más rápido.

4. Interpretabilidad y Representación

El análisis de las representaciones aprendidas revela nuevos conocimientos estructurales:

Agrupamiento por Bits (Bitwise Clustering): El PCA de la matriz de incrustación muestra que los tokens se agrupan espontáneamente según estructuras rotacionalmente invariantes de bits, específicamente el número y la disposición de las corridas de ceros contiguos (ej. $Z(1)$ , $Z(2,1)$ ).
Transferibilidad: Esta estructura de agrupamiento persiste a través de diferentes módulos, lo que explica por qué la inicialización preentrenada es efectiva; el modelo interioriza las invarianzas inherentes al generador.
Separación de Generadores: En entornos de entrenamiento combinados, las activaciones intermedias del modelo (específicamente en el MLP de la tercera capa) diferencian espontáneamente entre distintas variantes de PRNG, incluso sin supervisión explícita sobre la identidad del generador.

Significado y Reivindicaciones

El artículo afirma demostrar que los Transformers poseen una capacidad notable para descubrir patrones deterministas ocultos en datos diseñados para parecer aleatorios, superando las capacidades de los ataques algebraicos clásicos que dependen del conocimiento explícito de los parámetros del generador.

El trabajo destaca que, si bien los Transformers pueden aprender estructuras de PRNG complejas, enfrentan restricciones de escalamiento distintas. El requisito de que la longitud del contexto crezca como $\sqrt{m}$ y la necesidad de un aprendizaje de currículo para módulos grandes sugieren que, aunque estos modelos pueden generalizar a regímenes no vistos, aún no son capaces de "romper" generadores arbitrariamente grandes o complejos sin estrategias de entrenamiento específicas.

La identificación del agrupamiento rotacionalmente invariante en el espacio de incrustación proporciona una explicación mecánica de cómo estos modelos generalizan: aprenden a representar las entradas basándose en las simetrías del algoritmo subyacente en lugar de memorizar secuencias específicas. Esto ofrece una nueva perspectiva sobre cómo las redes neuronales procesan la aritmética modular y las tareas basadas en permutaciones, cerrando la brecha entre el razonamiento algorítmico y el reconocimiento de patrones estadísticos.

Los autores concluyen que, aunque los Transformers pueden acercarse a la predicción de PRNG no criptográficos de manera efectiva, un recuento mecánico completo de la solución y la exploración de su capacidad para atacar generadores criptográficamente seguros siguen siendo direcciones de trabajo importantes para el futuro.