Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus

Resumen Técnico: Modelado de Lenguaje Consciente de la Época sobre un Corpus Equilibrado de Gutenberg

Planteamiento del Problema
Los modelos de lenguaje extensos (LLM) actuales se entrenan predominantemente en corpus extraídos de la web (por ejemplo, Common Crawl) que están fuertemente sesgados hacia el inglés contemporáneo. Este sesgo temporal limita la capacidad de estudiar cómo la composición histórica de los datos de entrenamiento influye en el estilo generativo de un modelo. Además, en los corpus de la web que ocurren de forma natural, el contenido temático y el registro estilístico están entrelazados, lo que dificulta aislar el efecto específico de la "época" (el periodo histórico de la escritura) sobre el comportamiento del modelo de forma independiente al tema tratado.

Metodología
Los autores presentan GutenbergLM, un pequeño transformador de decodificador único entrenado desde cero sobre un corpus diseñado a medida y equilibrado por épocas, derivado íntegramente de Project Gutenberg. La metodología se estructura en cuatro etapas primarias:

1. Construcción y Equilibrio del Corpus:

   • Fuente: Los autores analizaron el catálogo completo de RDF de Project Gutenberg (78.672 registros), filtrando 62.497 libros en lengua inglesa.
   • Clasificación por Época: Los libros se estratificaron en tres épocas basadas en el año de nacimiento del autor (o la fecha de publicación como alternativa): Temprana (≤1800), Media (1801–1900) y Moderna (>1900).
   • Muestreo Equilibrado: Para evitar el dominio natural de la época "Media" (69,3% del catálogo bruto), los autores realizaron un muestreo determinista basado en semillas para seleccionar exactamente 5.334 libros por época, resultando en un corpus perfectamente equilibrado de 16.002 libros.
   • Desduplicación y Limpieza: Se eliminaron duplicados cercanos utilizando MinHash con LSH (Locality-Sensitive Hashing) a un umbral de Jaccard de 0,85, dejando 15.509 libros únicos. La limpieza de texto consistió en eliminar el boilerplate de Project Gutenberg, reparar artefactos de codificación y normalizar los espacios en blanco.
   • División: Se aplicó una división estratificada a nivel de libro (90% entrenamiento, 5% validación, 5% prueba) para asegurar que no hubiera filtración estilística entre los conjuntos.

2. Tokenizador:

   • Se entrenó un tokenizador BPE (byte-pair-encoding) de tipo SentencePiece con un vocabulario de 32.000 sobre el corpus de entrenamiento.
   • Cuenta con un fallback a nivel de bytes para garantizar cero tokens fuera del vocabulario (out-of-vocabulary) y una división de dígitos ajustada para formatos de fechas históricas.
   • Se reservaron tres tokens de control explícitos (<ERA_EARLY>, <ERA_MIDDLE>, <ERA_MODERN>) para permitir el condicionamiento por época.

3. Arquitectura del Modelo:

   • Escala: Un transformador de decodificador único de 109,5 millones de parámetros que sigue las decisiones de diseño de estilo LLaMA.
   • Componentes: La arquitectura incluye 12 capas, dimensión de modelo de 768, 12 cabezales de atención, RMSNorm, redes de alimentación (feed-forward) SwiGLU y Embebidos de Posición Rotatorios (RoPE).
   • Optimizaciones: Se implementaron el atado de pesos (weight tying) entre los embebidos y la cabeza de modelado de lenguaje, el chequeo de gradientes (gradient checkpointing) y capas lineales sin sesgo (bias-free).

4. Procedimiento de Entrenamiento:

   • Hardware: Una única GPU NVIDIA A10G (11 GB de VRAM) en una instancia de AWS EC2.
   • Configuración: El modelo fue entrenado durante un solo ciclo (epoch) sobre 1.460 millones de tokens (11.000 pasos del optimizador).
   • Técnicas: El flujo de trabajo utilizó optimización de precisión mixta (BF16), AdamW con decaimiento de tasa de aprendizaje de tipo coseno y ajustes de lote adaptativos de GPU (tamaño de lote efectivo de 128).

Resultados Clave

• Eficiencia de Entrenamiento: La ejecución de un solo ciclo completó en 13,12 horas, manteniendo un rendimiento de 31.405 tokens/segundo con un uso pico de memoria de GPU de 14,4 GB.
• Perplejidad: El modelo alcanzó una pérdida de entrenamiento final de 2,93, una perplejidad de validación de 25,6 y una perplejidad de prueba de 24,03. La brecha entre la pérdida de entrenamiento y la de validación (0,316 nats) sugiere que el modelo aún no se encuentra en un régimen de sobreajuste fuerte.
• Métricas de Generación: En el conjunto de prueba, el modelo alcanzó un BLEU-4 de 0,093, un ROUGE-L F1 de 0,189 y un BERTScore F1 de 0,837. Los autores señalan que los puntajes bajos de solapamiento de n-gramas son típicos para tareas creativas abiertas, mientras que el alto BERTScore indica plausibilidad semántica.
• Generación Cualitativa: Las generaciones condicionadas por la época demostraron que los tokens de control lograron dirigir al modelo hacia un vocabulario, sintaxis y temática apropiados para cada periodo sin necesidad de un prompt temático explícito. Por ejemplo, <ERA_EARLY> generó registros legales/bíblicos arcaicos, mientras que <ERA_MODERN> produjo escenas sociales contemporáneas.

Significancia y Limitaciones
El artículo posiciona a GutenbergLM como un punto de referencia reproducible para estudiar la relación entre la composición temporal del corpus de entrenamiento y el comportamiento estilístico, libre de los factores de confusión tópicos de los datos a escala web.

Los autores mantienen un tono modesto respecto a sus afirmaciones:

• Granularidad: La clasificación por épocas depende de una heurística tosca (año de nacimiento del autor), lo que puede no tener en cuenta los cambios estilísticos tardíos en la carrera o las obras traducidas.
• Brechas de Evaluación: El desglose cuantitativo de la perplejidad específica por época solo se registró para el subconjunto Modern; los subconjuntos Early y Middle carecen de métricas cuantitativas específicas en este informe.
• Alcance del Entrenamiento: El modelo fue entrenado por solo un ciclo. El esquema de tasa de aprendizaje se configuró para un horizonte más largo, lo que implica potencial para una mayor reducción de la perplejidad con un entrenamiento extendido.
• Escala: El estudio está limitado a un entorno de una sola GPU y una escala de parámetros inferior a 100 millones, aunque los autores señalan que el margen de memoria no utilizado sugiere potencial para tamaños de lote o longitudes de contexto mayores.

El trabajo no propone nuevas aplicaciones o cambios arquitectónicos, sino que establece un flujo de trabajo controlado para aislar la variable de "época" en el modelado de lenguaje.