💬 NLP

Stoicheia: Character-Level Masked Diffusion for Ancient Greek Textual Restoration, Parsing, and Metrical Scansion

Stoicheia es un modelo de difusión con máscara a nivel de caracteres de 405M de parámetros entrenado en un corpus de griego antiguo decontaminado que unifica la restauración de texto, el análisis sintáctico y el escaneo métrico en un único marco de trabajo, logrando un rendimiento de vanguardia en múltiples tareas al superar significativamente a sistemas previos como Ithaca y Aeneas.

Autores originales: Eric Cullhed, Albin Thörn Cleland

Publicado 2026-08-10

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Eric Cullhed, Albin Thörn Cleland

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una biblioteca donde los libros tienen miles de años, escritos en un lenguaje que ha evolucionado y cambiado a lo largo de milenios. Este es el mundo de la filología computacional, un campo donde los científicos de la computación se unen con historiadores y lingüistas para leer, restaurar y comprender textos antiguos. El desafío es que estos libros antiguos suelen estar dañados, les faltan páginas o están escritos en un flujo desordenado y continuo de letras sin espacios, comas o los pequeños signos de acentuación que usamos hoy en día. Para dar sentido a ellos, los investigadores utilizan modelos de IA —programas informáticos entrenados para predecir qué sigue en una secuencia, de forma muy parecida a como tu teléfono adivina la siguiente palabra que estás escribiendo—. Pero aquí está el truco: la mayoría de estos modelos de IA están entrenados en "subpalabras" (fragmentos de letras), lo que los hace malos para reparar diminutos agujeros letra por letra en tallas de piedra antiguas o rollos de papiro. También suelen "memorizar" los libros que han estudiado, lo que significa que no se puede confiar en ellos para resolver misterios en textos que no han visto antes. Este artículo plantea una pregunta simple pero vital: ¿Podemos construir una IA más inteligente y honesta que lea el griego antiguo letra por letra, comprenda la historia desordenada de cómo se escribió el texto y pueda resolver acertijos en documentos antiguos completamente nuevos que nunca ha encontrado?

Presentamos Stoicheia, un nuevo modelo de IA diseñado específicamente para ser el detective definitivo del griego antiguo. Piensa en él como un maestro restaurador que no solo mira un jarrón roto y adivina su forma; en su lugar, observa la arcilla, las grietas, la pintura y la forma en que las piezas encajan, todo al mismo tiempo.

El problema con la vieja IA

Antes de Stoicheia, las mejores herramientas de IA para el griego antiguo eran como estudiantes que se habían memorizado las respuestas de un examen específico. Si les preguntabas sobre un texto que habían estudiado, eran excelentes. Pero si les entregabas una inscripción nueva y dañada que nunca habían visto, podrían simplemente recitar un pasaje similar de memoria o confundirse. Además, estos modelos a menudo trataban las palabras como bloques únicos. Pero el daño antiguo no es ordenado; una grieta en una piedra podría cortar justo por la mitad de una palabra. Para solucionar esto, necesitas ver cada una de las letras, cada signo de acento y cada signo de puntuación individualmente.

Cómo funciona Stoicheia: El sándwich de cinco capas

Los creadores de Stoicheia construyeron un modelo con una arquitectura única de "sándwich de cinco capas". En lugar de ver solo una cadena de letras, el modelo ve cinco cosas diferentes sucediendo al mismo tiempo, perfectamente alineadas:

Las Letras: El alfabeto básico.
Los Límites: Dónde termina una palabra y comienza la siguiente (incluso si no hay espacios en el texto original).
Los Acentos: Las pequeñas marcas sobre las vocales que cambian la pronunciación.
El Uso de Mayúsculas: Qué letras son grandes y cuáles son pequeñas.
La Puntuación: Comas, puntos y otros signos de parada.

Imagina intentar reparar un mapa roto. Una IA normal podría intentar adivinar toda la ciudad faltante de una vez. Stoicheia, sin embargo, observa los bordes rotos, el color de la tinta, las líneas de la cuadrícula y la rosa de los vientos por separado, y luego los une todos. Esto le permite tomar un texto antiguo desordenado, sin espacios y sin acentos, y "restaurarlo" rellenando las piezas faltantes, añadiendo los acentos correctos y determinando dónde se rompen las oraciones, todo sin necesidad de ser reentrenado para cada tarea específica.

El entrenamiento "honesto": Nunca visto antes

Una de las partes más ingeniosas de este proyecto es cómo entrenaron a la IA para ser "honesta". Normalmente, los modelos de IA se entrenan con todo lo disponible, lo que significa que podrían haber memorizado la respuesta a un rompecabezas específico antes de que se lo presentes. Los investigadores querían estar seguros de que Stoicheia estaba realmente resolviendo el problema, no solo recordando la respuesta.

Para lograr esto, crearon once versiones diferentes del modelo. Tomaron su enorme biblioteca de 361 millones de palabras y la dividieron en diez grupos diferentes. Cada modelo fue entrenado con nueve grupos y probado con el décimo. Esto significa que para cualquier texto antiguo que les lances, hay al menos una versión de Stoicheia que nunca ha visto ese texto en toda su vida. Es como tener un equipo de diez detectives y, para cada escena del crimen, eliges al detective que nunca ha estado en ese vecindario antes. Esto garantiza que cuando el modelo resuelve un acertijo, lo está haciendo usando su cerebro, no su memoria.

Los resultados: Superando a los mejores

El equipo puso a prueba a Stoicheia de tres maneras principales, comparándola con los mejores sistemas existentes (como Ithaca y Aeneas) e incluso contra un modelo que comenzó con pesos aleatorios y "tontos" para ver cuánto ayudó realmente el entrenamiento.

Reparando piedras y pergaminos rotos: Cuando se le pidió rellenar letras faltantes en inscripciones y papiros dañados, Stoicheia fue un campeón. En una prueba estándar de 3,000 huecos, redujo la tasa de error al 15.5%, superando al mejor anterior (Ithaca), que estaba en el 24.6%. También acertó la "mejor respuesta" el 74.5% de las veces, frente al récord anterior del 63.0%. Aún más impresionante, cuando fue probado en documentos completamente nuevos que fueron editados después de que todos los demás modelos de IA terminaran su entrenamiento, Stoicheia siguió manteniéndose a la cabeza, demostrando que no estaba simplemente memorizando respuestas viejas.
Comprendiendo la gramática: El equipo también probó si Stoicheia podía entender la gramática del griego antiguo (etiquetar palabras y determinar cómo se relacionan entre sí). Aquí, superó a todos los demás modelos, incluidos aquellos entrenados con conjuntos de datos mucho más grandes. El hallazgo clave fue que el "pre-entrenamiento" (la fase masiva de aprendizaje) fue responsable de un gran salto en el rendimiento —unos 12.9 puntos mejor que un modelo que comenzó desde cero—. Esto demuestra que el "cerebro" del modelo estaba haciendo el trabajo pesado, no solo las herramientas específicas conectadas a él.
Leyendo el ritmo de la poesía: La poesía griega antigua depende de la longitud de las vocales (largas o cortas) para crear un ritmo, pero el texto escrito no muestra esto. Stoicheia fue capaz de descifrar estas longitudes ocultas con una precisión del 93.37%, superando a un sistema especializado basado en reglas que tuvo que "abstenerse" (rendirse) en el 40% de las palabras porque no estaba seguro. Stoicheia nunca se rindió.

Por qué esto es importante

El artículo concluye que Stoicheia es un punto de inflexión porque combina apertura (los datos y el código son públicos), precisión (funciona al nivel de la letra) e integridad (sabemos exactamente qué textos ha visto y cuáles no). Permite a los estudiosos mirar un texto antiguo dañado y preguntar: "¿Qué dice esto?", con la confianza de que la IA no está simplemente recitando la respuesta de un libro de texto que memorizó. Es una herramienta que nos permite leer el pasado con ojos frescos, asegurando que las historias de la antigua Grecia sean restauradas no por la memoria, sino por la comprensión.

Sin embargo, los autores advierten cuidadosamente que esto no es una varita mágica. El modelo es tan bueno como los datos con los que fue entrenado, y gran parte de esos datos fue "reparada" por otras herramientas de IA, lo que introduce un pequeño riesgo de errores. Además, el modelo siempre da una respuesta, incluso cuando podría no estar seguro, lo que significa que los expertos humanos todavía deben verificar el trabajo. Pero por primera vez, tenemos un sistema que puede abordar estos misterios antiguos con un nivel de honestidad y precisión que antes era imposible.

Resumen Técnico: Stoicheia

Planteamiento del Problema

La investigación computacional sobre el griego antiguo enfrenta cuatro limitaciones críticas en los enfoques neuronales actuales:

Datos Cerrados: Los corpus de alta calidad (p. ej., TLG) suelen estar sujetos a licencias restrictivas, e incluso los esfuerzos de preentrenamiento abiertos (p. ej., GreBERTa, Logion) frecuentemente omiten sus datos de entrenamiento, lo que impide la reproducibilidad y la verificación de la contaminación de datos.
Tokenización de Subpalabras: Los vocabularios estándar de subpalabras no logran alinearse con las tareas filológicas que requieren precisión a nivel de carácter, como la medición de lagunas en letras o la determinación de cantidades métricas en sílabas.
Capas Editoriales: Los modelos entrenados en ediciones modernas ingieren texto acentuado, puntuado y dividido como verdad fundamental (ground truth), codificando de forma rígida siglos de interpretación editorial, lo que dificulta la interrogación de la transmisión pura de los signos.
Memorización: No se puede garantizar que los modelos de propósito general entrenados en todo el corpus superviviente carezcan de pasajes específicos "no vistos", lo que los hace inadecuados para reconstruir textos dañados donde la ignorancia del modelo debe ser demostrable para evitar el razonamiento circular.

Metodología

Construcción de Datos

Los autores construyeron un corpus de preentrenamiento abierto y con versiones fijas (revision-pinned) de aproximadamente 361 millones de palabras derivado de nueve fuentes, incluyendo volúmenes de Internet Archive, PleIAs Greek-PD y Opera Graeca Adnotata.

Niveles de Calidad: El texto fue procesado mediante un flujo de normalización y asignado a niveles según su limpieza. Un nivel "prístino" (~~90M de palabras) se lanzó intacto. Un nivel "reparado" (~~271M de palabras) fue reconstruido utilizando un LLM ajustado por instrucciones (Qwen3.6-27B) restringido a corregir únicamente confusiones de OCR bien atestiguadas y a descartar en lugar de fabricar.
Aumentación Sintética: Se creó un nivel "bronze" de ~1.4 mil millones de caracteres mediante la traducción automática de fondos latinos de Corpus Corporum al griego antiguo.
Decontaminación: Para asegurar una ignorancia demostrable, los autores implementaron un flujo de 13 etapas para agrupar registros por identidad de obra y excluir cualquier texto de los pliegues de entrenamiento que apareciera en los conjuntos de prueba reservados, garantizando que, para cualquier pasaje dado, al menos un modelo liberado nunca lo haya visto.

Arquitectura del Modelo: Stoicheia

Stoicheia es un Transformer de difusión de máscara a nivel de carácter con 405 millones de parámetros.

Factorización de Entrada: A diferencia de los modelos de subpalabras, la entrada se factoriza en cinco planos alineados e independientemente enmascarables:
1. Identidad de la letra base (alfabeto de 24 símbolos).
2. Límites de palabra y oración.
3. Diacríticos (acento, espíritu, iota subscript, diéresis).
4. Capitalización.
5. Categorías de puntuación.
Detalles de la Arquitectura: El modelo utiliza una profundidad de 32, $d_{model}=1024$ , y QK-norm. La atención es en bandas: tres de los cuatro bloques atienden dentro de una ventana de 256 caracteres, mientras que el cuarto atiende globalmente.
Objetivo de Entrenamiento: El modelo emplea un objetivo de difusión discreta. Las secuencias de entrenamiento se corrompen a una tasa $t$ extraída de una distribución Beta recortada. Los patrones de corrupción imitan daños reales, incluyendo extensiones contiguas que ignoran los bordes de las palabras, palabras completas y enmascaramiento elástico (donde un intervalo de longitud $L$ es reemplazado por $M \ge L$ ranuras de máscara, enseñando el rellenado de longitud variable).
Régimen de Preentrenamiento: El entrenamiento involucra un calentamiento (warmup), una tasa de aprendizaje máxima constante y un decaimiento de coseno. Un proceso de recocido (annealing) por etapas reduce el peso de los datos sintéticos y etiquetados por reglas a lo largo del tiempo, terminando solo con datos de oro (gold data).

Checkpoints

Los autores liberaron once checkpoints:

Diez Pliegues Rotados: Stoicheia_fold_0 a través de fold_9, que representan divisiones rotadas de 80/10/10 del corpus literario. Esto garantiza que, para cualquier pasaje específico, al menos un modelo nunca lo ha visto de forma demostrable.
Un Modelo de Documentos Limpios: Stoicheia_doc_clean, que excluye todas las inscripciones, papiros y cualquier texto que cite los mismos, sirviendo como una base libre de fugas para el trabajo epigráfico y papirológico.

Diseño Experimental

El artículo evalúa Stoicheia a través de tres tareas, cada una emparejada con un control de inicialización aleatoria coincidente. Este diseño aisla la contribución específica del preentrenamiento al entrenar tanto el brazo preentrenado como el de inicialización aleatoria bajo recetas idénticas. La significancia se evalúa mediante pruebas pareadas (permutación de inversión de signo, prueba exacta de McNemar).

Resultados Clave

1. Reconstrucción Documental (Inscripciones y Papiros)

Rendimiento: En la división de prueba propia de Ithaca (3,000 muestras congeladas), Stoichia v2 logró un Error de Carácter (CER) de 15.5, superando significativamente a Ithaca (24.6) y al marco Aeneas de 2025 (23.5).
Precisión: La precisión Top-1 ascendió al 74.5%, comparado con el 63.0% de Ithaca y el 64.0% de Aeneas.
Generalización: En documentos editados recientemente (editados después de los cortes de entrenamiento de todos los sistemas), Stoicheia redujo el error de carácter entre un 31 y 36% frente a las líneas de base de inscripciones y un 12.4% frente a un Llama de 8B ajustado por instrucciones en papiros.
Impacto del Preentrenamiento: Reemplazar el esqueleto preentrenado con un control de inicialización aleatoria en la receta de v1 aumentó el CER en 5.64 puntos en inscripciones y 3.42 en papiros.

2. Etiquetado Morfosintáctico y Análisis de Dependencias

Rendimiento: Stoicheia logró un 83.81 LAS (Puntuación de Adjunción Etiquetada) en la división de treebank de Celano (2025).
Comparación: Esto superó al más fuerte basel de subpalabras ajustado (PhilBERTa con 82.89 LAS) y excedió significativamente a todos los otros codificadores externos (p. ej., Logion, XLM-R, mBERT).
Impacto del Preentrenamiento: La brecha entre el modelo preentrenado (83.89 LAS) y el control de inicialización aleatoria (71.00 LAS) al alcanzar la convergencia fue de 12.9 LAS, demostrando que el preentrenamiento contribuye sustancialmente más allá de la capacidad arquitectónica.

3. Macronización y Escansión Métrica

Macronización: Stoicheia alcanzó una precisión del 93.37% en el benchmark Norma, superando a un transformador de caracteres dedicado (90.55%) y a un sistema basado en reglas (que se abstuvo en el 40% de los casos).
Escansión: El modelo alcanzó una precisión equilibrada del 89.74% para la escansión de peso silábico.
Impacto del Preentrenamiento: El preentrenamiento contribuyó con +6.0 puntos de precisión equilibrada a la macronización. Los autores señalan que la escansión es mayormente computable a partir de la ortografía (los modelos de inicialización aleatoria funcionan bien), pero la macronización requiere conocimiento léxico y morfológico que solo el preentrenamiento proporciona.

Significancia y Reivindicaciones

El artículo argumenta que Stoicheia aborda los cuatro desiderata de la filología digital:

Apertura: Proporciona un corpus abierto y con versiones fijas y código, a diferencia de los sistemas anteriores de vanguardia.
Resolución a Nivel de Carácter: Al operar directamente sobre caracteres con planos independientes, maneja tareas (lagunas, métrica) que la tokenización de subpalabras no puede soportar naturalmente.
Capas Editoriales Separables: La entrada de múltiples planos permite al modelo procesar scriptio continua sin acentos o texto totalmente editado sin codificar decisiones editoriales.
Ignorancia Garantizada: Los checkpoints de pliegues rotados y de documentos limpios aseguran que, para cualquier texto dado, existe un modelo que provablemente nunca lo ha visto, eliminando la circularidad en las tareas de reconstrucción.

Los autores concluyen que las mejoras de rendimiento observadas en los tres experimentos son atribuibles al preentrenamiento en sí mismo, más que a la capacidad del modelo o la receta, como lo evidencia el control de inicialización aleatoria coincidente. Esto permite a los editores interrogar la tradición con un modelo que no puede estar "recordando" el texto, ofreciendo un nuevo paradigma para la restauración y el análisis textual.