Resumen Técnico: ¿Qué tan sorprendente es el italiano histórico para los modelos de lenguaje?

Planteamiento del problema

Los grandes modelos de lenguaje (LLM) se están integrando cada vez más en los flujos de trabajo de las bibliotecas digitales para tareas como la corrección post-OCR, la indexación y la recuperación de información. Sin embargo, la capacidad de estos modelos para procesar lenguajes históricos es aún poco comprendida. Las evaluaciones actuales suelen tratar la "dificultad histórica" como una barrera monolítica, conllevando tres factores distintos: variación ortográfica, distancia lingüística y exposición durante el preentrenamiento. Esta confluencia oscurece si los modelos tienen dificultades debido a ineficiencias mecánicas de codificación (tokenización) o a déficits genuinos de comprensión (incertidumbre predictiva). Además, la dependencia de textos históricos canónicos (por ejemplo, I Promessi Sposi de Manzoni) como puntos de referencia puede arrojar resultados excesivamente optimistas debido a la alta exposición en los corpus de entrenamiento, fallando en representar los desafíos planteados por materiales de archivo no canónicos y no estandarizados.

Metodología

Los autores proponen un marco de diagnóstico que descompone la dificultad histórica en cuatro dimensiones distintas:

1. Costo de Tokenización: Medir la "inflación de tokens" (el aumento relativo en el recuento de tokens en comparación con una base modernizada) para cuantificar la ineficiencia de codificación.
2. Incertidumbre Predictiva (Surprisal): Medir la perplejidad ($PPL$) para evaluar la incertidumbre del modelo en la predicción del siguiente token, sirviendo como un proxy de la dificultad de comprensión.
3. Robustez Semántica: Calcular la similitud de coseno entre los embeddings de pares de oraciones históricas y modernas para determinar si las formas superficiales arcaicas se mapean en espacios semánticos estables.
4. Sensibilidad al Contexto: Evaluar el impacto de prompts de contexto temporal mínimo (por ejemplo, "texto italiano de 1687") en la reducción de la perplejidad.

Datasets:
El estudio evalúa tres conjuntos de datos que abarcan tres siglos para aislar fuentes específicas de dificultad:

• Italiano del siglo XVII (1610–1689): Un corpus recientemente curado de cinco textos no canónicos (tratados religiosos, prosa académica, etc.) digitalizados a partir de imágenes de páginas originales. Este dataset presenta ortografía arcaica (por ejemplo, la s larga ſ), sintaxis influenciada por el latín y una baja probabilidad de exposición de lectura verbatim en el preentrenamiento.
• Italiano del siglo XIX (I Promessi Sposi, edición Quarantana): Una condición de control de alta exposición. Como texto canónico, sirve como una línea de base de "mejor caso" para ilustrar el comportamiento del modelo cuando la ortografía está estandarizada y la familiaridad léxica es alta.
• Libros de imprenta civil rusa del siglo XVIII: Una prueba de estrés contrastiva que presenta una divergencia ortográfica extrema (caracteres obsoletos como yat, fita) pero con una distancia léxica y sintáctica comparativamente limitada respecto al ruso moderno.

Modelos:

• Tokenización: Tokenizadores o200k_base (familia GPT-4o/5) y Qwen 2.5.
• Perplejidad: Qwen 2.5-1.5B (checkpoint base) para asegurar distribuciones de probabilidad puras.
• Embeddings: OpenAI text-embedding-3-large, Google LaBSE y estados ocultos de Qwen 2.5-1.5B.

Resultados Clave

1. Disociación entre Costo de Codificación y Comprensión

El estudio revela un desacoplamiento distintivo entre la eficiencia de la tokenización y la dificultad predictiva.

• Impuesto de Tokenización: Tanto el ruso del siglo XVIII como el italiano del siglo XVII incurren en penalizaciones de tokenización comparables (una inflación de aproximadamente 25–30%). En el ruso, esto es impulsado por el fallback a nivel de bytes para caracteres obsoletos; en el italiano, es impulsado principalmente por la s larga (ſ), que causa fragmentación de subpalabras a pesar de estar presente en el vocabulario.
• Dificultad Predictiva: A pesar de costos de codificación similares, las razones de perplejidad divergen drásticamente.
  • Ruso: Muestra solo un aumento modesto en la perplejidad (1.25× la base moderna), lo que indica que la disrupción ortográfica por sí sola no confunde significativamente las capacidades predictivas del modelo.
  • Italiano del siglo XVII: Es, en promedio, 2.4 veces más sorprendente que su equivalente moderno, con la prosa académica alcanzando un 3.2×.
• Conclusión: El costo de la tokenización es un mal proxy de la complejidad histórica. Una alta inflación de tokens no implica necesariamente una alta dificultad de comprensión, y viceversa.

2. El Género y el Registro Superan a la Cronología

La dificultad histórica no es una función lineal del tiempo.

• Dentro del corpus del siglo XVII, el texto más difícil (Prefacio Académico, 1687) y el más fácil (Retratos Descriptivos, 1689) fueron publicados con solo dos años de diferencia.
• El texto académico exhibió una razón de perplejidad de 3.22×, mientras que el texto descriptivo fue de 1.81×.
• Hallazgo: El registro (por ejemplo, la fragmentación estructural en la prosa académica frente a la redundancia rítmica en la narrativa teológica) es un determinante de la capacidad del modelo más fuerte que la edad cronológica. Los textos canónicos del siglo XIX se comportan como líneas de base de alta exposición, enmascarando los desafíos estructurales de los materiales no canónicos.

3. Robustez Semántica a pesar de la Inestabilidad Generativa

Una alta perplejidad no implica degradación representacional.

• La similitud de los embeddings entre oraciones históricas y modernas se mantiene robusta en todos los datasets (Similitud de Coseno $\ge$ 0.85).
• El modelo Qwen 2.5 alcanzó una similitud de 0.938 para el italiano del siglo XVII, a pesar de la alta perplejidad observada en las tareas de generación.
• Implicación: Los modelos pueden mapear con éxito las formas superficiales arcaicas al espacio semántico correcto, incluso cuando carecen de la confianza probabilística para generarlas token por token.

4. Mitigación mediante Contexto Temporal

Una intervención mínima y agnóstica al modelo reduce significativamente la dificultad.

• Preceder un prompt de contexto temporal corto (por ejemplo, "texto italiano de 1687") redujo la sorpresa histórica en aproximadamente un 60% para el italiano del siglo XVII.
• El efecto fue menos pronunciado para el ruso (reducción del 17%), lo que sugiere que el priming de contexto es más crítico para textos con alta divergencia distributiva (deriva léxica/sintáctica) que para aquellos con ruido principalmente ortográfico.

Significancia y Reivindicaciones

El artículo argumenta que la "dificultad histórica" no es un problema único e insoluble, sino un componente de factores que interactúan y que deben evaluarse por separado:

1. Métricas Desacopladas: El estudio demuestra que la eficiencia de la tokenización (un impuesto mecánico) no está correlacionada con la robustez semántica. Las bibliotecas digitales pueden desplegar con seguridad los LLM para tareas de recuperación semántica (búsqueda, clustering, clasificación), incluso cuando se trata de textos que incurren en altos costos de tokenización y alta perplejidad, ya que los modelos mantienen representaciones internas estables.
2. Validez de los Benchmarks: La dependencia de textos canónicos de alta exposición (como Manzoni) conduce a una subestimación sistemática de los desafíos planteados por la "larga cola" de los materiales de archivo. Las evaluaciones deben incluir textos no canónicos y no estandarizados para evaluar con precisión la idoneidad del modelo.
3. Despliegue Estratégico:
   • Recuperación: Puede desplegarse con una normalización mínima, ya que la alineación semántica permanece alta.
   • Generación: Las tareas como la corrección de OCR o el resumen siguen siendo sensibles a la alta sorpresa y requieren estrategias de mitigación específicas.
4. Mitigación Rentable: Los autores demuestran que el prompting temporal simple es una estrategia altamente efectiva y sin costo para cerrar la brecha entre las expectativas del modelo y los registros históricos, reduciendo el error predictivo a más de la mitad sin necesidad de fine-tuning o una normalización de texto agresiva.

En conclusión, el artículo aboga por un cambio en los marcos de evaluación: pasar de métricas superficiales como el recuento de tokens a distinguir entre el costo mecánico de la codificación, la incertidumbre de la predicción y la estabilidad de la representación semántica. Esto permite a las bibliotecas digitales aprovechar los LLM eficazmente como "lectores capaces" de la historia, incluso si aún no son "hablantes perfectos" de ella.