💬 NLP

Loci Similes: A Benchmark for Extracting Intertextualities in Latin Literature

Este artículo presenta "Loci Similes", un conjunto de datos de referencia de 545 paralelos verificados por expertos entre autores latinos de la Antigüedad tardía y clásicos, diseñado para superar la escasez de recursos estandarizados para el entrenamiento y la evaluación de modelos de lenguaje de gran tamaño en la detección de intertextualidades.

Autores originales: Julian Schelb, Michael Wittweiler, Marie Revellio, Barbara Feichtinger, Andreas Spitz

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Julian Schelb, Michael Wittweiler, Marie Revellio, Barbara Feichtinger, Andreas Spitz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio en una biblioteca gigante y antigua. ¿El misterio? Averiguar qué historias antiguas fueron copiadas secretamente, retocadas o susurradas por escritores posteriores. En el mundo de la literatura latina, esto se llama "intertextualidad". Durante siglos, los eruditos tuvieron que leer miles de pergaminos polvorientos a mano, confiando en su memoria para detectar cuándo un escritor como Jerónimo (un monje cristiano) estaba tomando prestada secretamente una frase genial de Virgilio (un poeta pagano).

Pero este es el problema: los escritores no solo hacían copiar y pegar. Cambiaban el orden de las palabras, intercambiaban sinónimos o escondían la referencia tan bien que una simple herramienta de "buscar esta palabra" no la detectaría. Es como intentar encontrar una canción específica en una lista de reproducción simplemente tarareando algunas notas, pero el cantante cambió ligeramente el tempo y la letra.

Entra en escena Loci Similes, una nueva herramienta digital creada por un equipo de científicos de la computación y expertos en latín para ayudar a resolver esto. Piensa en ello como una "hoja de trucos" masiva y súper organizada para la biblioteca.

La Gran Biblioteca y la Hoja de Trucos

El equipo construyó un conjunto de datos que contiene unos 176.000 fragmentos pequeños de texto. Los dividieron en dos montones:

El montón de "Consulta" (Query): Textos escritos más tarde (por autores como Jerónimo, Lactancio y Valerio Flaco).
El montón de "Fuente" (Source): Textos escritos anteriormente (clásicos como Cicerón, Virgilio, Ovidio y Horacio).

Para asegurarse de que sus herramientas informáticas realmente estaban aprendiendo, crearon una hoja de trucos de "verdad fundamental" (ground truth). Esta hoja contiene 1.490 conexiones específicas que expertos humanos verificaron como reales. Es como tener una clave de respuestas donde los expertos dijeron: "Sí, esta frase en el libro de Jerónimo es definitivamente un guiño a esta frase en el libro de Virgilio".

La Gran Carrera de Computadoras

Los investigadores se preguntaron: ¿Pueden las computadoras encontrar estas conexiones ocultas mejor que las herramientas de búsqueda tradicionales?

Organizaron una carrera con tres tipos de modelos computacionales:

El "Contador de Palabras" (Modelos Léxicos): Estos buscan palabras exactas o raíces de palabras. Son como un bibliotecario que solo comprueba si aparecen las mismas palabras exactas en ambos libros.
El "Pensador Profundo" (Modelos Neuronales Densos): Utilizan IA avanzada para entender el significado de una oración, incluso si las palabras son diferentes. Son como un detective que entiende la vibra de una historia.
El "Equipo de Dos Pasos" (Recuperación y Reclasificación - Retrieve-and-Rerank): Este equipo primero utiliza al "Contador de Palabras" para obtener una lista corta de sospechosos, luego utiliza al "Pensador Profundo" para verificarlos.

Lo Que Encontraron (El Giro de la Trama)

Aquí es donde la historia se pone interesante, porque los resultados no fueron lo que todos esperaban.

1. El "Pensador Profundo" no ganó la primera ronda.
Podrías pensar que la IA sofisticada que entiende el significado sería la mejor para encontrar referencias ocultas. Pero el artículo sugiere que para el latín, el viejo "Contador de palabras" (específicamente un método llamado BM25 usando lemas, que son las formas de diccionario de las palabras) en realidad hizo un mejor trabajo en la primera etapa.

¿Por qué? El latín es un idioma con terminaciones de palabras locas que cambian según la gramática. La IA sofisticada a veces se confundía con estos cambios, mientras que el "Contador de palabras" era bueno eliminándolos para encontrar la palabra central.
El Resultado: El "Contador de palabras" encontró alrededor del 78% de las copias directas, palabra por palabra (referencias verbatim), cuando buscaba entre los 100 candidatos principales. Los modelos de IA sofisticados estuvieron cerca, pero no lo superaron.

2. El "Pensador Profundo" es necesario para lo difícil.
Aunque el "Contador de palabras" era excelente para encontrar copias exactas, falló estrepitosamente al encontrar alusiones (pistas sutiles donde el significado es similar pero las palabras son totalmente diferentes).

El Problema: Si Jerónimo escribió una frase que se sentía como la de Virgilio pero usó palabras completamente diferentes, el "Contador de palabras" veía cero conexión.
La Solución: El "Pensador Profundo" (específicamente un modelo llamado XLM-R Large) fue mucho mejor para detectar estas conexiones sutiles de baja superposición. Podía decir: "Oye, aunque las palabras son diferentes, estas dos oraciones están hablando de la misma sensación aterradora".

3. La Estrategia Ganadora: El Equipo de Dos Pasos.
El artículo sugiere que la mejor manera de resolver el misterio no es elegir un solo detective, sino usar un equipo.

Paso 1: Usar el "Contador de palabras" para escanear toda la biblioteca y extraer los 100 sospechosos más probables para cada consulta.
Paso 2: Entregar esa lista corta al "Pensador Profundo" para decidir cuáles son referencias reales y cuáles son solo coincidencias.
El Resultado: Este enfoque de equipo logró recuperar el 63% de las verdaderas referencias ocultas mientras reducía la lista de cosas que un erudito humano tendría que leer en un 97%. Es como convertir un pajar de un millón de agujas en una pequeña cesta de 1.900 agujas, haciendo el trabajo mucho más fácil.

Lo Que el Artículo Descarta

Los autores son muy claros sobre lo que no funciona bien:

Usar solo la IA sofisticada no es suficiente. Si dependes solo del "Pensador Profundo" sin un buen primer filtro, pierdes muchas conexiones.
Usar solo la coincidencia de palabras simple no es suficiente. Si solo buscas palabras exactas, te pierdes las referencias sutiles y clever que son la parte más interesante de la investigación.
No es un problema "resuelto". El artículo establece explícitamente que encontrar estos vínculos sutiles sigue siendo "desafiante". La IA es buena, pero todavía comete errores, especialmente cuando la conexión es muy corta o las palabras son muy diferentes.

La Conclusión

El artículo sugiere que, si bien la IA es una herramienta poderosa para estudiar la literatura antigua, no es una varita mágica que lo resuelve todo instantáneamente. El mejor enfoque en este momento es uno híbrido: usar herramientas simples y rápidas para reducir la búsqueda, y luego usar herramientas de aprendizaje profundo y de inteligencia para tomar la decisión final.

Los autores admiten que su conjunto de datos no es perfecto (no contiene cada conexión que haya existido jamás) y que definir qué cuenta como una "referencia" puede ser complicado incluso para los humanos. Pero con 1.490 ejemplos verificados por expertos y un nuevo punto de referencia llamado Loci Similes, han dado a los futuros investigadores un punto de partida sólido para construir herramientas aún mejores. El misterio de la biblioteca antigua todavía se está resoliendo, pero ahora tenemos una linterna mucho mejor.

Resumen Técnico: Loci Similes: Un Benchmark para la Extracción de Intertextualidades en la Literatura Latina

Planteamiento del Problema
Rastrear las conexiones intertextuales en la literatura latina es una tarea fundamental en la filología clásica, esencial para reconstruir la "biblioteca virtual" de un autor y comprender la recepción cultural, particularmente en la Antigüedad Tardía, donde los autores cristianos recontextualizaron textos paganos. Sin embargo, la detección automatizada sigue estando limitada por la escasez de benchmarks estandarizados y conjuntos de datos accesibles. Los métodos existentes suelen depender de la coincidencia exacta de $n$ -gramas o de filtrados heurísticos, los cuales no logran capturar alusiones sutiles, paráfrasis y variaciones morfológicas que no comparten un vocabulario superficial significativo. Si bien los modelos de lenguaje ofrecen el potencial de capturar la similitud semántica más allá de la superposición léxica, su desarrollo para este dominio específico se ve obstaculizado por la falta de datos de verdad de terreno curados y verificados por expertos.

Metodología
Los autores presentan Loci Similes, un benchmark exhaustivo diseñado para evaluar enfoques computacionales para la detección de la intertextualidad latina. La metodología involucra tres componentes principales:

Construcción del Conjunto de Datos:
- Corpus: El conjunto de datos comprende $\sim$ 176,000 segmentos de texto divididos en un Corpus de Consulta (autores posteriores: Jerónimo, Lactancio y Valerio Flaco) y un Corpus de Fuente (autores canónicos anteriores: Cicerón, Virgilio, Ovidio, etc.).
- Verdad de Terreno (Ground Truth): Se construyó un conjunto de datos fusionado de 1,490 vínculos intertextuales verificados por expertos, combinando 545 referencias nuevas curadas con 945 referencias etiquetadas de un estudio previo (Burns et al., 2021).
- Esquema de Anotación: Los vínculos se clasifican en tres categorías: Sin Coincidencia (No Match), Referencia Verbatim (cit.) (que incluye el uso marcado, no marcado y parafraseado) y Alusión (cf.) (ecos temáticos o estilísticos con baja superposición léxica). La anotación fue realizada por cuatro expertos en literatura latina utilizando criterios basados en vocabulario poco común, frecuencia atestiguada y función de conducto.
Configuración Experimental:
- Tareas: El estudio evalúa tres familias de métodos: (i) Solo Recuperación (clasificación de segmentos de la fuente), (ii) Solo Clasificación (distinción de tipos de coincidencia en un conjunto de candidatos fijo) y (iii) flujos de trabajo de Recuperación y Reclasificación (Retrieve-and-Rerank).
- Modelos:
  - Recuperadores (Retrievers): Métodos léxicos dispersos (TF-IDF, BM25 con tokens superficiales y lemas), incrustaciones de palabras (Word2Vec, LatinBERT) y bi-codificadores densos (modelos multilingües como BGE-M3, E5 y el específico de latín SPhilBERTa).
  - Clasificadores: Baselines léxicos (LogReg, GBDT) y transformadores de codificador cruzado (cross-encoders) (mmBERT, XLM-R, mBERT y variantes específicas de latín).
- Evaluación: El estudio utiliza validación cruzada de 5 pliegues con escenarios de recuperación realistas (consulta frente a distractores dentro del mismo dominio). Las métricas incluyen Recall@k, Precisión, Recall, F1 y tasas de error (SMR, FPR, FNR).

Contribuciones Clave

Benchmark Curado: La publicación de un conjunto de datos que contiene $\sim$ 176k segmentos y 1,490 vínculos etiquetados, distinguiendo entre referencias verbatim y alusiones, abordando un vacío crítico en los recursos estandarizados para la intertextualidad latina.
Marco de Evaluación: Una alineación de la evaluación computacional con los flujos de trabajo filológicos prácticos, probando específicamente la capacidad de detectar alusiones sutiles junto con citas directas.
Resultados de Referencia (Baselines): Resultados de referencia exhaustivos para modelos de recuperación y clasificación, estableciendo una base para la futura investigación comparativa.

Resultos

Rendimiento de Recuperación: Contrario a las tendencias en el PLN general, los métodos léxicos dispersos superaron a los recuperadores neuronales densos. Específicamente, BM25 con unigramas lematizados logró el mejor Recall@100 (0.78 para verbatim, 0.58 para alusiones). Los codificadores densos multilingües (ej. BGE-M3) funcionaron mejor que los baselines específicos de latín, pero aun así se quedaron atrás de los métodos léxicos.
Rendimiento de Clasificación: Los transformadores de codificador cruzado superaron significativamente a los clasificadores léxicos, particularmente para las alusiones. XLM-R Large logró el mejor F1 para referencias verbatim (0.76), mientras que mmBERT funcionó mejor para alusiones (F1 0.13), aunque la detección de alusiones siguió siendo un desafío con una precisión baja.
Pipeline de Recuperación y Reclasificación (Retrieve-and-Rerank): Combinar la recuperación por BM25 con un reclasificador de codificador cruzado produjo los resultados más prácticos. En $k=100$ , el pipeline recuperó el 63% de las referencias intertextuales reales mientras reducía el conjunto de candidatos en un 97% en comparación con los baselines de solo recuperación, estrechando significativamente el alcance para la inspección humana.
Análisis de Errores: El rendimiento está fuertemente correlacionado con la superposición léxica para las referencias verbatim, pero se desacopla para las alusiones. Los falsos positivos surgen a menudo de frases genéricas de alta superposición (ej. omnia timeo), mientras que los falsos negativos ocurren cuando las alusiones cortas y de baja superposición se pierden en los embeddings de oraciones (sentence embeddings).

Significancia y Reivindicaciones
El artículo sostiene que, si bien los modelos de lenguaje ofrecen un camino prometedor para detectar la similitud semántica en latín, el desafío principal sigue siendo distinguir el uso significativo de la coincidencia léxica accidental. Los autores afirman que:

Los enfoques híbridos son necesarios: La rica morfología de los fragmentos latinos bajo los tokenizadores de subpalabras otorga una ventaja a los métodos dispersos basados en lemas durante la etapa de recuperación.
Los modelos neuronales sobresalen en el matiz: Los codificadores cruzados proporcionan una ventaja distintiva sobre los clasificadores léxicos para la detección de alusiones sutiles donde las características léxicas fallan.
Limitaciones actuales: Detectar paralelos cortos y de baja superposición sigue siendo difícil. Los autores sugieren que el trabajo futuro debería explorar el emparejamiento a nivel de token (recuperadores de interacción tardía) y el análisis a nivel de span para recuperar señales perdidas en el pooling de nivel de oración.

El estudio concluye que Loci Similes proporciona una infraestructura necesaria para avanzar en la investigación de la intertextualidad, pero se requieren desarrollos arquitectónicos adicionales para automatizar plenamente la detección de ecos sutiles y recontextualizados en la literatura latina.