Loci Similes: A Benchmark for Extracting Intertextualities in Latin Literature

Immagina di essere un detective che cerca di risolvere un mistero in una gigantesca, antica biblioteca. Il mistero? Capire quali vecchie storie sono state segretamente copiate, modificate o sussurrate da scrittori successivi. Nel mondo della letteratura latina, questo viene chiamato "intertestualità". Per secoli, gli studiosi hanno dovuto leggere migliaia di polverosi rotoli a mano, affidandosi alla memoria per notare quando uno scrittore come Girolamo (un monaco cristiano) stesse segretamente prendendo in prestito una frase accattivante da Virgilio (un poeta pagano).

Ma ecco il problema: gli scrittori non si limitavano a fare copia-incolla. Cambiavano l'ordine delle parole, sostituivano i sinonimi o nascondevano il riferimento così bene che uno strumento di semplice "ricerca per parola" li avrebbe mancati. È come cercare di trovare una canzone specifica in una playlist semplicemente canticchiando qualche nota, ma il cantante ha cambiato il tempo e il testo leggermente.

Entra in scena Loci Similes, un nuovo strumento digitale creato da un team di scienziati informatici ed esperti di latino per aiutare a risolvere questo enigma. Consideralo come un enorme, super-organizzato "foglio di trucchi" per la biblioteca.

La Grande Biblioteca e il Foglio di Trucchi

Il team ha costruito un dataset contenente circa 176.000 piccoli frammenti di testo. Li ha divisi in due pile:

1. La pila "Query": Testi scritti successivamente (da autori come Girolamo, Lattanzio e Valerio Flacco).
2. La pila "Source": Testi scritti precedentemente (da classici come Cicerone, Virgilio, Ovidio e Orazio).

Per assicurarsi che i loro strumenti informatici stessero effettivamente imparando, hanno creato un foglio di trucchi di "verità di base" (ground truth). Questo foglio contiene 1.490 connessioni specifiche che gli esperti umani hanno verificato come reali. È come avere un foglio delle risposte dove gli esperti hanno detto: "Sì, questa frase nel libro di Girolamo è sicuramente un richiamo a questa frase nel libro di Virgilio".

La Grande Corsa dei Computer

I ricercatori si sono chiesti: I computer riescono a trovare queste connessioni nascoste meglio dei vecchi strumenti di ricerca?

Hanno organizzato una gara con tre tipi di modelli informatici:

1. Il "Contatore di Parole" (Modelli Lessicali): Questi cercano parole esatte o radici di parole. Sono come un bibliotecario che controlla solo se le stesse esatte parole appaiono in entrambi i libri.
2. Il "Pensatore Profondo" (Modelli Neurali Densi): Utilizzano un'IA avanzata per comprendere il significato di una frase, anche se le parole sono diverse. Sono come un detective che comprende la vibrazione di una storia.
3. La "Squadra in Due Fasi" (Retrieve-and-Rerank): Questa squadra usa prima il "Contatore di Parole" per estrarre una breve lista di sospettati, poi usa il "Pensatore Profondo" per ricontrollarli.

Cosa Hanno Scoperto (Il Colpo di Scena)

Ecco dove la storia si fa interessante, perché i risultati non sono stati quelli che tutti si aspettavano.

1. Il "Pensatore Profondo" non ha vinto il primo round.
Potresti pensare che la sofisticata IA che comprende il significato sarebbe la migliore nel trovare riferimenti nascosti. Ma il documento suggerisce che, per il latino, il vecchio stile "Contatore di Parole" (specificamente un metodo chiamato BM25 usando i lemmi, ovvero le forme di dizionario delle parole) è stato in realtà più efficace nella prima fase.

• Perché? Il latino è una lingua con desinenze folli che cambiano in base alla grammatica. La sofisticata IA a volte si confondeva con questi cambiamenti, mentre il "Contatore di Parole" era bravo a spogliarle per trovare la parola centrale.
• Il Risultato: Il "Contatore di Parole" ha trovato circa il 78% delle copie dirette, parola per parola (riferimenti verbali), quando cercava tra i primi 100 candidati. I modelli di IA sofisticati erano vicini, ma non l'hanno battuto.

2. Il "Pensatore Profondo" è necessario per le cose difficili.
Sebbene il "Contatore di Parole" fosse ottimo nel trovare copie esatte, falliva miseramente nel trovare gli allusioni (sottili indizi dove il significato è simile ma le parole sono totalmente diverse).

• Il Problema: Se Girolamo scriveva una frase che sembrava quella di Virgilio ma usava parole completamente diverse, il "Contatore di Parole" vedeva zero connessione.
• La Soluzione: Il "Pensatore Profondo" (specificamente un modello chiamato XLM-R Large) era molto più bravo a individuare queste connessioni sottili a bassa sovrapposizione. Poteva dire: "Ehi, anche se le parole sono diverse, queste due frasi stanno parlando della stessa sensazione spaventosa".

3. La Strategia Vincente: La Squadra in Due Fasi.
Il documento suggerisce che il modo migliore per risolvere il mistero non è scegliere un solo detective, ma usarne una squadra.

• Fase 1: Usa il "Contatore di Parole" per scansionare l'intera biblioteca e tirare fuori i 100 sospettati più probabili per ogni query.
• Fase 2: Consegna quella lista ristretta al "Pensatore Profondo" per decidere quali siano riferimenti reali e quali siano solo coincidenze.
• Il Risultato: Questo approccio a squadra è riuscito a recuperare il 63% dei veri riferimenti nascosti, riducendo al contempo la lista di cose che uno studatore umano avrebbe dovuto leggere del 97%. È come trasformare un pagliaio di un milione di aghi in un piccolo cestino di 1.900 aghi, rendendo il lavoro molto più facile.

Ciò che il Documento Esclude

Gli autori sono molto chiari su ciò che non funziona bene:

• Usare solo l'IA sofisticata non è sufficiente. Se ci si affida solo al "Pensatore Profondo" senza un buon primo filtro, si perdono troppe connessioni.
• Usare solo il semplice abbinamento di parole non è sufficiente. Se si guarda solo alle parole esatte, si perdono i riferimenti sottili e intelligenti che sono la parte più interessante della ricerca.
• Non è un problema "risolto". Il documento afferma esplicitamente che trovare questi collegamenti sottili è ancora "sfidante". L'IA è brava, ma commette comunque errori, specialmente quando la connessione è molto breve o le parole sono molto diverse.

In Sintesi

Il documento suggerisce che, sebbene l'IA sia un nuovo potente strumento per studiare la letteratura antica, non è una bacchetta magica che risolve tutto istantaneamente. Il miglior approccio attuale è un approccio ibrido: usare strumenti semplici e veloci per restringere il campo di ricerca, e poi usare strumenti di deep-learning intelligenti per prendere la decisione finale.

Gli autori ammettono che il loro dataset non è perfetto (non contiene ogni singola connessione che sia mai esistita) e che definire cosa costituisca un "riferimento" può essere complicato anche per gli umani. Ma con 1.490 esempi verificati dagli esperti e un nuovo benchmark chiamato Loci Similes, hanno fornito ai futuri ricercatori un solido punto di partenza per costruire strumenti ancora migliori. Il mistero dell'antica biblioteca è ancora in fase di risoluzione, ma ora abbiamo una torcia molto migliore.