💬 NLP

Loci Similes: A Benchmark for Extracting Intertextualities in Latin Literature

Este artigo apresenta o "Loci Similes", um conjunto de dados de referência com 545 paralelos verificados por especialistas entre autores do latim tardio e clássico, concebido para superar a escassez de recursos padronizados para o treinamento e a avaliação de grandes modelos de linguagem na detecção de intertextualidades.

Autores originais: Julian Schelb, Michael Wittweiler, Marie Revellio, Barbara Feichtinger, Andreas Spitz

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Julian Schelb, Michael Wittweiler, Marie Revellio, Barbara Feichtinger, Andreas Spitz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério em uma biblioteca gigante e antiga. O mistério? Descobrir quais histórias antigas foram secretamente copiadas, alteradas ou sussurradas por escritores posteriores. No mundo da literatura latina, isso é chamado de "intertextualidade". Durante séculos, os estudiosos tiveram que ler milhares de pergaminhos empoeirados à mão, confiando em sua memória para notar quando um escritor como Jerônimo (um monge cristão) estava secretamente pegando emprestada uma frase legal de Virgílio (um poeta pagão).

Mas aqui está o problema: os escritores não apenas copiavam e colavam; eles mudavam a ordem das palavras, trocavam sinônimos ou escondiam a referência tão bem que uma ferramenta simples de "busca por esta palavra" deixaria passar. É como tentar encontrar uma música específica em uma playlist apenas cantarolando algumas notas, mas o cantor mudou o tempo e a letra ligeiramente.

Entra o Loci Similes, uma nova ferramenta digital criada por uma equipe de cientistas da computação e especialistas em latim para ajudar a resolver isso. Pense nisso como uma "folha de cola" massiva e super organizada para a biblioteca.

A Grande Biblioteca e a Folha de Cola

A equipe construiu um conjunto de dados contendo cerca de 176.000 pequenos fragmentos de texto. Eles dividiram esses fragmentos em dois montes:

O Monte de "Consulta" (Query): Textos escritos posteriormente (por autores como Jerônimo, Lactâncio e Valério Flaco).
O Monte de "Fonte" (Source): Textos escritos anteriormente (como os clássicos de Cícero, Virgílio, Ovídio e Horácio).

Para garantir que suas ferramentas de computador estivessem realmente aprendendo, eles criaram uma folha de cola de "verdade fundamental" (ground truth). Esta folha contém 1.490 conexões específicas que especialistas humanos verificaram como reais. É como ter um gabarito onde os especialistas disseram: "Sim, esta frase no livro de Jerônimo é definitivamente uma alusão a esta frase no livro de Virgílio".

A Grande Corrida dos Computadores

Os pesquisadores perguntaram: Será que os computadores conseguem encontrar essas conexões ocultas melhor do que as ferramentas de busca de estilo antigo?

Eles realizaram uma corrida com três tipos de modelos de computador:

O "Contador de Palavras" (Modelos Lexicais): Estes procuram por palavras exatas ou radicais de palavras. São como um bibliotecário que apenas verifica se as mesmas palavras aparecem em ambos os livros.
O "Pensador Profundo" (Modelos Neurais Densos): Estes usam IA avançada para entender o significado de uma frase, mesmo que as palavras sejam diferentes. São como um detetive que entende a vibe de uma história.
A "Equipe de Dois Passos" (Recuperação e Reclassificação): Esta equipe primeiro usa o "Contador de Palavras" para pegar uma lista curta de suspeitos e, depois, usa o "Pensador Profundo" para conferir se eles estão certos.

O Que Eles Descobriram (A Reviravolta no Enredo)

É aqui que a história fica interessante, porque os resultados não foram o que todos esperavam.

1. O "Pensador Profundo" não venceu a primeira rodada.
Você poderia pensar que a IA sofisticada que entende o significado seria a melhor para encontrar referências ocultas. Mas o artigo sugere que, para o latim, o antigo "Contador de Palavras" (especificamente um método chamado BM25 usando lemas, que são as formas de dicionário das palavras) na verdade fez um trabalho melhor na primeira etapa.

Por quê? O latim é uma língua com terminações de palavras malucas que mudam de acordo com a gramática. A IA sofisticada às vezes se confundia com essas mudanças, enquanto o "Contador de Palavras" era bom em remover essas terminações para encontrar a palavra central.
O Resultado: O "Contador de Palavras" encontrou cerca de 78% das cópias diretas, palavra por palavra (referências literais), ao procurar entre os 100 principais candidatos. Os modelos de IA sofisticados chegaram perto, mas não o venceram.

2. O "Pensador Profundo" é necessário para as partes difíceis.
Embora o "Contador de Palavras" fosse ótimo para encontrar cópias exatas, ele falhou miseravelmente ao encontrar alusões (pistas sutis onde o significado é semelhante, mas as palavras são totalmente diferentes).

O Problema: Se Jerônimo escreveu uma frase que parecia com a de Virgílio, mas usou palavras completamente diferentes, o "Contador de Palavras" via zero conexão.
A Solução: O "Pensador Profundo" (especificamente um modelo chamado XLM-R Large) foi muito melhor em detectar essas conexões sutis de baixa sobreposição. Ele conseguia dizer: "Ei, mesmo que as palavras sejam diferentes, estas duas frases estão falando sobre o mesmo sentimento assustador".

3. A Estratégia Vencedora: A Equipe de Dois Passos.
O artigo sugere que a melhor maneira de resolver o mistério não é escolher apenas um detetive, mas usar uma equipe.

Passo 1: Use o "Contador de Palavras" para escanear toda a biblioteca e extrair os 100 suspeitos mais prováveis para cada consulta.
Passo 2: Entregue essa lista curta ao "Pensador Profundo" para decidir quais são referências reais e quais são apenas coincidências.
O Resultado: Esta abordagem de equipe conseguiu recuperar 63% das verdadeiras referências ocultas, enquanto reduziu a lista de coisas que um estudioso humano precisaria ler em 97%. É como transformar um palheiro de um milhão de agulhas em um pequeno cesto de 1.900 agulhas, tornando o trabalho muito mais fácil.

O Que o Artigo Descarta

Os autores são muito claros sobre o que não funciona bem:

Usar apenas IA sofisticada sozinha não é suficiente. Se você depender apenas do "Pensador Profundo" sem um bom filtro inicial, você perde muitas conexões.
Usar apenas a correspondência de palavras simples não é suficiente. Se você procurar apenas por palavras exatas, você perde as referências sutis e inteligentes que são a parte mais interessante da pesquisa.
Não é um problema "resolvido". O artigo afirma explicitamente que encontrar essas conexões sutis ainda é "desafiador". A IA é boa, mas ainda comete erros, especialmente quando a conexão é muito curta ou as palavras são muito diferentes.

A Conclusão

O artigo sugere que, embora a IA seja uma ferramenta poderosa para estudar a literatura antiga, ela não é uma varinha mágica que resolve tudo instantaneamente. A melhor abordagem no momento é uma híbrida: use ferramentas simples e rápidas para estreitar a busca e, em seguida, use ferramentas de aprendizado profundo e inteligente para dar o veredito final.

Os autores admitem que seu conjunto de dados não é perfeito (não é cada conexão que já existiu) e que definir o que conta como uma "referência" pode ser difícil até para humanos. Mas com 1.490 exemplos verificados por especialistas e um novo benchmark chamado Loci Similes, eles deram aos futuros pesquisadores um ponto de partida sólido para construir ferramentas ainda melhores. O mistério da biblioteca antiga ainda está sendo resolvido, mas agora temos uma lanterna muito melhor.

Resumo Técnico: Loci Similes: Um Benchmark para a Extração de Intertextualidades na Literatura Latina

Definição do Problema
Rastrear conexões intertextuais na literatura latina é uma tarefa fundamental na filologia clássica, essencial para reconstruir a "biblioteca virtual" de um autor e compreender a recepção cultural, particularmente na Antiguidade Tardia, onde autores cristãos recontextualizaram textos pagãos. No entanto, a detecção automatizada permanece limitada pela escassez de benchmarks padronizados e conjuntos de dados acessíveis. Os métodos existentes frequentemente dependem de correspondência de $n$ -gramas exatos ou filtragem heurística, que falham em capturar alusões sutis, paráfrases e variações morfológicas que não compartilham um vocabulário de superfície significativo. Embora os modelos de linguagem ofereçam potencial para capturar a similaridade semântica além da sobreposição lexical, seu desenvolvimento para este domínio específico é dificultado pela falta de dados de verdade fundamental (ground truth) curados e verificados por especialistas.

Metodologia
Os autores introduzem o Loci Similes, um benchmark abrangente projetado para avaliar abordagens computacionais para a detecção de intertextualidade latina. A metodologia envolve três componentes principais:

Construção do Conjunto de Dados:
- Corpus: O conjunto de dados compreende $\sim$ 176.000 segmentos de texto divididos em um Corpus de Consulta (autores posteriores: Jerônimo, Lactâncio e Valério Flaco) e um Corpus de Fonte (autores canônicos anteriores: Cícero, Virgílio, Ovídio, etc.).
- Verdade Fundamental (Ground Truth): Um conjunto de dados mesclado de 1.490 links intertextuais verificados por especialistas foi construído combinando 545 referências novas e curadas com 945 referências rotuladas de um estudo anterior (Burns et al., 2021).
- Esquema de Anotação: Os links são classificados em três categorias: Sem Correspondência (No Match), Referência Verbatim (cit.) (incluindo reuso marcado, não marcado e parafraseado) e Alusão (cf.) (ecos temáticos ou estilísticos com baixa sobreposição lexical). A anotação foi realizada por quatro especialistas em literatura latina usando critérios baseados em vocabulário incomum, frequência atestada e função de conduto.
Configuração Experimental:
- Tarefas: O estudo avalia três famílias de métodos: (i) Apenas Recuperação (Retrieval-only) (classificação de segmentos de fonte), (ii) Apenas Classificação (Classification-only) (distinção de tipos de correspondência em um conjunto de candidatos fixo) e (iii) pipelines de Recuperação e Reclassificação (Retrieve-and-Rerank).
- Modelos:
  - Recuperadores: Métodos lexicais esparsos (TF-IDF, BM25 com tokens de superfície e lemas), embeddings de palavras (Word2Vec, LatinBERT) e bi-encoders densos (modelos multilíngues como BGE-M3, E5 e variantes específicas de latim como SPhilBERTa).
  - Classificadores: Baselines lexicais (LogReg, GBDT) e transformers de cross-encoder (mmBERT, XLM-R, mBERT e variantes específicas de latim).
- Avaliação: O estudo utiliza validação cruzada de 5 dobras com cenários de recuperação realistas (consulta vs. distratores do mesmo domínio). As métricas incluem Recall@k, Precisão, Recall, F1 e taxas de erro (SMR, FPR, FNR).

Principais Contribuições

Benchmark Curado: O lançamento de um conjunto de dados contendo $\sim$ 176k segmentos e 1.490 links rotulados, distinguindo entre referências verbatim e alusões, abordando uma lacuna crítica de recursos padronizados para a intertextualidade latina.
Estrutura de Avaliação: Um alinhamento da avaliação computacional com fluxos de trabalho filológicos práticos, testando especificamente a capacidade de detectar alusões sutis ao lado de citações diretas.
Resultados de Baseline: Baselines abrangentes de desempenho para modelos de recuperação e classificação, estabelecendo uma fundação para futuras pesquisas comparativas.

Resultados

Desempenho de Recuperação: Contrariando as tendências do NLP geral, métodos lexicais esparsos superaram os recuperadores neurais densos. Especificamente, o BM25 com unigramas lematizados alcançou o melhor Recall@100 (0,78 para verbatim, 0,58 para alusões). Encoders multilingues densos (ex: BGE-M3) tiveram desempenho melhor que as baselines específicas de latim, mas ainda ficaram atrás dos métodos lexicais.
Desempenho de Classificação: Transformers de cross-encoder superaram significativamente os classificadores lexicais, particularmente para alusões. O XLM-R Large alcançou o melhor F1 para referências verbatim (0,76), enquanto o mmBERT teve o melhor desempenho para alusões (F1 0,13), embora a detecção de alusões tenha permanecido desafiadora com baixa precisão.
Pipeline de Recuperação e Reclassificação: Combinar a recuperação por BM25 com um reclassificador de cross-encoder gerou os resultados mais práticos. Em $k=100$ , o pipeline recuperou 63% das referências intertextuais verdadeiras, reduzindo o conjunto de candidatos em 97% em comparação com as baselines de apenas recuperação, estreitando significativamente o escopo para inspeção humana.
Análise de Erro: O desempenho está fortemente correlacionado com a sobreposição lexical para referências verbatim, mas se desvincula para alusões. Falsos positivos surgem frequentemente de frases genéricas de alta sobreposição (ex: omnia timeo), enquanto falsos negativos ocorrem quando alusões curtas e de baixa sobreposição são perdidas em embeddings de sentenças.

Significância e Alegações
O artigo afirma que, embora os modelos de linguagem ofereçam um caminho promissor para detectar similaridade semântica no latim, o desafio principal continua sendo distinguir o reuso significativo da sobreposição lexical coincidente. Os autores afirmam que:

Abordagens híbridas são necessárias: A rica morfologia dos fragmentos latinos sob tokenizadores de subpalavras confere vantagem aos métodos esparsos baseados em lemas durante a etapa de recuperação.
Modelos neurais são excelentes no detalhe: Os cross-encoders oferecem uma vantagem distinta sobre os classificadores lexicais para detectar alusões sutis onde as características lexicais falham.
Limitações atuais: Detectar paralelos curtos e de baixa sobreposição continua sendo difícil. Os autores sugerem que trabalhos futuros devem explorar o pareamento ao nível de token (recuperadores de interação tardia) e análise de span para recuperar sinais perdidos no agrupamento (pooling) de nível de sentença.

O estudo conclui que o Loci Similes fornece a infraestrutura necessária para avançar a pesquisa de intertextualidade, mas desenvolvimentos arquiteturais adicionais são necessários para automatizar totalmente a detecção de ecos sutis e recontextualizados na literatura latina.