MiqraBERT: Regression-Based Sentence-BERT Finetuning for Biblical Hebrew Parallel Detection

Resumo Técnico: MiqraBERT

Definição do Problema
A reutilização textual é onipresente no Hebraico Bíblico (HB), contudo, os métodos de detecção computacional historicamente dependeram da sobreposição lexical (palavras compartilhadas e similaridade de strings). Essas abordagens pré-neurais falham quando os paralelos envolvem paráfrase, substituição lexical ou reestruturação sintática, que são comuns na transmissão bíblica. Embora métodos de redes neurais tenham avançado em outras línguas clássicas (ex: latim, grego), nenhum modelo foi especificamente ajustado (finetuned) para similaridade semântica ao nível de versículo no Hebraico Bíblico (BH). Além disso, modelos transformer pré-treinados sofrem de "anisotropia", uma falha geométrica onde os embeddings de sentenças se agrupam em cones estreitos ou derivam para direções dominantes, fazendo com que textos não relacionados pareçam semanticamente similares apenas por compartilharem o mesmo registro (ex: todos os versículos em Hebraico Bíblico agrupando-se juntos, independentemente do conteúdo).

Metodologia
O artigo apresenta o MiqraBERT, um modelo Sentence-BERT baseado em regressão, ajustado a partir do AlephBERT, um modelo de linguagem de ponta para o Hebraico Moderno (MH). A metodologia aborda o problema da anisotropia e a falta de ferramentas de similaridade semântica específicas para o BH através das seguintes etapas:

• Seleção do Modelo Base: O AlephBERT foi escolhido em detrimento de modelos multilíngues (como o E5) ou modelos de hebraico antigo específicos (como o Embible) porque preserva o sistema de raízes triconsonantais e os padrões de conjugação verbal do BH, demonstrando simultaneamente um desempenho basal superior na separação de distribuições paralelas e não paralelas.
• Dados de Treinamento: O conjunto de treinamento consiste em 1.650 pares de versos e semi-versos rotulados:
  • Pares Positivos (825): Paralelos reais extraídos de material sinótico de Crônicas (narrativa) e de quatro estudos fundamentais de paralelismo poético.
  • Pares Negativos (825): Versos não paralelos amostrados aleatoriamente de todo o HB.
• Arquitetura de Ajuste (Finetuning): O modelo emprega uma estrutura de rede siamesa com pesos compartilhados. Ambos os versos de entrada são codificados pelo AlephBERT, submetidos ao mean-pooling em vetores de 768 dimensões e comparados via similaridade de cosseno.
• Objetivo de Treinamento: Diferente da classificação binária, o modelo utiliza regressão de similaridade de cosseno. Ele minimiza o erro quadrático médio entre a similaridade de cosseno prevista e um rótulo alvo contínuo (1.0 para paralelos, 0.0 para não paralelos). Isso permite que o modelo aprenda um gradiente de similaridade em vez de forçar uma fronteira de decisão discreta.
• Protocolo de Avaliação: O estudo utiliza um framework de validação de múltiplas sementes (multi-seed) em várias divisões de treinamento/teste (variando de 50% a 90% de dados de treinamento). O desempenho é medido por métricas baseadas em distribuição — Distância de Wasserstein (WD) e Coeficiente de Sobreposição (OVL) — que avaliam a separação das distribuições de similaridade sem depender de limiares arbitrários. O desempenho de recuperação também é avaliado usando Recall@k.

Resultados Principais

• Separação Distribucional: O MiqraBERT alcança uma melhoria de 2,7 vezes na Distância de Wasserstein (de 0,276 para 0,751) em comparação com o baseline do AlephBERT pré-treinado. A região de sobreposição ambígua entre as distribuições paralelas e não paralelas é reduzida de aproximadamente 24% para 6%.
• Desempenho de Recuperação:
  • Paralelos Narrativos: O modelo alcança um Recall@10 de 87,1% para paralelos sinóticos narrativos (ex: Crônicas vs. Samuel-Reis), posicionando o paralelo real entre os dez principais candidatos para quase 90% das consultas.
  • Paralelos Poéticos: O desempenho no paralelismo poético é significativamente menor, com um Recall@10 abaixo de 9%.
• Melhorias Qualitativas: O modelo distingue com sucesso entre paralelos genuínos com variações teológicas ou lexicais (ex: 2 Sam 24:1 vs. 1 Cr 21:1, onde "YHWH" é substituído por "Satan") e textos não relacionados que compartilham apenas elementos formulaicos ou temáticos (ex: a imagem do pastor em Sl 23 vs. Ez 34), que o modelo pré-treinado classificou incorretamente como altamente similares.
• Configuração Ótima: Uma divisão de 70%-15%-15% para treino-validação-teste foi identificada como a ideal, equilibrando alta separação de distribuição com intervalos de confiança estáveis.

Significância e Alegações
O artigo afirma que o MiqraBERT demonstra a viabilidade da transferência de aprendizado do Hebraico Moderno para o Hebraico Bíblico para tarefas de similaridade semântica, mesmo com um conjunto de treinamento relativamente pequeno (~1.100 pares). O estudo estabelece que:

1. Correção de Anisotropia: O ajuste de regressão contrastiva remodela efetivamente o espaço de embeddings, permitindo que o modelo priorize a similaridade textual sobre o agrupamento por registro.
2. Limitações Dependentes de Gênero: A utilidade do modelo é atualmente limitada à reutilização textual narrativa. A falha em detectar o paralelismo poético é atribuída à natureza da correspondência poética (que frequentemente carece de léxicos compartilhados) e às limitações dos embeddings baseados em coocorrência, em vez de uma falha no processo de ajuste em si.
3. Rigor de Avaliação: O artigo argumenta que métricas baseadas em distribuição (WD, OVL) combinadas com validação de múltiplas sementes fornecem uma avaliação mais honesta e rigorosa do comportamento do modelo em pequenos conjuntos de dados do que métricas de classificação de divisão única.

Os autores concluem que, embora o MiqraBERT seja uma ferramenta confiável para detectar paralelos sinóticos narrativos, sua aplicação a relações intertextuais poéticas ou altamente abstratas permanece um desafio aberto que requer desenvolvimento metodológico adicional. O modelo está disponível publicamente para uso na erudição bíblica.