A Fine-Tuned BERT Classifier for Personal-Letter Titles in Late-Ming and Early-Qing Collected Works

Resumo Técnico: Lepton – Um Classificador BERT Ajustado para Títulos de Cartas Pessoais em Obras Coletadas dos Finais da Dinastia Ming e Inícios da Dinastia Qing

Declaração do Problema
O principal desafio abordado é a identificação automatizada de cartas pessoais (shu 書) dentro dos índices de obras coletadas (wenji) dos finais da dinastia Ming e inícios da dinastia Qing. Embora a estrutura do wenji forneça uma lista curada da produção de um autor, distinguir cartas de outros gêneros é difícil para métodos computacionais. Especificamente, as cartas são frequentemente confundidas com prefácios (xu 序), particularmente prefácios de despedida (songxu 送序).

Abordagens tradicionais baseadas em regras (expressões regulares) falham devido à variabilidade linguística dos títulos em Chinês Clássico:

• Marcadores Finais: Apenas 9,2% dos títulos de cartas terminam com o caractere shu (書); a maioria utiliza outros marcadores ou nenhum. Uma expressão regular que busca títulos terminando em shu perde 91% das cartas.
• Verbos Iniciais: Embora as cartas frequentemente comecem com verbos de transmissão (por exemplo, yu 與, da 答), esses mesmos verbos aparecem frequentemente no início de títulos de prefácios, levando a altas taxas de falsos positivos para filtros baseados em expressões regulares.

Metodologia
O artigo apresenta o Lepton (Predição de Cartas), um classificador binário projetado para distinguir entre títulos de cartas pessoais e títulos de prefácios.

• Arquitetura do Modelo: O Lepton é uma instância ajustada do bert-base-chinese (aproximadamente 102 milhões de parâmetros). O modelo utiliza um cabeçalho BertForSequenceClassification sobre o token [CLS], com todos os parâmetros atualizados durante o treinamento.
• Seleção da Arquitetura Base: Os autores selecionaram uma arquitetura base pré-treinada em Chinês Moderno, em vez de modelos adaptados ao domínio do Chinês Clássico (por exemplo, AnchiBERT, GuwenBERT) disponíveis na época. Essa decisão baseou-se na observação de que os recursos discriminativos (verbos iniciais e marcadores finais) são bem representados nos dados de pré-treinamento modernos, permitindo que o modelo aprenda sinais ao nível do título sem exigir pré-treinamento contínuo em textos históricos.
• Construção do Corpus: O conjunto de dados de treinamento consiste em 5.438 títulos rotulados manualmente das obras coletadas de 33 literatos (meados da Ming até os inícios da Qing).
  • Classe Positiva: 3.206 títulos de cartas.
  • Classe Negativa: 2.232 títulos de prefácios.
  • Metadados: Cada entrada inclui metadados do CBDB (China Biographical Database), como ID do escritor, ID do destinatário e códigos de relacionamento.
• Configuração Experimental: O conjunto de dados foi estratificado em uma divisão de 80/10/10 para treinamento, desenvolvimento e teste. O modelo foi avaliado contra várias linhas de base:
  1. Linha de base da classe majoritária.
  2. Linhas de base de expressões regulares (terminando em shu, começando com verbos de transmissão, ou uma disjunção de ambos).
  3. N-gramas de caracteres TF-IDF (intervalos de 2-2 a 2-4) combinados com regressão logística.

Principais Resultados
Em um conjunto de teste retido, o Lepton demonstrou desempenho superior em comparação com todas as linhas de base:

• Linhas de Base de Expressões Regulares: A expressão regular ingênua "termina com shu" alcançou uma pontuação F1 de apenas 0,166. A expressão regular "começa com verbo" teve melhor desempenho (F1 = 0,915), mas sofreu com menor recall (0,851) em comparação com o Lepton.
• Linhas de Base TF-IDF: Esses modelos alcançaram resultados fortes (F1 ≈ 0,935–0,937) com alto recall (0,99), mas precisão mais baixa (0,89), indicando que capturaram o sinal do verbo inicial, mas lutaram com alguns falsos positivos.
• Desempenho do Lepton: O modelo implantado alcançou uma pontuação F1 de 0,984 no subconjunto de teste correspondente. Notavelmente, atingiu precisão perfeita (1,000) para a classe de cartas, o que significa que produziu zero falsos positivos no conjunto de teste, com um recall de 0,968.

Análise de Erros
Os seis erros cometidos pelo Lepton no conjunto de teste foram todos instâncias de títulos muito curtos e elípticos (por exemplo, nomes de destinatários ou marcadores de continuação) onde o sinal padrão do verbo inicial estava ausente. O modelo corretamente optou por classificar esses casos como prefácios com base na falta do sinal aprendido de "carta", destacando uma limitação no tratamento de entradas fora do modelo que dependem de convenções editoriais em vez de marcadores de gênero em nível superficial.

Significado e Afirmações
O artigo posiciona o Lepton como uma ferramenta prática para humanidades digitais, em vez de um avanço teórico em modelagem de linguagem. Seu significado é estruturado em torno de três contribuições principais:

1. Escala e Aplicação: O modelo foi implantado no China Biographical Database (CBDB) para identificar aproximadamente 55.000 cartas em obras coletadas (wenji) de meados da Ming até os inícios da Qing, preenchendo a "Plataforma de Cartas Ming" para apoiar pesquisas sobre redes sociais.
2. Aprendizado por Transferência: Ele fornece um exemplo prático de como um modelo pré-treinado em Chinês Moderno pode transferir efetivamente para uma tarefa de classificação pré-moderna ao nível do título, sem a necessidade de pré-treinamento contínuo em corpora históricos.
3. Interpretabilidade: Os resultados mostram que as linhas de base de n-gramas interpretáveis ficam "dentro do alcance" dos modelos neurais em tarefas de texto curto ricas em sinais. A convergência dos recursos com maior peso das linhas de base lineares com a análise filológica (verbos iniciais e marcadores finais) apoia o chamado para que a aprendizagem de máquina exponha recursos em vez de apenas pontuações.

Os autores notam explicitamente os limites do modelo: ele é treinado em material de 1550–1700, classifica apenas contra o gênero de prefácio (não poesia ou memorandos) e não extrai destinatários, datas ou distingue entre correspondência privada e oficial.