A Fine-Tuned BERT Classifier for Personal-Letter Titles in Late-Ming and Early-Qing Collected Works

Resumen Técnico: Lepton – Un Clasificador BERT Ajustado para Títulos de Cartas Personales en Obras Completas de Finales de la Dinastía Ming e Inicios de la Qing

Planteamiento del Problema
El desafío principal abordado es la identificación automatizada de cartas personales (shu 書) dentro de los índices de las wenji (obras completas) de finales de la dinastía Ming e inicios de la Qing. Si bien la estructura de las wenji proporciona una lista curada de la producción de un autor, distinguir las cartas de otros géneros resulta difícil para los métodos computacionales. Específicamente, las cartas suelen confundirse con los prólogos (xu 序), particularmente los prólogos de despedida (songxu 送序).

Los enfoques tradicionales basados en reglas (expresiones regulares) fallan debido a la variabilidad lingüística de los títulos en chino clásico:

• Marcadores Finales: Solo el 9,2 % de los títulos de cartas terminan con el carácter shu (書); la mayoría utiliza otros marcadores o ninguno en absoluto. Una expresión regular que busque títulos que terminen en shu pasa por alto el 91 % de las cartas.
• Verbos Iniciales: Aunque las cartas suelen comenzar con verbos de transmisión (por ejemplo, yu 與, da 答), estos mismos verbos aparecen con frecuencia al inicio de títulos de prólogos, lo que genera altas tasas de falsos positivos para los filtros basados en expresiones regulares.

Metodología
El artículo introduce Lepton (Predicción de Cartas), un clasificador binario diseñado para distinguir entre títulos de cartas personales y títulos de prólogos.

• Arquitectura del Modelo: Lepton es una instancia ajustada de bert-base-chinese (aproximadamente 102 millones de parámetros). El modelo utiliza una cabecera BertForSequenceClassification sobre el token [CLS], con todos los parámetros actualizados durante el entrenamiento.
• Selección del Esqueleto: Los autores seleccionaron un esqueleto preentrenado en chino moderno en lugar de modelos adaptados al dominio del chino clásico (por ejemplo, AnchiBERT, GuwenBERT) disponibles en ese momento. Esta decisión se basó en la observación de que las características discriminatorias (verbos iniciales y marcadores finales) están bien representadas en los datos de preentrenamiento moderno, lo que permite al modelo aprender señales a nivel de título sin necesidad de un preentrenamiento continuo en textos históricos.
• Construcción del Corpus: El conjunto de datos de entrenamiento consta de 5.438 títulos etiquetados manualmente de las obras completas de 33 literatos (mediados de la Ming a inicios de la Qing).
  • Clase Positiva: 3.206 títulos de cartas.
  • Clase Negativa: 2.232 títulos de prólogos.
  • Metadatos: Cada entrada incluye metadatos de la CBDB (Base de Datos Biográfica de China), como ID del escritor, ID del destinatario y códigos de relación.
• Configuración Experimental: El conjunto de datos se estratificó en una división de entrenamiento/validación/prueba 80/10/10. El modelo se evaluó frente a varias líneas base:
  1. Línea base de clase mayoritaria.
  2. Líneas base de expresiones regulares (termina en shu, comienza con verbos de transmisión, o una disyunción de ambas).
  3. N-gramas de caracteres TF-IDF (rangos 2-2 a 2-4) combinados con regresión logística.

Resultados Clave
En un conjunto de prueba retenido, Lepton demostró un rendimiento superior en comparación con todas las líneas base:

• Líneas Base de Expresiones Regulares: La expresión regular ingenua "termina en shu" logró una puntuación F1 de solo 0,166. La expresión regular "comienza con verbo" tuvo un mejor rendimiento (F1 = 0,915), pero sufrió de una menor recuperación (0,851) en comparación con Lepton.
• Líneas Base TF-IDF: Estos modelos lograron resultados sólidos (F1 ≈ 0,935–0,937) con una alta recuperación (0,99) pero una precisión más baja (0,89), lo que indica que capturaron la señal del verbo inicial pero tuvieron dificultades con algunos falsos positivos.
• Rendimiento de Lepton: El modelo desplegado logró una puntuación F1 de 0,984 en el subconjunto de prueba coincidente. Cabe destacar que alcanzó una precisión perfecta (1,000) para la clase de cartas, lo que significa que produjo cero falsos positivos en el conjunto de prueba, con una recuperación de 0,968.

Análisis de Errores
Los seis errores cometidos por Lepton en el conjunto de prueba fueron todos casos de títulos muy cortos y elípticos (por ejemplo, nombres de destinatarios o marcadores de continuación) donde faltaba la señal estándar del verbo inicial. El modelo clasificó correctamente estos casos como prólogos basándose en la ausencia de la señal aprendida de "carta", lo que resalta una limitación en el manejo de entradas fuera de la plantilla que dependen de la convención editorial en lugar de marcadores de género a nivel superficial.

Significado y Afirmaciones
El artículo presenta a Lepton como una herramienta práctica para las humanidades digitales en lugar de un avance teórico en el modelado del lenguaje. Su significado se enmarca en torno a tres contribuciones principales:

1. Escala y Aplicación: El modelo ha sido desplegado en la Base de Datos Biográfica de China (CBDB) para identificar aproximadamente 55.000 cartas en wenji de mediados de la Ming a inicios de la Qing, llenando la "Plataforma de Cartas Ming" para apoyar la investigación de redes sociales.
2. Aprendizaje por Transferencia: Proporciona un ejemplo práctico de cómo un modelo preentrenado en chino moderno puede transferirse efectivamente a una tarea de clasificación premoderna a nivel de título sin necesidad de un preentrenamiento continuo en corpus históricos.
3. Interpretabilidad: Los resultados muestran que las líneas base de n-gramas interpretables se encuentran "a tiro de piedra" de los modelos neuronales en tareas de texto corto ricas en señales. La convergencia de las características ponderadas más altas de las líneas base lineales con el análisis filológico (verbos iniciales y marcadores finales) respalda la llamada a que el aprendizaje automático exponga características en lugar de solo puntuaciones.

Los autores señalan explícitamente los límites del modelo: está entrenado con material de 1550–1700, clasifica únicamente frente al género de prólogo (no poesía ni memorias) y no extrae destinatarios, fechas ni distingue entre correspondencia privada y oficial.