Fusing Stylometric and Embedding Systems to Estimate Authorship Likelihood Ratios in Japanese

Resumen Técnico: Fusión de Sistemas Estilométricos y de Embeddings para Estimar la Razón de Verosimilitud de la Autoría en Japonés

Planteamiento del Problema
El marco de la razón de verosimilitud (LR, por sus siglas en inglés) es el estándar establecido para el análisis de evidencia en las ciencias forenses, ofreciendo un método lógicamente sólido para cuantificar la fuerza de la evidencia bajo hipótesis contrapuestas de acusación y defensa. Sin embargo, su aplicación en la comparación de textos forenses (FTC) se ha limitado casi exclusivamente a textos en lengua inglesa. Además, aunque la atribución de autoría se ha basado tradicionalmente en rasgos estilométricos discretos (por ejemplo, recuento de palabras, n-gramas de caracteres), el advenimiento de los modelos de lenguaje de gran tamaño (LLM) preentrenados ha introduído enfoques de embeddings contextuales. Aunque el aprendizaje de ensamble (fusión) es conocido por mejorar el rendimiento en el procesamiento del lenguaje natural, ningún estudio previo ha intentado fusionar sistemas tradicionales de rasgos estilométricos con sistemas de embeddings basados en LLM dentro del paradigma de la LR, particularmente para lenguas no inglesas con sistemas de escritura distintos como el japonés.

Metodología
Este estudio aborda estas brechas aplicando el marco de la LR a textos digitales japoneses (extractos de aproximadamente 1,000 caracteres de Yahoo! Blogs). El diseño de la investigación consta de los siguientes componentes:

• Conjunto de Datos: Un corpus de 4,574 publicaciones de blogs de 2,287 autores únicos, derivado del Corpus Balanceado de Japonés Escrito Contemporáneo (BCCWJ). Los datos se dividieron en cinco lotes para una validación cruzada de cinco pliegues, utilizando conjuntos de Entrenamiento, Validación, Prueba y Calibración.
• Arquitectura del Sistema: Se desarrollaron y evaluaron siete sistemas distintos:
  • Sistemas de Rasgos Estilométricos (5 sistemas): Estos utilizan un modelo Dirichlet-multinomial para manejar entradas discretas basadas en conteos. Los rasgos incluyen bigramas de caracteres, unigramas de palabras funcionales, bigramas de categorías gramaticales (POS), bigramas de comas (coma y el carácter precedente) y tipos de caracteres (hiragana, katakana, kanji, etc.).
  • Sistemas Basados en Embeddings (2 sistemas): Utilizan modelos RoBERTa preentrenados ajustados como redes siamesas. Un sistema utiliza tokenización a nivel de palabra (embeddings de palabras) y el otro utiliza tokenización a nivel de carácter (embeddings de caracteres). Las puntuaciones se derivan de la distancia de coseno.
• Puntuación y Calibración:
  • Los sistemas estilométricos generan puntuaciones basadas en la razón de probabilidades bajo las hipótesis de acusación frente a la de defensa.
  • Los sistemas de embeddings generan puntuaciones de similitud basadas en la distancia de coseno.
  • Todas las puntuaciones brutas se convierten a razones de log-verosimilitud (log LR) mediante regresión logística de calibración para asegurar que los valores de evidencia resultantes estén bien calibrados.
• Estrategia de Fusión: El estudio emplea regresión logística para fusionar las puntuaciones de múltiples sistemas. Este método realiza simultáneamente la fusión y la calibración, teniendo en cuenta las correlaciones entre las diferentes fuentes de evidencia. Se probaron todas las combinaciones posibles de dos a siete sistemas.

Resultados Clave
El estudio evaluó el rendimiento del sistema utilizando el costo de la razón de log-verosimilitud ($C_{llr}$), donde valores más bajos indican una mejor discriminación y calibración.

• Rendimiento de Sistemas Individuales: Entre los sistemas individuales, el sistema de embedding de palabras (Sistema 6) logró el mejor rendimiento ($C_{llr} = 0.38757$), superando al mejor sistema estilométrico (bigramas de caracteres, $C_{llr} = 0.47115$).
• Rendimiento de la Fusión:
  • Fusión Estilométrica: La fusión de bigramas de caracteres, bigramas de comas y bigramas de POS produjo el mejor resultado de solo estilometría ($C_{llr} = 0.43964$).
  • Fusión de Embeddings: La fusión de embeddings de palabra y de carácter mejoró el rendimiento a $C_{llr} = 0.36186$.
  • Fusión Heterogénea: El resultado óptimo se logró fusionando cinco sistemas: bigramas de caracteres, bigramas de comas, tipos de caracteres, embeddings de palabras y embeddings de caracteres. Este sistema fusionado alcanzó un $C_{llr}$ de 0.32484.
• Impacto de la Fusión: El sistema fusionado con mejor rendimiento demostró:
  1. Una excelente calibración (pérdida de calibración $C_{llr}^{cal} \approx 0.03$).
  2. Un aumento en las magnitudes de las LR consistentes con los hechos (evidencia más fuerte cuando los autores coinciden).
  3. Una disminución en las magnitudes de las LR contrarias a los hechos (evidencia más débil y menos engañosa cuando los autores no coinciden).
  4. Una mejora en la discriminabilidad general en comparación con cualquier sistema individual o fusión homogénea.

Significación y Reivindicaciones
Los autores afirman que este estudio es el primero en aplicar el marco de comparación de textos forenses basado en la LR a textos digitales japoneses. La principal significación radica en demostrar la viabilidad del marco de la LR para una lengua con un sistema de escritura fundamentalmente diferente (japonés) al del inglés.

Además, el artículo establece que fusionar sistemas heterogéneos —combinando rasgos estilométricos tradicionales y discretos con modernos embeddings contextuales de LLM— produce un rendimiento superior dentro del paradigma de la LR. Los resultados sugieren que, si bien los sistemas individuales tienen fortalezas, su combinación captura dimensiones complementarias de la autoría (por ejemplo, secuencias de caracteres brutos frente a patrones sintácticos frente a contexto semántico), lo que conduce a una evidencia forense más robusta y discriminativa. El estudio concluye que el marco de la LR es viable para la FTC en japonés y que la fusión a través de diversos enfoques de modelado es una estrategia crítica para mejorar la fuerza de la evidencia.