Fusing Stylometric and Embedding Systems to Estimate Authorship Likelihood Ratios in Japanese

Resumo Técnico: Fusão de Sistemas Estilométricos e de Embeddings para Estimar Razões de Verossimilhança de Autoria em Japonês

Definição do Problema
A estrutura de razão de verossimilhança (LR - likelihood ratio) é o padrão estabelecido para análise de evidências nas ciências forenses, oferecendo um método logicamente sólido para quantificar a força da evidência sob hipóteses concorrentes de acusação e defesa. No entanto, sua aplicação na comparação forense de textos (FTC) tem sido quase exclusivamente restrita a textos na língua inglesa. Além disso, embora a atribuição de autoria tenha dependido tradicionalmente de recursos estilométricos discretos (ex: contagem de palavras, n-gramas de caracteres), o advento de modelos de linguagem de grande escala (LLMs) pré-treinados introduziu abordagens de embeddings contextuais. Embora o aprendizado de conjunto (ensemble learning/fusion) seja conhecido por melhorar o desempenho no processamento de linguagem natural, nenhum estudo anterior tentou fundir sistemas de recursos estilométricos tradicionais com sistemas de embeddings baseados em LLM dentro do paradigma de LR, particularmente para línguas não inglesas com sistemas de escrita distintos como o japonês.

Metodologia
Este estudo aborda essas lacunas aplicando a estrutura de LR a textos digitais japoneses (excertos de aproximadamente 1.000 caracteres de blogs do Yahoo!). O design da pesquisa envolve os seguintes componentes:

• Conjunto de Dados: Um corpus de 4.574 postagens de blogs de 2.287 autores únicos, derivados do Balanced Corpus of Contemporary Written Japanese (BCCWJ). Os dados foram particionados em cinco lotes para validação cruzada de cinco dobras (five-fold cross-validation), utilizando conjuntos de Treinamento, Validação, Teste e Calibração.
• Arquitetura do Sistema: Sete sistemas distintos foram desenvolvidos e avaliados:
  • Sistemas de Recursos Estilométricos (5 sistemas): Estes utilizam um modelo Dirichlet-multinomial para lidar com entradas discretas baseadas em contagem. Os recursos incluem bigramas de caracteres, unigramas de palavras funcionais, bigramas de classes gramaticais (POS), bigramas de vírgulas (vírgula e o caractere precedente) e tipos de caracteres (hiragana, katakana, kanji, etc.).
  • Sistemas Baseados em Embeddings (2 sistemas): Utilizam modelos RoBERTa pré-treinados ajustados (fine-tuned) como redes siamesas. Um sistema utiliza tokenização ao nível da palavra (word-level tokenization/word-embeddings) e o outro utiliza tokenização ao nível do caractere (character-level tokenization/character-embeddings). Os escores são derivados via distância de cosseno.
• Pontuação e Calibração:
  • Os sistemas estilométricos geram escores baseados na razão de probabilidades sob as hipóteses de acusação vs. defesa.
  • Os sistemas de embedding geram escores de similaridade baseados na distância de cosseno.
  • Todos os escores brutos são convertidos em razões de log-verossimilhança (log LR) usando calibração de regressão logística para garantir que os valores de saída sejam valores de evidência bem calibrados.
• Estratégia de Fusão: O estudo emprega regressão logística para fundir os escores de múltiplos sistemas. Este método realiza simultaneamente a fusão e a calibração, levando em conta as correlações entre as diferentes fontes de evidência. Todas as combinações possíveis de dois a sete sistemas foram testadas.

Resultados Principais
O estudo avaliou o desempenho do sistema usando o custo de razão de log-verossimilhança ($C_{llr}$), onde valores menores indicam melhor discriminação e calibração.

• Desempenho dos Sistemas Individuais: Entre os sistemas únicos, o sistema de word-embedding (Sistema 6) alcançou o melhor desempenho ($C_{llr} = 0,38757$), superando o melhor sistema estilométrico (bigramas de caracteres, $C_{llr} = 0,47115$).
• Desempenho da Fusão:
  • Fusão Estilométrica: Fundir bigramas de caracteres, bigramas de vírgulas e bigramas de POS resultou no melhor resultado apenas de estilometria ($C_{llr} = 0,43964$).
  • Fusão de Embeddings: Fundir word e character embeddings melhorou o desempenho para $C_{llr} = 0,36186$.
  • Fusão Heterogênea: O resultado ideal foi alcançado fundindo cinco sistemas: bigramas de caracteres, bigramas de vírgulas, tipos de caracteres, word-embeddings e character-embeddings. Este sistema fundido alcançou um $C_{llr}$ de 0,32484.
• Impacto da Fusão: O sistema fundido de melhor desempenho demonstrou:
  1. Excelente calibração (perda de calibração $C_{llr}^{cal} \approx 0,03$).
  2. Aumento das magnitudes de LRs consistentes com os fatos (evidência mais forte quando os autores coincidem).
  3. Diminuição das magnitudes de LRs contrários aos fatos (evidência mais fraca e menos enganosa quando os autores não coincidem).
  4. Melhoria na discriminação geral em comparação a qualquer sistema individual ou fusão homogênea.

Significância e Alegações
Os autores afirmam que este estudo é o primeiro a aplicar a estrutura de comparação de texto forense baseada em LR a textos digitais em japonês. A principal significância reside em demonstrar a viabilidade da estrutura de LR para uma língua com um sistema de escrita fundamentalmente diferente do inglês.

Além disso, o artigo estabelece que fundir sistemas heterogêneos — combinando recursos estilométricos tradicionais e discretos com modernos embeddings contextuais de LLM — produz um desempenho superior dentro do paradigma de LR. Os resultados sugerem que, embora os sistemas individuais tenham pontos fortes, sua combinação captura dimensões complementares de autoria (ex: sequências brutas de caracteres vs. padrões sintáticos vs. contexto semântico), levando a uma evidência forense mais robusta e discriminativa. O estudo conclui que a estrutura de LR é viável para FTC em japonês e que a fusão entre diversas abordagens de modelagem é uma estratégia crítica para aumentar a força da evidência.