Normalisation-Based Likelihood Ratio Estimation for Forensic Authorship Verification

Resumen Técnico: Estimación de la Razón de Verosimilitud Basada en la Normalización para la Verificación de Autoría Forense

Planteamiento del Problema
La verificación de autoría (AV, por sus siglas en inglés) en contextos forenses tiene como objetivo determinar si dos textos comparten un autor común. El estándar legal para evaluar esta evidencia es el marco de la Razón de Verosimilitud (LR), que cuantifica la probabilidad relativa de la evidencia bajo hipótesis de acusación ($H_p$) y de defensa ($H_d$). Aunque existen métodos de AV basados en puntuaciones, estos suelen producir puntuaciones de similitud no calibradas o razones de verosimilitud puras que no reflejan fielmente las frecuencias empíricas. Para que estas puntuaciones sean interpretables como evidencia forense válida, se requiere un modelo de calibración independiente —comúnmente la regresión logística— que transforme dichas puntuaciones. Este proceso de calibración requiere conjuntos de datos específicos para cada caso (pares de textos de misma fuente y de fuentes diferentes) que a menudo son difíciles, lentos y costosos de compilar. Además, la selección de los datos de calibración implica decisiones de expertos subjetivas (por ejemplo, estrategias de anclaje) que requieren una validación adicional, lo que añade complejidad y opacidad al proceso forense.

Metodología
Este estudio investiga si las puntuaciones puras producidas por LambdaG, un método de AV extrínseco binario de vanguardia basado en el modelado de lenguaje de n-gramas, pueden transformarse en LRs bien calibradas sin un modelo de entrenamiento separado. Los autores plantean la hipótesis de que la puntuación pura de LambdaG ($\lambda_G$) sufre de "inflación de la puntuación" debido a que el método se basa en la suma de contribuciones independientes a nivel de tokens. Esta agregación asume la independencia condicional entre características, un supuesto que el lenguaje natural viola debido a la repetición. En consecuencia, los textos más largos o altamente repetitivos acumulan puntuaciones desproporcionadamente altas, sobreestimando la fuerza de la evidencia.

Para abordar esto, el artículo propone dos técnicas de normalización novedosas que escalan directamente la puntuación $\lambda_G$ de LambdaG:

1. Corrección de la Raíz Cuadrada: Este método escala la puntuación por la raíz cuadrada del número de tokens en el documento cuestionado ($N(Q)$). Está fundamentado en el principio estadístico de que la varianza en las características agregadas suele crecer proporcionalmente a $\sqrt{N}$. La fórmula es:
   $$\Lambda_G = \frac{\lambda_G}{\sqrt{N(Q)}}$$
   Esto busca mitigar la inflación causada por la longitud del texto, reconociendo que los tokens adicionales en textos largos contribuyen con un peso de evidencia independiente decreciente.

2. Corrección de Hapax: Este método incorpora una medida de diversidad léxica y redundancia. Escala la puntuación mediante la razón de hapax legomena (palabras que aparecen exactamente una vez, $V_1(Q)$) respecto al recuento total de tokens ($N(Q)$). La fórmula es:
   $$\Lambda_G = \lambda_G \times \frac{V_1(Q)}{N(Q)}$$
   Esta corrección apunta a la redundancia de los patrones repetidos. En textos con baja diversidad (alta repetición), la razón es baja, reduciendo la puntuación para contrarrestar la inflación artificial. Esto se alinea con la Ley de Herdan-Heap, que describe el crecimiento sublineal del vocabulario a medida que aumenta la longitud del texto.

Protocolo Experimental
Los autores evaluaron estas correcciones frente al estándar de referencia de la calibración por regresión logística a través de 15 corpora diversos (incluyendo artículos académicos, noticias, blogs, reseñas, foros, correos electrónicos, registros de chat y tweets). La evaluación utilizó la métrica de Costo de Log-Likelihood Ratio ($C_{llr}$), donde valores más bajos indican una mejor calibración y discriminación.

• Datos: El estudio incluyó 13,146 problemas de verificación de autoría.
• Variables: Para un subconjunto de los corpora (Avocado, Twitter, Bolt), los autores variaron sistemáticamente las longitudes del texto cuestionado ($Q$) y del texto de autor conocido ($K$) desde 100 hasta 9,500 tokens para probar la robustez en diversas longitudes de texto.
• Línea Base: Se entrenaron modelos de regresión logística con el 40–50% de los datos de cada corpus y se probaron con el resto. Las normalizaciones propuestas se aplicaron directamente a las puntuaciones puras sin entrenamiento.

Resultos Clave

• Desempeño General: A través de los 15 corpora, la Corrección de Hapax superó a la calibración por regresión logística en el 45.4% de las pruebas. En los casos restantes donde la regresión logística funcionó mejor, el desempeño de la Corrección de Hapax estuvo dentro de un 5% de la línea base en el 56.91% de las instancias.
• Robustez ante la Longitud del Texto:
  • En textos largos (por ejemplo, Avocado y Twitter con $K > 5,500$ tokens), la regresión logística a menudo logró valores de $C_{llr}$ pico ligeramente más bajos, probablemente debido a una estimación de parámetros más estable con conjuntos de datos más grandes. Sin embargo, la Corrección de Hapax produjo consistentemente LRs bien calibradas ($C_{llr} < 0.1$) en estas condiciones.
  • En textos cortos, la Corrección de Hapax superó frecuentemente a la regresión logística, demostrando una mayor robustez cuando los datos son escasos.
  • La Corrección de la Raíz Cuadrada fue generalmente superada tanto por la Corrección de Hapax como por la regresión logística (perdiendo en más del 70% de las pruebas), aunque aun así ofreció mejoras respecto a las puntuaciones puras.
• Anomalías: La calibración por regresión logística ocasionalmente produjo resultados engañosos ($C_{llr} > 1$) en conjuntos de datos con conjuntos de calibración pequeños (por ejemplo, Twitter, Avocado), lo que sugiere sensibilidad al ruido y sobreajuste. Las normalizaciones propuestas exhibieron menor variabilidad y mayor estabilidad.
• Corpus Bolt (Textos Cortos): En el corpus de SMS/Chat con textos muy cortos (100–500 tokens), la Corrección de la Raíz Cuadrada superó a la Corrección de Hapax en el 84% de las condiciones, probablemente porque la razón de Hapax se vuelve ruidosa e impredecible en muestras extremadamente cortas donde el crecimiento del vocabulario es rápido.

Significancia y Reivindicaciones
El artículo sostiene que estas técnicas de normalización ofrecen una alternativa funcionalmente equivalente, pero más simple, a la calibración por regresión logística para el método LambdaG. La principal significancia radica en la eliminación del modelo de calibración, lo cual:

1. Reduce los Requerimientos de Datos: Elimina la necesidad de obtener grandes conjuntos de datos de entrenamiento específicos para cada caso, los cuales son difíciles de conseguir.
2. Aumenta la Transparencia: Reemplaza la transformación "opaca" de la regresión logística con correcciones matemáticas simples e interpretables, fundamentadas en la estadística léxica y la teoría lingüística basada en el uso.
3. Mejora la Accesibilidad: Simplifica el flujo de trabajo forense, haciendo que la derivación de LRs calibradas sea más accesible para los expertos y más fácil de explicar a los decisores legales.

Los autores concluyen que, si bien la Corrección de Hapax no domina universalmente a la regresión logística, su capacidad para mantener un desempeño comparable a través de diversas longitudes de texto y registros —sin las cargas computacionales y de datos del entrenamiento— respalda su adopción en entornos forenses para textos en lengua inglesa. El estudio postula que estas correcciones modelan efectivamente el valor de evidencia decreciente de los patrones lingüísticos repetidos, ofreciendo un enfoque científicamente más válido que la calibración estándar para esta clase específica de métodos de AV.