GerAV: Towards New Heights in German Authorship Verification using Fine-Tuned LLMs on a New Benchmark

Resumen Técnico: GerAV

1. Problema y Contexto

La Verificación de Autoría (AV) es la tarea de determinar si dos textos fueron escritos por el mismo autor. Aunque este campo ha sido ampliamente estudiado, la literatura actual presenta dos brechas críticas:

1. Dominio del Inglés: La gran mayoría de los benchmarks y evaluaciones sistemáticas se centran en datos en inglés, ignorando las dependencias lingüísticas y estilísticas específicas de otros idiomas.
2. Evaluación de LLMs: El potencial de los Grandes Modelos de Lenguaje (LLMs) para la AV está subexplorado, especialmente en comparación con métodos tradicionales basados en características o redes neuronales. Además, faltan evaluaciones exhaustivas que comparen modelos zero-shot, fine-tuned y baselines clásicos en un entorno controlado.

El objetivo del trabajo es llenar estas brechas introduciendo un benchmark robusto para el alemán y evaluando sistemáticamente el rendimiento de LLMs modernos en esta tarea.

2. Metodología

A. El Benchmark GerAV
Los autores introducen GerAV, un benchmark exhaustivo para la verificación de autoría en alemán, compuesto por más de 400.000 pares de textos etiquetados. Los datos provienen de dos plataformas principales:

• Reddit: Dividido en tres subconjuntos para análisis controlado:
  • In-Domain (rid): Pares de textos del mismo subtema (subreddit).
  • Cross-Domain (rcd): Pares de textos de diferentes subtemas (desafío de generalización).
  • Profile-Based (rpb): Concatenación de múltiples publicaciones de un mismo perfil para simular escenarios con más datos.
• Twitter (tw): Publicaciones cortas en alemán.
• Mixed (mix): Una combinación equilibrada de todas las fuentes anteriores.

El preprocesamiento incluye filtrado de bots, eliminación de menciones y URLs, y un umbral mínimo de longitud (25 palabras) para asegurar características estilísticas significativas.

B. Configuración Experimental
Se realizó una comparación amplia de tres categorías de modelos:

1. Baselines Establecidos: Métodos basados en características (n-gramas, ppm), redes neuronales (hlstm, sbert) y modelos de incrustación de estilo multilingüe (mStyleDistance, msr).
2. LLMs Zero-Shot: Evaluación de modelos como Gemma-3, Llama-3, Qwen-2.5 y GPT-5 sin entrenamiento previo, utilizando prompts directos y estrategias de Linguistically Informed Prompting (LIP).
3. LLMs Fine-Tuned: Entrenamiento de adaptadores LoRA (Low-Rank Adaptation) en cuatro LLMs de código abierto (Gemma-3-12b, Llama-3.1-8b, Llama-3.2-3b, Qwen-2.5-7b) utilizando los conjuntos de entrenamiento de GerAV.

C. Métricas de Evaluación
Se utilizaron Precisión, Recall, F1-Score y ROC AUC. Para los modelos baselines y zero-shot, se optimizó un umbral de decisión utilizando el estadístico J de Youden en el conjunto de validación.

3. Contribuciones Clave

1. GerAV Benchmark: Creación de uno de los benchmarks más grandes para AV en alemán, permitiendo análisis de fuentes de datos, dominios temáticos y longitud de texto.
2. Evaluación Exhaustiva: La comparación más completa hasta la fecha que incluye LLMs recientes (zero-shot y fine-tuned) contra una amplia gama de baselines tradicionales.
3. Modelos SOTA para Alemán: Demostración de que los LLMs ajustados (especialmente Gemma-3-12b) superan significativamente a los métodos existentes.
4. Análisis de Generalización: Estudio detallado del trade-off entre especialización (entrenar en un dominio específico) y generalización (entrenar en datos mixtos), así como el impacto de la longitud del texto y la escasez de datos.

4. Resultados Principales

• Rendimiento Superior de LLMs Fine-Tuned:

  • El modelo Gemma-3-12b, ajustado en el conjunto de datos mixto, alcanzó un F1-Score promedio de 0.83 en todas las divisiones de prueba.
  • Esto supera al mejor baseline tradicional (msr, F1=0.74) en 0.09 puntos y a GPT-5 en configuración zero-shot en 0.08 puntos (en un subconjunto de prueba).
  • Los modelos fine-tuned superaron consistentemente a las versiones zero-shot y a los baselines clásicos.

• Impacto de la Mezcla de Datos (Generalización):

  • Los modelos entrenados con datos mixtos (de Reddit y Twitter, in-domain y cross-domain) mostraron la mayor robustez.
  • Aunque los modelos entrenados específicamente en un dominio (ej. solo Reddit in-domain) obtienen mejores resultados en ese dominio específico, pierden capacidad de generalización en otros. La combinación de fuentes mitiga este problema.

• Efecto de la Longitud del Texto:

  • Existe una fuerte correlación positiva entre la longitud del texto y el F1-Score (ρ ≈ 0.94).
  • Con textos muy cortos (25 palabras), el F1 es ~0.78, acercándose a 1.0 en textos largos (900 palabras).
  • Los modelos fine-tuned con datos que incluyen ejemplos largos aprovechan mejor esta información que los baselines.

• Escenarios de Bajo Recurso y Cross-Lingual:

  • Reducción de Datos: Reducir el conjunto de entrenamiento a una cuarta parte (20k muestras) solo causó una caída de 0.04 en el F1, demostrando la eficiencia de la adaptación LoRA.
  • Idioma Específico: Un modelo entrenado en inglés y probado en alemán (y viceversa) mostró una caída significativa de rendimiento (0.12 puntos de F1), subrayando la necesidad de datos y modelos específicos para cada idioma.

5. Significado e Implicaciones

• Avance en NLP Multilingüe: GerAV establece un nuevo estándar para la investigación de autoría en idiomas distintos al inglés, demostrando que las soluciones no son directamente transferibles entre idiomas.
• Viabilidad Forense: Los resultados sugieren que los LLMs fine-tuned son herramientas viables y superiores para aplicaciones forenses reales (como la identificación de autores en foros oscuros o redes sociales), ofreciendo un control total sobre los datos y la reproducibilidad al ser modelos de código abierto.
• Dirección Futura: El trabajo resalta que, aunque los LLMs son potentes, la interpretabilidad sigue siendo un desafío. Se recomienda futuras investigaciones enfocadas en explicar las decisiones del modelo y extender estos benchmarks a más idiomas de bajos recursos.

En conclusión, el artículo demuestra que la combinación de un benchmark diverso (GerAV) y la adaptación eficiente de LLMs (LoRA) permite alcanzar nuevos niveles de precisión en la verificación de autoría en alemán, superando tanto a los métodos tradicionales como a los modelos comerciales más avanzados en configuración zero-shot.