Explainable Disentangled Representation Learning for Generalizable Authorship Attribution in the Era of Generative AI

1. El Problema: Entrelazamiento Contenido-Estilo y Confusión Temática

La atribución de autoría (identificar quién escribió un texto) y la detección de texto generado por IA son tareas críticas en el panorama digital actual. Sin embargo, los métodos existentes enfrentan un desafío fundamental conocido como problema de confusión de contenido (o content confounding).

• La Raíz del Problema: Los modelos actuales a menudo aprenden correlaciones espurias entre la identidad del autor y los temas específicos que discute, en lugar de capturar el estilo de escritura intrínseco y agnóstico al tema.
• Consecuencia: Esto lleva a una mala generalización entre dominios. Por ejemplo, un modelo podría identificar incorrectamente un texto como obra de Arthur Conan Doyle simplemente porque trata sobre "ficción de detectives", ignorando que el estilo real pertenece a otro autor.
• Limitaciones Actuales: Los enfoques de disociación (disentanglement) existentes suelen utilizar un solo codificador (encoder) que mezcla estilo y contenido en una única representación, o dependen de modelos de lenguaje pequeños (SLMs) con capacidad limitada. Además, carecen de interpretabilidad, lo que dificulta entender qué características estilísticas impulsan la decisión.

2. Metodología: EAVAE (Explainable Authorship Variational Autoencoder)

Para abordar estos desafíos, los autores proponen EAVAE, un marco novedoso que separa explícitamente el estilo del contenido mediante una separación arquitectónica por diseño y un entrenamiento adversarial explicativo. El enfoque consta de dos etapas principales:

A. Pre-entrenamiento Contrastivo Supervisado

• Objetivo: Establecer representaciones autorales robustas antes de la descomposición.
• Proceso: Se utiliza un codificador basado en Grandes Modelos de Lenguaje (LLM) entrenado con aprendizaje contrastivo supervisado en un corpus masivo y diverso de datos de autoría.
• Técnicas Clave:
  • Minería de Negativos Difíciles (Hard Negative Mining): Se utilizan algoritmos como BM25 para encontrar documentos de diferentes autores que son léxicamente similares pero estilísticamente distintos, forzando al modelo a aprender diferencias sutiles.
  • Atención Bidireccional: Se incorpora en el LLM para capturar dependencias contextuales completas, mejorando la calidad de la representación.

B. Ajuste Fino con VAE Desentrelazado Explicable

Esta es la etapa central donde se logra la separación real del estilo y el contenido.

1. Arquitectura de Doble Codificador (Separación por Diseño):

   • Se emplean dos codificadores separados: uno para Estilo ($E_s$) y otro para Contenido ($E_c$).
   • Cada uno mapea el documento a espacios latentes independientes ($z_s$ y $z_c$), asumiendo independencia entre las distribuciones.
   • Un reconstructor compartido intenta generar el documento original a partir de la combinación de ambos latentes, asegurando que la información no se pierda.

2. Discriminador Explicable (Explainable Discriminator):

   • En lugar de un clasificador simple, se introduce un discriminador que realiza dos tareas:
     • Determinar si un par de representaciones de estilo pertenece al mismo autor.
     • Determinar si un par de representaciones de contenido pertenece al mismo tema.
   • Innovación Clave: Este discriminador no solo clasifica, sino que genera explicaciones en lenguaje natural justificando su decisión (ej. "Estas dos muestras tienen el mismo autor debido al uso de frases subordinadas específicas").
   • Esto actúa como una fuerza adversarial que penaliza cualquier correlación espuria entre estilo y contenido, mejorando la interpretabilidad.

3. Generador con Prompting Híbrido:

   • Se utiliza una arquitectura unificada para la reconstrucción y la discriminación.
   • Se emplea un mecanismo de prompting híbrido que combina plantillas fijas con soft prompts aprendibles. Los embeddings de las representaciones latentes reemplazan a los placeholders en el prompt, permitiendo que el modelo se adapte fluidamente a las tareas de reconstrucción o discriminación dentro de una misma red.

Función de Pérdida: El objetivo final combina la pérdida de reconstrucción del VAE ($L_{vae}$) y la pérdida de discriminación explicativa ($L_{dis}$), equilibradas por un hiperparámetro $\lambda$.

3. Contribuciones Clave

1. Marco de Representación Desentrelazada: Introducción de EAVAE, diseñado específicamente para la atribución de autoría robusta a través de dominios, utilizando una arquitectura VAE que separa explícitamente estilo y contenido.
2. Objetivo Discriminativo Explicable: Propuesta de un nuevo objetivo adversarial que no solo fuerza la independencia entre estilo y contenido, sino que proporciona explicaciones en lenguaje natural sobre las decisiones del modelo, aumentando la transparencia.
3. Rendimiento de Estado del Arte (SOTA): Demostración de resultados superiores en benchmarks desafiantes de atribución de autoría y detección de texto generado por IA, validando la generalización del enfoque.

4. Resultados Experimentales

Los autores evaluaron EAVAE en tareas de atribución de autoría y detección de texto generado por IA (AGTD).

• Atribución de Autoría (Nivel de Documento y Autor):

  • Datasets: Amazon Reviews, PAN21 y el corpus HRS (5 dominios heterogéneos).
  • Resultados: EAVAE superó consistentemente a los baselines más fuertes (como LUAR y métodos previos de Man & Nguyen).
    • En Amazon Reviews, logró un 97.0% de MRR y 99.0% de Recall@8.
    • En el corpus HRS (donde la confusión temática es alta), mejoró el MRR en +10.7 puntos y el Recall@8 en +27.4 puntos respecto al estado del arte anterior, demostrando una capacidad superior para generalizar entre temas diversos.
  • Estudios de Ablación: Confirmaron que la "separación por diseño" (codificadores separados) es el componente más crítico, seguido por el discriminador explicable. Sin ellos, el rendimiento cae drásticamente.

• Detección de Texto Generado por IA:

  • Dataset: M4 (incluye ArXiv, WikiHow, Wikipedia, etc.).
  • Configuración: Aprendizaje few-shot (pocos ejemplos) y detección de múltiples objetivos.
  • Resultados: EAVAE mostró un rendimiento competitivo y robusto sin necesidad de ajuste fino específico para la tarea de detección, logrando promedios de pAUC@1 de 65.7% (detección de objetivo único) y 62.0% (múltiples objetivos), superando a modelos basados en contrastes puros.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

1. Solución al Problema de Generalización: Demuestra que separar explícitamente el estilo del contenido mediante arquitectura es más efectivo que intentar aprender representaciones holísticas, especialmente en escenarios donde el tema y el autor están correlacionados.
2. Interpretabilidad en IA: En un campo dominado por "cajas negras", la capacidad de EAVAE para generar explicaciones naturales sobre por qué dos textos comparten un estilo o un tema añade una capa crucial de confianza y utilidad forense.
3. Adaptabilidad a la Era de la IA Generativa: El marco no solo sirve para atribuir autoría humana, sino que sus representaciones de estilo desentrelazadas son altamente efectivas para detectar texto generado por LLMs, incluso en configuraciones de pocos ejemplos (few-shot), lo cual es vital ante la rápida evolución de los modelos generativos.

En conclusión, EAVAE establece un nuevo estándar para el análisis de autoría al combinar la potencia de los LLMs con principios de aprendizaje no supervisado (VAE) y explicabilidad, ofreciendo una solución robusta y generalizable para distinguir la "huella digital" del autor del contenido que escribe.