Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization

A continuación se presenta un resumen técnico detallado del artículo "Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization" de Yash Ganpat Sawant.

1. Planteamiento del Problema

El campo de la personalización de Modelos de Lenguaje Grande (LLM) carece actualmente de una metodología de evaluación rigurosa para la personalización estilística (hacer que un LLM escriba con la voz de un individuo específico). Las evaluaciones existentes se centran en:

• Precisión de la Tarea: (ej. LaMP)
• Alineación de Preferencias: (ej. PersonalLLM)
• Persona Conversacional: (ej. PersonaLens utilizando LLM como juez)

La Brecha: Ninguno de estos métodos evalúa la fidelidad de autoría, es decir, si el texto generado posee realmente la "huella dactilar" subyacente del autor humano objetivo. Las métricas actuales son "ad hoc", carecen de fundamentación teórica en la ciencia de la autoría, lo que conduce a puntuaciones no calibradas y conclusiones potencialmente engañosas sobre el rendimiento del modelo.

2. Metodología

Los autores proponen un marco de evaluación fundamentado en la teoría que contrasta la teoría establecida de verificación de autoría con alternativas ad hoc.

Datos y Configuración

• Corpus: Blog Authorship Corpus (681K publicaciones, 19k blogueros).
• Subconjunto: 50 autores con datos suficientes (≥200 publicaciones de entrenamiento, ≥50 publicaciones de prueba).
• Generaciones: 1.000 generaciones totales (50 autores × 5 prompts × 4 métodos).
• Prompts: Utiliza resúmenes de contenido neutrales (extraídos por LLM) para evitar la contaminación del prompt (ej. filtrar la primera frase del autor).
• Modelos: Generador principal: Qwen 3 (32B); Replicación: GLM-4 (32B).

Cuatro Métodos de Personalización en Tiempo de Inferencia Probados

1. No Personalizado: Grupo de control (solo resumen de contenido).
2. Few-Shot: 5 muestras del autor proporcionadas sin instrucción explícita.
3. Extracción de Perfil: Proceso de dos etapas (extraer perfil de estilo abstracto $\rightarrow$ generar a partir del perfil).
4. Contrastivo: Muestras del autor + ejemplos contrastivos de otros autores + características estilométricas.

Tres Métricas de Evaluación

El estudio evalúa estos métodos utilizando tres métricas distintas de diferentes tradiciones:

1. LUAR (Principal - Fundamentada en la Teoría): Learning Universal Authorship Representations. Un modelo transformer entrenado mediante aprendizaje contrastivo en millones de publicaciones de Reddit para producir incrustaciones discriminativas de autoría.
   • Métrica: Similitud coseno entre las incrustaciones agregadas del texto generado y el texto real del autor.
   • Ventaja: Proporciona líneas base calibradas (Techo Humano y Suelo Inter-Autor).
2. LLM como Juez (Secundaria - Ad Hoc): Un protocolo binario desacoplado utilizando GLM-4.
   • Proceso: Extraer 5 rasgos de estilo por autor $\rightarrow$ Puntuar la generación en rasgos $\rightarrow$ Juzgar la plausibilidad de mismo autor.
   • Métrica: Tasa de Coincidencia de Rasgos (TMR).
3. Estilometría Automatizada (Terciaria - Clásica):
   • Métrica: Similitud coseno de palabras funcionales (FuncCos) sobre 60 palabras funcionales comunes (Argamon et al., 2003).

3. Contribuciones Clave

1. Líneas Base Calibradas para Autoría: El artículo introduce el primer marco de evaluación para la personalización estilística fundamentado en la teoría de verificación de autoría, estableciendo significados absolutos de puntuación (Techo: 0.756, Suelo: 0.626).
2. Descubrimiento de la "Brecha de Autoría": Demuestra que los métodos actuales de personalización en tiempo de inferencia no logran desplazar la huella dactilar estilística del LLM hacia el humano objetivo, dejando el texto generado significativamente más distante del autor objetivo que lo que están los humanos aleatorios entre sí.
3. Fallo de Validez de Constructo: El estudio prueba que las métricas ad hoc (jueces LLM) y las métricas clásicas (estilometría) miden constructos diferentes a la verificación de autoría, lo que conduce a correlaciones cercanas a cero ($|r| < 0.07$) y conclusiones contradictorias.
4. Identificación de Evaluación Circular: Expone cómo los métodos de "Extracción de Perfil" inflan artificialmente las puntuaciones de los jueces LLM optimizando para los mismos rasgos que el juez extrae, en lugar de una fidelidad estilística genuina.

4. Resultados Clave

La Brecha de Autoría

• Puntuaciones LUAR: Los cuatro métodos de personalización obtuvieron puntuaciones entre 0.484 y 0.508.
• El Suelo: El "Suelo Humano Inter-Autor" (similitud entre dos humanos diferentes) es 0.626.
• El Techo: El "Techo Humano de Mismo Autor" es 0.756.
• Conclusión: Todo el texto generado por LLM obtuvo puntuaciones por debajo del suelo humano inter-autor. Esto significa que la salida personalizada del LLM es estilísticamente menos similar al autor objetivo que un humano aleatorio lo es con otro humano aleatorio. La propia "huella dactilar" del LLM domina la salida.

Discrepancia de Métricas y Validez

• Correlación: Las tres métricas mostraron correlaciones pareadas cercanas a cero ($|r| < 0.07$).
• La Ilusión del "Ganador": El LLM como Juez (TMR) declaró a la Extracción de Perfil como el claro ganador (tamaño del efecto $d=0.58$). Sin embargo, LUAR no encontró ninguna diferenciación significativa entre los métodos.
• Razón de la Discrepancia: La Extracción de Perfil optimiza para rasgos extraíbles por LLM. Dado que el Juez también utiliza un LLM para extraer rasgos, el método está "jugando" al juez. Los autores reales obtuvieron puntuaciones más bajas (0.427) en TMR que el método de Extracción de Perfil (0.542), demostrando que TMR mide el seguimiento de instrucciones, no la fidelidad de autoría.
• Estilometría: FuncCos mostró líneas base colapsadas (Techo 0.742 vs. Suelo 0.695), fallando en distinguir efectivamente el texto de mismo autor del texto inter-autor.

Robustez

• Cruzado entre Modelos: La replicación con GLM-4 confirmó que la brecha persiste (puntuaciones 0.417–0.576, aún por debajo del suelo de 0.626).
• Espacio de Incrustaciones: Los LLM ocupan una región distinta en el espacio de incrustaciones LUAR. Si bien la personalización modula la salida dentro del espacio de estilo del LLM (Gen$\leftrightarrow$Gen AUC=0.918), no puede cerrar la brecha hacia la variedad humana (Gen$\leftrightarrow$Real AUC $\approx$ 0.45–0.49).

Confusión Metodológica

• Contaminación del Prompt: Utilizar la primera frase de una publicación objetivo como prompt infló la similitud de la línea base no personalizada en 28 puntos porcentuales, enmascarando la verdadera brecha de rendimiento. Se requieren resúmenes de contenido neutrales para una evaluación válida.

5. Significado e Implicaciones

• Ciclo Teoría-Benchmark: El artículo demuestra un ciclo virtuoso donde la Teoría de Autoría (Stamatatos, Rivera-Soto) genera predicciones comprobables (los LLM no pueden borrar completamente su huella dactilar) y los Benchmarks (LUAR) las confirman con mediciones calibradas.
• Redefinición de la Evaluación: Argumenta que la precisión de la tarea y la alineación de preferencias son insuficientes para la personalización estilística. Los futuros benchmarks deben utilizar métricas fundamentadas en la teoría con líneas base calibradas para evitar un progreso "alucinado".
• Limitación Estructural: Los hallazgos sugieren una limitación fundamental de la personalización en tiempo de inferencia. La huella dactilar estilística inherente del LLM es robusta y no puede ser anulada solo por prompts o aprendizaje few-shot; cerrar la brecha puede requerir enfoques en tiempo de entrenamiento (ej. adaptadores LoRA).
• Herramienta Diagnóstica: La discrepancia de métricas debe tratarse como una señal de fallo de validez de constructo en lugar de una oportunidad para promediar puntuaciones.

En resumen, el artículo expone un fallo crítico en la investigación actual de personalización de LLM: si bien los modelos pueden seguir instrucciones para imitar rasgos, actualmente no pueden replicar la profunda huella dactilar de autoría estructural de un humano específico, un hecho invisible para las métricas de evaluación no calibradas y ad hoc.