Probing Stylistic Appropriation using Large Language Models: An Evaluation Framework for Copyright Infringement under EU Law

Resumen Técnico: Sondeo de la Apropiación Estilística mediante Modelos de Lenguaje de Gran Escala

1. Planteamiento del Problema

El rápido avance de los Modelos de Lenguaje de Gran Escala (LLM) ha creado una brecha de cumplimiento crítica entre las salvaguardas técnicas y el derecho de autor de la UE. Los enfoques técnicos actuales para la infracción de derechos de autor se centran predominantemente en la memorización verbatim (reproducción textual exacta o casi exacta), utilizando métricas como el solapamiento de n-gramas, la distancia de edición y la similitud de embeddings. Sin embargo, la doctrina de derechos de autor de la UE, particularmente bajo la Directiva sobre los Derechos de Autor en el Mercado Único Digital (DAMD) y la Ley de IA, protege las obras basándose en la originalidad, definida como la "creación intelectual propia del autor". Las determinaciones de infracción se extienden más allá de la copia literal para abarcar la similitud sustancial en elementos expresivos, incluyendo la estructura narrativa, el desarrollo de personajes, las elecciones estilísticas y la disposición de los elementos creativos.

Los pipelines técnicos existentes no logran detectar estas formas sutiles de apropiación estilística y estructural. En consecuencia, los modelos pueden superar los benchmarks técnicos diseñados para prevenir la copia literal y, aun así, generar outputs que se apropian de elecciones expresivas protegidas (por ejemplo, la voz narrativa, la arquitectura de la trama) sin activar las salvaguardas existentes. Este documento aborda el desafío metodológico de evaluar los outputs de los LLM a escala para la similitud expresiva legalmente relevante cuando tales similitudes son cualitativas, dependientes del contexto y no verbatim.

2. Metodología: El Marco PSALM

Los autores introducen PSALM (Probing Stylistic Appropriation by Language Models), un marco de evaluación automatizado que operacionaliza la doctrina de derechos de autor de la UE mediante una arquitectura de LLM-como-juez (LLM-as-a-judge).

• Arquitectura: PSALM emplea una estructura de Grafo Acíclico Dirigido (DAG) para cada evaluador. El grafo consta de:
  • Nodos de Tarea: Analizan subdimensiones específicas de un constructo legal (por ejemplo, complejidad léxica, patrones de focalización) utilizando prompts estructurados que codifican definiciones legales y teorías narratológicas.
  • Nodo de Juicio: Agrega los outputs de los nodos de tarea, aplicando pesos heurísticos derivados de la doctrina legal y la narratología para producir un veredicto final.
  • Nodos de Veredicto: Mapean los análisis a una escala ordinal de cinco niveles (0 a 10, normalizada a 0.0–1.0), que representa categorías desde "claramente diferente" hasta "idéntico o casi idéntico".
• Evaluadores: El marco implementa 10 evaluadores divididos en dos categorías:
  1. Orientados a la Infracción (6 evaluadores): Miden la similitud a través de rasgos expresivos protegibles:
     • Estilo de Escritura: Complejidad léxica, estructura de la oración, ritmo, patrones retóricos, organización del discurso, tono.
     • Voz Narrativa: Punto de vista, distancia narrativa, presencia del narrador, perspectiva temporal, focalización, compromiso del lector.
     • Personaje: Identidad/rasgos, arco/desarrollo, relaciones, trasfondo/motivación, expresión/comportamiento, función/rol.
     • Estructura de la Trama: Secuencia de eventos/causalidad, arquitectura de la historia, construcción de conflictos, puntos de giro, estructura temporal, convergencia.
     • Secuencia de Escenas: Identidad/contenido, estructura interna, arquitectura de secuencia, transiciones, ritmo, funciones.
     • Construcción de Mundo (World Building): Diseño geográfico/espacial, reglas/sistemas, arquitectura cultural/social, diseño histórico/temporal, detalle material/sensorial, lógica/función.
  2. Orientados a la Defensa (4 evaluadores): Evalúan si las similitudes califican para excepciones estatutarias o caen dentro de elementos no protegibles:
     • Parodia/Sátira: Basado en la prueba de Deckmyn (evocación, transformación, humor, carácter crítico, equilibrio justo).
     • Pastiche: Basado en Pelham II y la opinión de la AG Emiliou (evocación de estilo, habilidad artística, homenaje, transformación, proporcionalidad).
     • Cita/Referencia: Basado en el Art. 5(3)(d) de la Directiva InfoSoc (identificación, propósito legítimo, práctica justa, atribución, divulgación previa).
     • Scènes à Faire: Evaluación de elementos típicos dictados por el género o restricciones técnicas.

3. Configuración Experimental

El estudio evalúa el marco PSALM utilizando modelos Llama 3.2 1B Instruct ajustados (fine-tuned) sobre un corpus de obras literarias históricas holandesas traducidas (de la Biblioteca Digital de la Literatura Holandesa).

• Construcción de Datos: Los textos históricos holandeses fueron convertidos en un conjunto de datos de Pregunta-Respuesta (QA) para enfatizar el aprendizaje estilístico en lugar de la copia de prompts. Los textos fueron traducidos al holandés moderno e inglés.
• Regímenes de Entrenamiento:
  • Baseline: Modelos con ajuste de instrucciones sin modificar.
  • Fine-tuned: Modelos entrenados en el conjunto de datos QA completo (sets de olvido + de retención).
  • Unlearned (Desaprendido): Modelos sometidos a Optimización de Preferencia Negativa (NPO) para "desaprender" autores o libros específicos (sets de olvido) mientras retienen otros (sets de retención).
• Evaluación: El framework compara los outputs del modelo contra los textos fuente usando evaluadores PSALM y baselines léxicos estándar (Exact Match, BLEU-4, ROUGE-L). El análisis estadístico emplea pruebas no paramétricas (Kruskal-Wallis, Mann-Whitney, Wilcoxon) y pruebas de equivalencia (TOST).

4. Resultados Clave

Los experimentos abordan tres preguntas de investigación respecto a la similitud base, el impacto del ajuste fino y la eficacia del desaprendizaje:

• RQ1: Similitud Estilística Base: Los modelos base con ajuste de instrucciones exhiben una similitud estilística base no trivial con obras protegidas antes de la exposición al corpus, particularmente en modelos en inglés que muestran un mayor solapamiento en el pre-entrenamiento con estilos de prosa de finales del siglo XIX. Sin embargo, estos puntajes generalmente caen en bandas de "algo similares" o "moderadamente similares", no en "casi idénticos".
• RQ2: Impacto del Ajuste Fino (Fine-Tuning): El ajuste fino supervisado induce una apropiación estilística sistemática en todas las dimensiones relevantes para la infracción.
  • Los modelos ajustados alcanzan puntajes cercanos al techo (0.95–1.0) en métricas computacionales, estilísticas y de contenido (Estilo de Escritura, Voz Narrativa, Personaje, Trama, Construcción de Mundo).
  • Esta apropiación se extiende mucho más allá de la memorización verbatim; los modelos reproducen patrones narrativos abstractos y voces de autor.
  • Crucialmente, el ajuste fino no aumenta los puntajes en las métricas orientadas a la defensa (Parodia, Pastiche, Cita), lo que indica que los modelos no adoptan espontáneamente comportamientos transformativos o que califican para excepciones.
• RQ3: Eficacia del Desaprendizaje (NPO): La Optimización de Preferencia Negativa reduce sustancialmente la similitud, pero no logra restaurar completamente el comportamiento base.
  • La NPO elimina eficazmente la memorización verbatim (el Exact Match cae a cero).
  • Los puntajes de similitud estilística y de contenido disminuyen significativamente (por ejemplo, de ~0.99 a ~0.30 en los sets de olvido) pero siguen siendo detectables y a menudo caen en el rango de "algo diferentes" a "moderadamente similares".
  • Similitud Residual: Las pruebas de equivalencia (TOST) confirman que los modelos desaprendidos no son estadísticamente equivalentes a los modelos base. Los patrones estilísticos residuales persisten, particularmente en los sets de retención donde los puntajes permanecen en la región de "muy similares".
  • Los efectos del lenguaje son limitados, aunque los modelos en holandés mostraron una similitud de construcción de mundo ligeramente superior que los modelos en inglés.

5. Significación y Reivindicaciones

El artículo afirma cerrar la brecha entre los estándares legales cualitativos y la medición técnica cuantitativa, exponiendo tensiones fundamentales entre la IA generativa y el derecho de propiedad intelectual de la UE.

• Contribución Metodológica: PSALM proporciona la primera infraestructura para una evaluación de cumplimiento auditable e informada legalmente que va más allá del solapamiento de la forma superficial para evaluar la apropiación estructural y estilística. Demuestra que los LLM pueden aproximarse al razonamiento dependiente del contexto de los evaluadores legales humanos cuando se fundamentan en criterios doctrinales específicos.
• Implicaciones Legales: Los hallazgos indican que las salvaguardas dirigidas únicamente a la copia literal son insuficientes para mitigar los riesgos de derechos de autor más amplios. El ajuste fino puede crear modelos que actúen como herramientas de precisión para reproducir elementos expresivos de obras específicas, mientras que las técnicas actuales de desaprendizaje (NPO) ofrecen solo una mitigación parcial, dejando patrones estilísticos residuales detectables que aún pueden constituir una similitud sustancial bajo la ley de la UE.
• Modestia y Limitaciones: Los autores declaran explícitamente que los puntajes de PSALM informan en lugar de reemplazar el juicio legal humano. La validación se basa en casos de prueba diseñados por investigadores para establecer consistencia interna y estabilidad de la medición, no la validez legal frente a adjudicaciones judiciales del mundo real. La relación entre los puntajes de similitud automatizados y las determinaciones de infracción reales requiere mayor validación por parte de expertos legales. Además, el estudio señala que el formato de QA puede representar un límite superior de la apropiación estilística en comparación con pipelines de ajuste de instrucciones más variados.

En resumen, el trabajo demuestra que, si bien el desaprendizaje técnico puede suprimir la extracción verbatim, no puede borrar completamente la "impronta" del aprendizaje estilístico y estructural, dejando una brecha de cumplimiento significativa para los desarrolladores de modelos y los titulares de derechos en la era de la IA generativa.