Probing Stylistic Appropriation using Large Language Models: An Evaluation Framework for Copyright Infringement under EU Law

Resumo Técnico: Sondagem de Apropriação Estilística utilizando Grandes Modelos de Linguagem

1. Definição do Problema

O rápido avanço dos Grandes Modelos de Linguagem (LLMs) criou uma lacuna crítica de conformidade entre as salvaguardas técnicas e o direito de autor da UE. As abordagens técnicas atuais para a infração de direitos de autor focam predominantemente na memorização verbatim (reprodução textual exata ou quase exata), utilizando métricas como sobreposição de n-grams, distância de edição e similaridade de embeddings. No entanto, a doutrina de direitos de autor da UE, particularmente sob a Diretiva sobre os Direitos de Autor no Mercado Único Digital (CDSM) e o AI Act, protege as obras com base na originalidade, definida como a "criação intelectual própria do autor". As determinações de infração estendem-se para além da cópia literal, abrangendo a similaridade substancial em elementos expressivos, incluindo estrutura narrativa, desenvolvimento de personagens, escolhas estilísticas e a organização de elementos criativos.

As pipelines técnicas existentes falham em detetar estas formas subtis de apropriação estilística e estrutural. Consequentemente, os modelos podem passar em benchmarks técnicos desenhados para prevenir a cópia literal, enquanto continuam a gerar outputs que apropriam escolhas expressivas protegidas (ex: voz narrativa, arquitetura de enredo) sem acionar as salvaguardas existentes. Este artigo aborda o desafio metodológico de avaliar outputs de LLMs em escala para similaridade expressiva juridicamente relevante, quando tais similaridades são qualitativas, dependentes de contexto e não-verbatim.

2. Metodologia: O Framework PSALM

Os autores introduzem o PSALM (Probing Stylistic Appropriation by Language Models), um framework de avaliação automatizada que operacionaliza a doutrina de direitos de autor da UE através de uma arquitetura de LLM-as-a-judge (LLM como juiz).

• Arquitetura: O PSALM utiliza uma estrutura de Grafo Acíclico Dirigido (DAG) para cada avaliador. O grafo consiste em:
  • Nós de Tarefa (Task Nodes): Analisam subdimensões específicas de um constructo jurídico (ex: complexidade lexical, padrões de focalização) utilizando prompts estruturados que codificam definições legais e teorias narratológicas.
  • Nó de Julgamento (Judgement Node): Agrega os outputs dos nós de tarefa, aplicando pesos heurísticos derivados da doutrina jurídica e da narratologia para produzir um veredito final.
  • Nós de Veredito (Verdict Nodes): Mapeiam as análises para uma escala ordinal de cinco níveis (0 a 10, normalizada para 0.0–1.0), representando categorias que vão de "claramente diferente" a "idêntico ou quase idêntico".
• Avaliadores: O framework implementa 10 avaliadores divididos em duas categorias:
  1. Orientados para a Infração (6 avaliadores): Medem a similaridade através de características expressivas protegíveis:
     • Estilo de Escrita: Complexidade lexical, estrutura de frase, ritmo, padrões retóricos, organização do discurso, tom.
     • Voz Narrativa: Ponto de vista, distância narrativa, presença do narrador, perspetiva temporal, focalização, engajamento do leitor.
     • Personagem: Identidade/traços, arco/desenvolvimento, relações, background/motivação, expressão/comportamento, função/papel.
     • Estrutura de Enredo: Sequência de eventos/causalidade, arquitetura da história, construção de conflito, pontos de viragem, estrutura temporal, convergência.
     • Sequência de Cenas: Identidade/conteúdo, estrutura interna, arquitetura de sequência, transições, ritmo (pacing), funções.
     • Construção de Mundo (World Building): Design geográfico/espacial, regras/sistemas, arquitetção cultural/social, design histórico/temporal, detalhe material/sensorial, função/lógica.
  2. Orientados para a Defesa (4 avaliadores): Avaliam se as similaridades qualificam-se para exceções estatutárias ou se recaem em elementos não protegíveis:
     • Paródia/Sátira: Baseado no teste Deckmyn (evocação, transformação, humor, caráter crítico, equilíbrio justo).
     • Pastiche: Baseado em Pelham II e na opinião de AG Emiliou (evocação de estilo, habilidade artística, homenagem, transformação, proporcionalidade).
     • Citação/Referência: Baseado no Art. 5(3)(d) da InfoSoc (identificação, propósito legítimo, prática justa, atribuição, divulgação prévia).
     • Scènes à Faire: Avaliação de elementos comuns ditados pelo género ou restrições técnicas.

3. Configuração Experimental

O estudo avalia o framework PSALM utilizando modelos Llama 3.2 1B Instruct afinados (fine-tuned) num corpus de obras literárias históricas holandesas traduzidas (da Biblioteca Digital da Literatura Holandesa).

• Construção de Dados: Textos históricos holandeses foram convertidos num dataset de Pergunta-Resposta (QA) para enfatizar a aprendizagem estilística em vez da cópia de prompts. Os textos foram traduzidos para holandês moderno e inglês.
• Regimes de Treino:
  • Baseline: Modelos ajustados por instrução (instruction-tuned) sem modificações.
  • Fine-tuned: Modelos treinados no dataset QA completo (conjuntos forget + retain).
  • Unlearned (Desaprendido): Modelos fine-tuned sujeitos a Otimização de Preferência Negativa (NPO) para "desaprender" autores ou livros específicos (conjuntos forget) enquanto retêm outros (conjuntos retain).
• Avaliação: O framework compara os outputs do modelo contra os textos de origem utilizando avaliadores PSALM e baselines lexicais padrão (Exact Match, BLEU-4, ROUGE-L). A análise estatística utiliza testes não paramétricos (Kruskal-Wallis, Mann-Whitney, Wilcoxon) e testes de equivalência (TOST).

4. Resultados Principais

Os experimentos abordam três questões de investigação relativas à similaridade baseline, o impacto do fine-tuning e a eficácia do unlearning:

• RQ1: Similaridade Estilística Baseline: Modelos base instruction-tuned exibem uma similaridade estilística baseline não trivial com obras protegidas antes da exposição ao corpus, particularmente em modelos de inglês que mostram maior sobreposição de pré-treino com estilos de prosa do final do século XIX. No entanto, estes scores geralmente caem em bandas de "algo similar" ou "moderadamente similar", não de "quase idêntico".
• RQ2: Impacto do Fine-Tuning: O supervised fine-tuning induz uma apropriação estilística sistemática em todas as dimensões relevantes para a infração.
  • Modelos fine-tuned atingem scores próximos do teto (0.95–1.0) em métricas computacionais, estilísticas e de conteúdo (Estilo de Escrita, Voz Narrativa, Personagem, Enredo, Construção de Mundo).
  • Esta apropriação estende-se muito além da memorização verbatim; os modelos reproduzem padrões narrativos abstratos e vozes autorais.
  • Crucialmente, o fine-tuning não aumenta os scores nas métricas orientadas para a defesa (Paródia, Pastiche, Citação), indicando que os modelos não adotam espontaneamente comportamentos transformativos ou que qualifiquem para exceções.
• RQ3: Eficácia do Unlearning (NPO): A Otimização de Preferência Negativa reduz substancialmente a similaridade, mas falha em restaurar totalmente o comportamento baseline.
  • O NPO elimina eficazmente a memorização verbatim (o Exact Match desce para zero).
  • Os scores de similaridade estilística e de conteúdo diminuem significativamente (ex: de ~0.99 para ~0.30 nos conjuntos forget), mas permanecem detetáveis e frequentemente caem na faixa de "algo diferente" a "moderadamente similar".
  • Similaridade Residual: Testes de equivalência (TOST) confirmam que modelos "desaprendidos" não são estatisticamente equivalentes aos modelos baseline. Os padrões estilísticos residuais persistem, particularmente nos conjuntos retain, onde os scores permanecem na região "muito similar".
  • Os efeitos de linguagem são limitados, embora os modelos de holandês tenham mostrado uma similaridade de construção de mundo ligeiramente superior aos modelos de inglês.

5. Significância e Alegações

O artigo afirma que estabelece uma ponte entre os padrões jurídicos qualitativos e a medição técnica quantitativa, expondo tensões fundamentais entre a IA generativa e o direito de propriedade intelectual da UE.

• Contribuição Metodológica: O PSALM fornece a primeira infraestrutura para uma avaliação de conformidade auditável e juridicamente informada que vai além da sobreposição de forma superficial para avaliar a apropriação estrutural e estilística. Demonstra que os LLMs podem aproximar-se do raciocínio dependente de contexto dos avaliadores humanos quando fundamentados em critérios doutrinários específicos.
• Implicações Jurídicas: Os resultados indicam que as salvaguardas que visam apenas a cópia literal são insuficientes para mitigar riscos mais amplos de direitos de autor. O fine-tuning pode criar modelos que atuam como ferramentas de precisão para a reprodução de elementos expressivos de obras específicas, enquanto as técnicas atuais de unlearning (NPO) oferecem apenas uma mitigação parcial, deixando padrões de similaridade estilística residuais detetáveis que ainda podem constituir similaridade substancial sob a lei da UE.
• Modéstia e Limitações: Os autores declaram explicitamente que os scores do PSALM informam, em vez de substituir, o julgamento jurídico humano. A validação baseia-se em casos de teste desenhados pelos investigadores para estabelecer consistência interna e estabilidade de medição, não validade jurídica contra adjudicações reais de tribunais. A relação entre scores de similaridade automatizados e determinações de infração reais requer validação adicional por especialistas jurídicos. Além disso, o estudo nota que o formato QA pode representar um limite superior para a apropriação estilística em comparação com pipelines de instrução-tuning mais variadas.

Em suma, o trabalho demonstra que, embora o unlearning técnico possa suprimir a extração verbatim, não consegue apagar totalmente a "impressão" da aprendizagem estilística e estrutural, deixando uma lacuna de conformidade significativa para desenvolvedores de modelos e detentores de direitos na era da IA generativa.