🤖 AI

Measuring Embedding Sensitivity to Authorial Style in French: Comparing Literary Texts with Language Model Rewritings

Este artigo investiga o quanto as representações vetoriais de modelos de linguagem em francês capturam e retêm características estilísticas autorais após a reescrita, demonstrando que esses sinais persistem e exibem padrões específicos do modelo, oferecendo assim novas vias para a detecção de imitação de autoria.

Autores originais: Benjamin Icard, Lila Sainero, Alice Breton, Evangelia Zve, Jean-Gabriel Ganascia

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Benjamin Icard, Lila Sainero, Alice Breton, Evangelia Zve, Jean-Gabriel Ganascia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Pergunta: A IA consegue "fingir" a alma de um escritor?

Imagine que você tem um grupo de chefs famosos (como Proust, Céline e Yourcenar). Cada um tem uma maneira única de cozinhar: um usa receitas longas e complexas com ingredientes sofisticados; outro cozinha rápido, barulhento e bagunçado; o terceiro é preciso e histórico.

Agora, imagine um chef-robô superinteligente (uma IA ou Modelo de Linguagem de Grande Porte) que tenta copiar esses chefs humanos. O robô recebe a instrução: "Cozinhe este prato específico (uma viagem de ônibus em Paris), mas faça com que tenha exatamente o mesmo sabor do Chef Proust."

A grande pergunta que este artigo faz é: Se dermos uma mordida na comida do robô, ainda conseguiremos saborear o "sabor" único do chef humano, ou o gosto mecânico do robô assume o controle?

No mundo dos computadores, o "sabor" é medido usando embeddings. Pense nos embeddings como uma impressão digital digital ou uma coordenada GPS para um trecho de texto. Cada frase recebe um conjunto específico de números que diz ao computador onde ela vive em um mapa gigante da linguagem.

O Experimento: O Teste da "Viagem de Ônibus"

Os pesquisadores montaram um experimento controlado usando literatura francesa:

A Receita Base (O Tema): Eles começaram com um livro de Stéphane Tufféry que conta exatamente a mesma história (uma viagem de ônibus em Paris), mas escrita em muitos estilos diferentes. Isso garante que a história seja a mesma, para que quaisquer diferenças sejam puramente sobre o estilo.
Os Chefes Humanos: Eles pegaram textos de três autores franceses reais:
- Proust: Conhecido por frases longas, fluidas e complexas.
- Céline: Conhecido por frases curtas, impactantes e que soam como fala.
- Yourcenar: Conhecida por escrita equilibrada, histórica e precisa.
Os Chefes Robôs: Eles pediram a três modelos de IA diferentes (GPT, Mistral e Gemini) que reescrevessem a história da "Viagem de Ônibus", tentando copiar o estilo de Proust, Céline e Yourcenar.

Como Eles Mediram o "Sabor"

Os pesquisadores não apenas pediram que humanos lessem os textos. Em vez disso, usaram um mapa matemático (chamado UMAP) para plotar onde todos esses textos aterrissaram.

O Mapa Humano: Quando eles plotaram os autores humanos reais, seus textos formaram ilhas distintas e separadas. Os textos de Proust estavam em um agrupamento, os de Céline em outro e os de Yourcenar em um terceiro.
O Mapa Robô: Quando eles plotaram os textos gerados pela IA, queriam ver se os robôs conseguiram aterrissar nas mesmas ilhas que os humanos ou se desviaram para sua própria "Zona Robô".

Eles mediram a dispersão, que é como medir o quão espalhado um grupo de pessoas está em uma sala.

Se a IA copiou com sucesso o estilo, os textos da IA deveriam estar agrupados firmemente junto com os textos humanos (baixa dispersão).
Se a IA falhou, os textos da IA se espalhariam para longe dos humanos (alta dispersão).

O Que Eles Encontraram

1. Os Robôs Podem Imitar, Mas Não Perfeitamente
O estudo descobriu que os modelos de IA de fato capturaram alguns dos estilos dos autores humanos. Os textos do "Robô Proust" aterrissaram mais perto do "Proust Real" do que do "Céline Real". No entanto, a conexão não foi perfeita. Os textos da IA eram como uma fotocópia ligeiramente borrada do original; a "impressão digital" estava lá, mas mais fraca.

2. Diferentes Robôs Têm Diferentes "Mãos"
Assim como um chef humano pode ser melhor em assar do que em fritar, diferentes modelos de IA foram melhores em copiar diferentes autores:

Mistral foi o melhor em copiar o estilo complexo de Proust.
GPT foi surpreendentemente bom em capturar o estilo bagunçado e falado de Céline.
Gemini se saiu bem com a precisão histórica de Yourcenar.

3. O "Sabor" Muda Dependendo de Quem Você Pergunta
Os pesquisadores notaram algo interessante: a maneira como eles mediam o "sabor" importava.

Se olhassem para características de superfície (como quantas vírgulas ou palavras curtas foram usadas), um robô parecia a melhor cópia.
Se olhassem para características estruturais mais profundas (como a complexidade da estrutura da frase), um diferente robô parecia a melhor cópia.

É como julgar uma pintura: se você olhar apenas para as cores, um artista vence. Se olhar para as pinceladas, um artista diferente vence. Os modelos de IA preservaram partes diferentes do estilo humano, dependendo de qual parte da "impressão digital" você estava verificando.

A Conclusão

O artigo conclui que os embeddings de IA são sensíveis ao estilo humano, mas o sinal fica mais fraco e distorcido após a reescrita.

Pense nisso como um jogo de "Telefone".

Rodada 1: Um humano sussurra uma história para outro humano. A mensagem permanece basicamente a mesma, mas a voz muda ligeiramente.
Rodada 2: Um humano sussurra para um robô, e o robô sussurra de volta. O robô pega a ideia geral da história, mas a "voz" única do humano original fica embaraçada.

O estudo mostra que, embora a IA possa imitar a aparência de um autor famoso, a "alma" matemática profunda da escrita desse autor é apenas parcialmente preservada. Isso significa que, no futuro, poderemos detectar se um texto foi escrito por um humano ou por uma IA observando o quão "embaçadas" ou "distorcidas" essas impressões digitais de estilo estão.

Nota Importante: O artigo não afirma que essa tecnologia está pronta para pegar trapaceiros de IA em tempo real ou para ser usada em tribunais. É um estudo preliminar mostrando que o "sinal de estilo" existe, mas é frágil. Os autores sugerem que isso é apenas o início da compreensão de como a IA lida com a criatividade humana.

Resumo Técnico: Medição da Sensibilidade de Embeddings ao Estilo Autoral em Francês

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) possam imitar convincentemente estilos de escrita humana, permanece incerto quanto da informação estilística é codificada nos embeddings de modelos de linguagem e o quão bem esses sinais são mantidos após a reescrita por LLMs. As análises existentes baseadas em embeddings frequentemente priorizam tarefas semânticas (por exemplo, modelagem de tópicos) em detrimento de características estilísticas. Este artigo investiga se os embeddings capturam de forma confiável características estilísticas autorais em textos literários franceses e até que ponto esses sinais persistem quando os textos são reescritos por LLMs para imitar autores específicos.

Metodologia
O estudo emprega um desenho experimental controlado utilizando um conjunto de dados de 1.248 textos literários franceses, dividido em três componentes:

Corpo de Referência (Autoria Humana):
- TUFFERY_REF: 96 textos de Le style mode d'emploi, de Stéphane Tufféry, todos compartilhando um único tópico (uma viagem de ônibus em Paris), mas variando em estilo (incluindo pastiches de autores principais).
- STYLE_REF: 288 textos de três autores distintos — Proust (Du côté de chez Swann), Céline (Voyage au bout de la nuit) e Yourcenar (Mémoires d'Hadrien) — representando perfis estilísticos diversos (complexidade estrutural, registro falado e ancoragem histórica, respectivamente).
Corpo Gerado (Imitações por LLM):
- STYLE_GEN: 864 textos gerados ao instruir três LLMs (GPT-4o, Mistral-large-2411 e Gemini-1.5-flash) a reescrever os textos de TUFFERY_REF nos estilos dos três autores do STYLE_REF. Isso cria um conjunto de dados com tópico fixo e estilo variável.
Vetorização e Análise:
- Todos os textos foram codificados utilizando 13 modelos de embedding diferentes (variando de 384 a 1536 dimensões), selecionados pela diversidade arquitetônica e desempenho no Massive Text Embedding Benchmark (MTEB).
- Validação de Agrupamento: Agrupamento K-means (k=3) e Aproximação e Projeção de Variedade Uniforme (UMAP) foram utilizados para avaliar a separabilidade dos três grupos do corpo de dados (TUFFERY, STYLE_REF, STYLE_GEN) no espaço de embeddings.
- Métricas de Sensibilidade: A análise central mede a dispersão de embeddings (distância euclidiana dos centróides de classe no espaço UMAP 2D) contra mudanças em características estilísticas. Cinco famílias de características estilísticas foram rastreadas: Estrutural (comprimento de palavra/frase), Morfossintaxe (tags POS), Léxico (entropia de Shannon, frequências de letras) e Referencialidade (densidade de Reconhecimento de Entidades Nomeadas).
- Análise de Correlação: Correlações de Pearson foram computadas entre a mudança na dispersão de embeddings ( $\Delta d$ ) e a mudança nas frequências de características estilísticas ( $\Delta f_s$ ) em relação à linha de base TUFFERY_REF. Isso foi realizado tanto para textos de autoria humana (STYLE_REF) quanto para imitações geradas por LLM (STYLE_GEN).

Principais Resultados

Sensibilidade de Embeddings ao Estilo Humano: Os embeddings capturam de forma confiável características estilísticas autorais. Correlações significativas, embora moderadas a fracas, foram encontradas entre as mudanças na dispersão de embeddings e as mudanças nas características estilísticas.
- Proust: Sensibilidade ampla em Entidades Nomeadas (NER), letras, características estruturais e tags POS.
- Céline: Sensibilidade concentrada em frequências de letras, NER e entropia.
- Yourcenar: Dominada pela sensibilidade ao NER (densidade referencial).
Persistência Após Reescrita: Sinais estilísticos persistem após a reescrita por LLM, mas são atenuados e reponderados.
- Imitações de Proust: Mantiveram um perfil amplo, mas com sensibilidade reduzida em características estruturais e de letras.
- Imitações de Céline: Apresentaram a maior fidelidade estilística entre as classes geradas, preservando os marcadores de registro falado (letras) enquanto sobrepesavam a referencialidade.
- Imitações de Yourcenar: Mantiveram a ancoragem baseada em NER, mas com diluição parcial e uma mudança em direção às frequências de letras.
Padrões Específicos de LLM: Diferentes LLMs preservam aspectos distintos do estilo autoral. Por exemplo, o Mistral preservou melhor o perfil amplo de Proust, enquanto o GPT mostrou maior fidelidade aos padrões definidores de Céline e Yourcenar em comparação com outros modelos, apesar de o GPT ter menor "precisão de transferência" geral em um classificador de nível superficial.
Divergência de Métricas: O estudo destaca uma divergência entre a precisão de transferência de estilo em nível superficial (medida por n-gramas de caracteres) e a fidelidade estilística baseada em embeddings. Um modelo pode pontuar mais baixo na precisão superficial, mas preservar melhor os padrões estruturais ou referenciais profundos que definem o perfil de embeddings de um autor.

Significado e Alegações
O artigo alega que seus resultados analíticos oferecem direções promissoras para a detecção de imitação de autoria na era dos modelos de linguagem. Ao rastrear como características estilísticas específicas são preservadas ou alteradas através da reescrita generativa, o estudo complementa as avaliações tradicionais de transferência de estilo. Sugere-se que desvios de uma linha de base humana no espaço de embeddings, especificamente no que tange a padrões de transformação estilística, podem servir como indicadores de imitação baseada em LLM.

Os autores permanecem modestos em relação às suas descobertas, observando que:

As correlações observadas são significativas, mas moderadas em magnitude.
O estudo limita-se a textos literários franceses e a um conjunto específico de autores; a generalização para outros idiomas ou gêneros não literários requer validação adicional.
O inventário de características estilísticas é adaptado aos autores específicos estudados e pode não ser exaustivo.
A dependência do UMAP 2D para visualização introduz distorções que requerem investigação adicional.

Em última análise, o trabalho fornece uma estrutura para quantificar a sensibilidade dos vetores de embedding ao estilo e a extensão na qual os LLMs preservam ou alteram essa sensibilidade durante a transferência de estilo.