Can You Make It Sound Like You? Post-Editing LLM-Generated Text for Personal Style

1. Declaração do Problema

Enquanto os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados para escrita profissional, sua adoção em tarefas de escrita pessoal (por exemplo, votos de casamento, cartas de desculpas, eulogias) permanece controversa. Os usuários frequentemente temem que a assistência de IA comprometa a autenticidade e o estilo pessoal.

Pesquisas anteriores sugerem que os usuários estão dispostos a usar IA para planejamento, mas resistem a ela durante as etapas de "tradução" (rascunho) e "revisão", pois essas moldam diretamente a expressão estilística. Este artigo investiga um fluxo de trabalho colaborativo específico: Pós-edição. A questão central de pesquisa é: Os usuários podem editar efetivamente rascunhos gerados por LLM para reintroduzir seu estilo pessoal único, e esse processo resulta em texto que é perceptiva e tecnicamente indistinguível de sua escrita sem assistência?

2. Metodologia

Desenho do Estudo

Os autores conduziram um estudo online pré-registrado e aprovado pelo IRB com N=81 participantes (recrutados no Prolific, filtrados por fluência em inglês).

• Tarefas: Os participantes selecionaram 6 tarefas de escrita de um conjunto de 8 cenários onde o estilo pessoal é crítico (por exemplo, votos de casamento, cartas de desculpas, cartas de condolências).
• Condições: O estudo utilizou um desenho intra-sujeitos com dois blocos:
  1. Bloco de Controle: Os participantes planejaram detalhes e escreveram o texto inteiramente do zero (sem assistência).
  2. Bloco de Tratamento: Os participantes planejaram os mesmos detalhes, receberam um rascunho gerado por LLM (baseado em seu plano) e, em seguida, pós-editaram o rascunho para refletir seu estilo pessoal.
• Métricas:
  • Semelhança Estilística: Medida usando embeddings LUAR (Rivera-Soto et al., 2021), especificamente o modelo LUAR-MUD, que captura o estilo de autoria via similaridade cosseno.
  • Detecção de IA: Medida usando pontuações PANGRAM para estimar a probabilidade de o texto ser gerado por IA.
  • Aceitabilidade Linguística: Avaliada usando um modelo baseado em CoLA para avaliar a correção gramatical.
  • Auto-relatos: Os participantes avaliaram a autenticidade estilística percebida, a usabilidade e a dificuldade da tarefa.

Hipóteses

O estudo testou três hipóteses principais:

• H1 (Autenticidade): A pós-edição fará com que o texto de LLM soe mais como a escrita sem assistência do usuário e menos como a saída bruta de LLM.
• H2 (Homogeneidade): O texto pós-editado formará um "terceiro" estilo distinto — mais homogêneo que a escrita humana, mas menos que a saída bruta de LLM.
• H3 (Percepção): A percepção do usuário sobre a semelhança estilística alinhar-se-á com a semelhança medida pelo modelo.

3. Contribuições e Resultados Principais

A. Eficácia da Pós-edição (H1)

• Mudança Estatística: A pós-edição aumentou significativamente a semelhança estilística com o texto de controle sem assistência do próprio participante ($p < .001$, $g=0.55$) e diminuiu significativamente a semelhança com o texto bruto de LLM ($p < .001$, $g=-0.41$).
• Rastros Residuais de IA: Apesar dessas melhorias, o texto pós-editado permaneceu significativamente mais semelhante ao texto gerado por LLM do que à própria escrita sem assistência do participante ($p < .001$, $g=-1.43$). Os usuários não conseguiram eliminar completamente a "impressão digital de LLM".
• Especificidade: As edições feitas foram específicas para o indivíduo. O texto pós-editado foi mais semelhante ao estilo do próprio editor do que aos estilos de outros participantes, confirmando que as alterações não foram apenas uma "humanização" genérica.

B. Homogeneidade Estilística (H2)

• O "Terceiro Estilo": O texto pós-editado exibiu um perfil estilístico único. Foi mais homogêneo (menos diverso) que a escrita totalmente humana, mas menos homogêneo que a saída bruta de LLM.
• Traços de IA Compartilhados: Embora as edições individuais fossem únicas, as porções não editadas do texto mantiveram características estilísticas compartilhadas de LLM em todos os participantes. Isso resultou em textos pós-editados de diferentes usuários sendo mais semelhantes entre si do que aos seus próprios textos de controle sem assistência.

C. A Lacuna de Percepção (H3)

• Desconexão: Há uma desconexão significativa entre a semelhança medida pelo modelo e a autenticidade percebida pelo usuário.
  • Visão do Modelo: O texto pós-editado ainda é claramente "semelhante a IA" em comparação com o texto de controle humano.
  • Visão do Usuário: Os participantes avaliaram seu texto pós-editado como igualmente representativo de seu estilo pessoal quanto seu texto de controle sem assistência ($p = .906$).
• Correlação: Embora houvesse uma correlação positiva entre a semelhança percebida e a medida ($r=0.24$), ela foi fracamente calibrada. Os usuários não perceberam os marcadores estilísticos residuais que os modelos de embedding detectaram.

D. Análise do Comportamento de Edição

• Tipos de Edição: Os participantes empregaram estratégias diversas, incluindo:
  • Mudanças lexicais: Remoção de palavras "associadas a IA" (por exemplo, "delve", embora raro neste conjunto de dados) ou adição de contrações (5 vezes mais frequentes no texto pós-editado).
  • Pontuação: Remoção de travessões (taxa de remoção de 23%) e adição de pontuação não padrão ou erros de digitação para imitar hábitos pessoais.
  • Edições semânticas: Correção de detalhes factuais ou adição de linguagem culturalmente específica (por exemplo, formulações religiosas).
• Esforço vs. Resultado: O estudo constatou que a originalidade do rascunho inicial foi a principal barreira para a adoção. Participantes que preferiam escrever sozinhos citaram falta de originalidade nos rascunhos de IA, enquanto aqueles que preferiam a pós-edição valorizavam a eficiência e a confiabilidade.

4. Significado e Implicações

1. A "Ilusão de Autenticidade": O artigo destaca uma lacuna crítica onde os usuários sentem que sua escrita assistida por IA é autêntica, mesmo quando métricas objetivas detectam traços estilísticos significativos de IA. Isso sugere que os usuários podem depender de heurísticas simplificadas (por exemplo, "eu mudei as palavras?") em vez de uma análise estilística profunda.
2. Viabilidade do Fluxo de Trabalho: Apesar da incapacidade de apagar completamente os marcadores estilísticos de IA, o fluxo de trabalho é viável. Os usuários relatam alta satisfação e disposição para usar a pós-edição para futuras tarefas pessoais, desde que o rascunho inicial não seja muito clichê.
3. Limitações das Métricas Atuais: Métricas de estilo baseadas em embeddings podem capturar saliência estatística que não se alinha com o que usuários leigos consideram "estilo". Isso desafia a utilidade dos detectores de IA atuais em contextos de escrita pessoal onde o objetivo é a satisfação do usuário e não a detecção forense.
4. Direções Futuras: Os autores sugerem que melhorar a criatividade e originalidade dos rascunhos iniciais de LLM é mais impactante do que tentar ensinar usuários a pós-editar mais efetivamente. Além disso, trabalhos futuros devem considerar a perspectiva do público: os leitores (que conhecem o estilo do autor) detectarão os marcadores residuais de IA que os autores perderam?

Conclusão

O estudo conclui que, embora a pós-edição permita aos usuários exercer controle significativo e alcançar uma sensação de autenticidade estilística, ela não preenche totalmente a lacuna entre os estilos de escrita de LLM e humanos. O texto resultante é um híbrido: estatisticamente mais próximo do modelo do que do humano, mas percebido pelo usuário como autenticamente seu. Essa desconexão sublinha a necessidade de um melhor alinhamento entre as capacidades de geração de IA e as expectativas estilísticas humanas, em vez de depender exclusivamente da edição a posteriori.