What Are LLMs Doing to Scientific Communication? Measuring Changes in Writing Practices and Reading Experience

Resumo Técnico: O Que os LLMs Estão Fazendo à Comunicação Científica?

Declaração do Problema
A integração rápida de Modelos de Linguagem de Grande Escala (LLMs) na escrita científica levanta questões críticas sobre a evolução das práticas de escrita e seu impacto subsequente na experiência de leitura. Enquanto pesquisas anteriores se concentraram em distinguir texto inteiramente escrito por humanos de texto totalmente gerado por IA, essa distinção binária simplifica excessivamente a realidade da comunicação científica, onde os LLMs são predominantemente usados para refinar, polir ou melhorar rascunhos autorados por humanos. Além disso, estudos existentes frequentemente carecem de medição sistemática de como essas mudanças estilísticas afetam a percepção subjetiva dos leitores humanos quanto à clareza, confiabilidade e engajamento. Este artigo aborda a lacuna na compreensão da natureza matizada e colaborativa da escrita humano-LLM e seus efeitos mensuráveis sobre o estilo linguístico e a experiência de leitura no domínio do Processamento de Linguagem Natural (PLN).

Metodologia
O estudo emprega uma abordagem de dados duplos para capturar tanto tendências naturalistas quanto variações estilísticas controladas:

1. Corpus Naturalista (Antologia ACL): Os autores atualizaram o corpus ACL-OCL para incluir 99,2 mil artigos, definindo dois períodos distintos: $t_1$ (jan 2020–dez 2022, pré-ChatGPT) e $t_2$ (jul 2023–dez 2024, pós-ChatGPT). Este subcorpus contém mais de 37.000 artigos. Os autores garantiram comparabilidade temática por meio de análise BERTopic, confirmando que, embora tendências de pesquisa específicas tenham mudado (por exemplo, em direção a LLMs), a distribuição geral de tópicos permaneceu amplamente comparável.
2. Conjunto de Dados Sintético (Parafraseamento Assistido por LLM): Para isolar os efeitos da intervenção de LLMs, os autores amostraram 3.000 parágrafos de artigos de $t_1$ e geraram versões aprimoradas por LLM usando GPT-3.5-turbo com 10 prompts distintos refletindo tarefas comuns de refinamento de escrita científica (por exemplo, "melhorar coerência", "polir gramática"). Isso resultou em 6.000 pares de parágrafos (humano vs. modificado por LLM).

Estrutura de Análise
O estudo aborda três Questões de Pesquisa (RQs) por meio de uma análise multicamada:

• RQ1 (Escolhas Lexicais): Os autores conduziram análises lexicais diacrônicas comparando $t_1$ e $t_2$. Isso envolveu:
  • Análise de Frequência: Cálculo de escores de verossimilhança logarítmica para identificar palavras com mudanças significativas nas taxas de uso.
  • Embebedamentos em Nível de Tipo: Treinamento de modelos Word2Vec para medir "densidade de vizinhança" (especialização semântica vs. generalização).
  • Embebedamentos em Nível de Token: Uso do ModernBERT para agrupar usos contextuais de palavras-alvo específicas, identificando mudanças nas distribuições de sentido semântico.
• RQ2 (Características Estilísticas): Um modelo de regressão logística com regularização elastic net foi aplicado a 145 características linguísticas (extraídas via elfen e LFTK) cobrindo dimensões de superfície, sintaxe, psicolinguística e sentimento. A seleção de estabilidade foi usada para identificar preditores robustos que distinguem $t_1$ de $t_2$ e texto humano de texto modificado por LLM.
• RQ3 (Experiência de Leitura): Um estudo piloto de anotação foi conduzido com 20 especialistas no domínio de PLN. Os participantes realizaram comparações em pares de textos escritos por humanos vs. textos aprimorados por LLM, classificando-os em quatro dimensões: Clareza, Autenticidade, Confiabilidade e Empolgação, usando uma escala Likert de 4 pontos.

Principais Resultados

• Mudanças Lexicais: Mudanças significativas foram observadas na frequência e nos contextos de uso de palavras.
  • Especialização vs. Generalização: Alguns termos (por exemplo, ensure [assegurar]) mostraram aumento na densidade de vizinhança, indicando especialização semântica (estreitamento para contextos transitivos específicos como "garantir qualidade"). Outros (por exemplo, utilize [utilizar]) mostraram diminuição na densidade, indicando generalização semântica (ampliação para significar "fazer uso de").
  • Substituição Estilística: Expressões de linguagem geral (por exemplo, use [usar], good [bom]) declinaram em favor de termos mais formais ou especializados (por exemplo, utilize [utilizar], comprehensive [abrangente]). Essa tendência foi consistente tanto no corpus naturalista quanto no conjunto de dados sintético de LLM, sugerindo que os LLMs impulsionam essas mudanças estilísticas.
• Características Estilísticas de Textos Modificados por LLM: A análise de regressão revelou que textos modificados por LLM são caracterizados por:
  • Complexidade: Palavras mais longas, idade média de aquisição mais alta e construções sintáticas mais complexas (por exemplo, cláusulas adverbiais, negações).
  • Densidade: Menor diversidade lexical (Simpson's D) e variabilidade reduzida de verbos, contudo maior densidade semântica (menos palavras de parada).
  • Estrutura: Preferência por nomes próprios e padrões específicos de pontuação (mais vírgulas/travessões, menos colchetes).
  • Sentimento: Maior uso de palavras sensório-motoras (por exemplo, enhance [melhorar], highlight [destacar]) e palavras relacionadas à raiva, embora palavras relacionadas à confiança fossem menos frequentes em alguns contextos.
• Experiência de Leitura: O estudo de anotação revelou uma preferência subjetiva por textos aprimorados por LLM:
  • Classificações Positivas: Especialistas classificaram textos modificados por LLM significativamente mais altos em Clareza e Empolgação.
  • Classificações Mistas/Negativas: Embora Confiabilidade e Autenticidade tenham mostrado tamanhos de efeito menores, uma parte notável dos avaliadores preferiu os originais humanos para essas dimensões.
  • Subjetividade: O feedback qualitativo indicou que os especialistas acharam a tarefa desafiadora e mantiveram atitudes geralmente negativas em relação à escrita por LLM, apesar das classificações quantitativas positivas para clareza. Isso destaca uma desconexão entre legibilidade percebida e confiança/autenticidade.

Significância e Contribuições
O artigo reivindica quatro contribuições principais:

1. Evidência Empírica de Mudança de Estilo: Demonstra que artigos científicos pós-ChatGPT exibem padrões lexicais e estilísticos distintos (por exemplo, menor diversidade lexical, maior complexidade de palavras) atribuíveis ao uso de LLMs, validados pela comparação de dados naturalistas com experimentos sintéticos controlados.
2. Vínculo com a Experiência de Leitura: Estabelece uma conexão entre essas mudanças estilísticas objetivas e experiências subjetivas de leitura, descobrindo que textos aprimorados por LLM são percebidos como mais claros e empolgantes, embora não necessariamente mais autênticos ou confiáveis.
3. Liberação de Recursos: Os autores liberam um corpus ACL-OCL atualizado (99,3 mil artigos) com um script para ingestão futura e um novo conjunto de dados de 3.000 pares de texto humano-LLM com anotações de especialistas para 200 pares.
4. Estrutura Metodológica: O estudo fornece uma estrutura abrangente para analisar texto co-autorado humano-LLM, indo além da detecção binária para caracterizar as impressões digitais linguísticas específicas da escrita assistida por IA e seu impacto na comunidade científica.

Os autores concluem que, embora os LLMs pareçam aprimorar a clareza percebida e o engajamento de textos científicos, eles simultaneamente introduzem um estilo de escrita mais homogêneo e complexo, cujas implicações a longo prazo merecem investigação adicional.