Human--LLM Collaboration Is Transforming Complexity Metrics in Scientific Texts

Resumo Técnico: A Colaboração Humano–LLM está Transformando as Métricas de Complexidade em Textos Científicos

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs), particularmente desde sua adoção generalizada no início de 2023, estão se tornando contribuintes integrais ao ecossistema linguístico humano–IA. Embora os LLMs sejam treinados em linguagem humana, sua integração na comunicação científica levanta questões sobre como eles alteram as propriedades emergentes da linguagem. Existem perspectivas teóricas concorrentes: uma sugere que os LLMs podem reduzir a complexidade lexical através da simplificação e da reciclagem de dados de treinamento (potencialmente levando ao "colapso do modelo" se futuros modelos forem treinados em saídas geradas por IA), enquanto outra sugere que populações mistas de humanos–IA podem gerar novas dinâmicas emergentes por meio de vieses coletivos e ciclos de feedback. O problema central abordado é se o influxo de texto gerado ou revisado por LLM na literatura científica (especificamente em resumos do arXiv) produz mudanças detectáveis nas leis estatísticas que regem a complexidade lexical, tais como a lei de Zipf, a lei de Heaps e as taxas de rotatividade de palavras (word turnover).

Metodologia
Os autores tratam a rápida adoção de ferramentas de IA generativa em 2023 como um "experimento natural". Eles analisam um corpus de mais de 2,7 milhões de resumos do arXiv de janeiro de 2010 até setembro de 2025, focando em submissões de primeira versão (v1).

1. Construção do Índice de Estilo de LLM: Para quantificar a presença da influência de LLM, os autores construíram um índice composto de "estilo associado a LLM". Este índice agrega as frequências mensais padronizadas de marcadores estilísticos conhecidos por aumentar com o uso de LLM: o uso de travessões (en-dashes, em-dashes, hifens) e marcadores lexicais específicos ("significativo", "crucial", "demonstrar/showcase").
2. Métricas de Complexidade: O estudo rastreia três medidas primárias da estrutura lexical:
   • Tamanho do Vocabulário: O número de tipos de palavras únicas.
   • Expoente da Lei de Heaps ($b$): Descrevendo a relação entre o tamanho do corpus e o crescimento do vocabulário ($V(N) = aN^b$).
   • Expoente da Lei de Zipf ($\alpha$): Descrevendo a distribuição de frequência por ranking das palavras ($P(r) \propto r^{-\alpha}$).
   • Rotatividade Top-$y$ (Top-$y$ Turnover): A fração de novas palavras que entram na lista classificada das $y$ principais palavras de conteúdo ano a ano, servindo como um diagnóstico para o viés de transmissão (conformidade vs. novidade).
3. Análise Estatística:
   • Benchmarking: O texto humano foi comparado com o texto gerado por LLM (GPT-3.5) usando o corpus HC3 para estabelecer diferenças de base.
   • Tendências Temporais: Estatísticas mensais foram calculadas para o corpus do arXiv de 2014 a 2025.
   • Modelagem de Regressão: Modelos multivariados foram empregados para prever métricas de complexidade lexical usando o ano de publicação, o índice de estilo de LLM, um indicador pós-2023 e seus termos de interação. Esta abordagem isola o efeito do estilo de LLM das tendências seculares gerais.
   • Sinais de Alerta Precoce (EWS): Autocorrelação de defasagem-1 (lag-1), assimetria (skewness) e variância rotativas foram analisadas para detectar o desaceleramento crítico (critical slowing down) ou instabilidade nas séries temporais.

Principais Resultados

• Diferenças de Base: No corpus HC3, o texto gerado por LLM exibiu um expoente de Heaps ligeiramente menor ($b=0,522$) e um expoente de Zipf ligeiramente maior ($\alpha=1,741$) em comparação ao texto humano ($b=0,539$, $\alpha=1,681$), indicando uma diversidade lexical marginalmente menor e maior concentração na saída do LLM, embora as distribuições permaneçam semelhantes.
• Mudanças Temporais no arXiv:
  • Índice de Estilo: Um aumento acentuado no índice de estilo associado a LLM foi observado começando em 2023, coincidindo com a adoção generalizada de ferramentas como o ChatGPT.
  • Métricas Lexicais: As mudanças nos expoentes das leis de Zipf e Heaps foram sutis. No entanto, o tamanho do vocabulário e o expoente de Heaps mostraram um crescimento modestamente acelerado após 2023.
  • Efeitos de Interação: Crucialmente, a relação entre o índice de estilo de LLM e as métricas de complexidade lexical mudou após 2022. A correlação positiva entre o índice de estilo e o tamanho do vocabulário, o expoente de Heaps e o expoente de Zipf tornou-se mais plana no período pós-2023. Modelos de regressão confirmaram que o crescimento do vocabulário após 2023 excedeu o esperado pelas tendências temporais anteriores, sugerindo uma mudança distinta nas dinâmicas.
  • Rotatividade (Turnover): A mudança estrutural mais significativa foi um aumento acentuado na rotatividade das palavras de topo classificadas começando em 2023. O escalonamento da rotatividade contra o tamanho da lista mudou de levemente côncavo-para-cima ($b=1,15$) pré-2023 para levemente côncavo-para-baixo ($b=0,969$) pós-2023, indicando uma taxa maior de novas palavras entrando nos rankings superiores.
  • Diagnósticos de EWS: Diagnósticos padrão de sinais de alerta precoce (autocorrelação, variância) mostraram apenas mudanças modestas, sugerindo que o sistema não atingiu um ponto crítico de instabilidade, apesar das mudanças estruturais na rotatividade.

Significância e Alegações
O artigo afirma que a integração de LLMs na escrita científica está alterando as propriedades emergentes do ecoss sistema linguístico de formas que são sutis, mas mensuráveis. Contrariando as hipóteses de que os LLMs poderiam reduzir uniformemente a diversidade lexical, os autores descobrem que as contribuições atuais dos LLMs estão associadas a um aumento na riqueza do vocabulário e uma aceleração na rotatividade de termos de alta frequência.

O achatamento da relação entre o estilo de LLM e as métricas de complexidade sugere que as dinâmicas de uma população mista de humanos–IA são distintas da geração puramente humana ou puramente de IA. O aumento da rotatividade implica uma mudança no "viés de transmissão" do sistema, potencialmente injetando mais novidade ou alterando as dinâmicas de conformidade do discurso científico.

Os autores concluem que essas mudanças apontam para uma potencial tensão entre a eficiência de curto prazo e a diversidade informacional de longo prazo. Eles alertam que, se a diversidade na linguagem gerada por humanos e híbrida declinar ao longo do tempo, isso poderá impactar a robustez de futuros sistemas de IA treinados em tais dados. O estudo enquadra os LLMs não meramente como ferramentas, mas como um novo mecanismo de feedback na evolução cultural, comparável em consequência ao surgimento da escrita ou dos mercados, necessitando de monitoramento contínuo de como a colaboração humano–IA remodela a complexidade do conhecimento científico.