Beyond Via: Analysis and Estimation of the Impact of Large Language Models in Academic Papers

Each language version is independently generated for its own context, not a direct translation.

Imagine que a academia (o mundo dos cientistas e pesquisadores) é uma grande biblioteca onde todos escrevem livros e artigos. Durante séculos, cada autor tinha sua própria "caligrafia" única, suas próprias palavras favoritas e seu jeito de estruturar as frases.

Agora, imagine que entraram nessa biblioteca robôs escritores (os Modelos de Linguagem Grandes, ou LLMs, como o ChatGPT, Claude, Gemini, etc.). Eles são incríveis, escrevem rápido e bem, mas têm um "sotaque" digital muito peculiar.

Este artigo, chamado "Além do 'Via': Análise e Estimativa do Impacto dos Modelos de Linguagem em Artigos Acadêmicos", é como um detetive linguístico que entrou nessa biblioteca para responder a três perguntas:

Os robôs estão mudando a forma como os humanos escrevem?
Conseguimos saber qual robô escreveu o quê?
Quantos artigos estão sendo escritos (ou polidos) por esses robôs?

Aqui está a explicação do que eles descobriram, usando analogias simples:

1. O "Sotaque" dos Robôs: Palavras que não param de sair

Os pesquisadores olharam para milhões de resumos de artigos no arXiv (uma espécie de "Instagram" ou "TikTok" para cientistas, onde eles postam seus trabalhos antes de publicar oficialmente).

Eles notaram que os robôs têm vícios de linguagem, assim como algumas pessoas usam muito a palavra "tipo" ou "tipo assim".

A Analogia do "Via" e "Além de": Os robôs adoram usar a palavra "via" (como em "via método X") e "beyond" (além de). É como se eles tivessem um adesivo colado na língua com essas palavras.
O que aconteceu na biblioteca? A partir de 2025, os artigos humanos começaram a usar muito mais essas palavras. Parece que os humanos estão "pegando carona" no estilo dos robôs, ou os robôs estão escrevendo partes dos artigos humanos.
O desaparecimento do "O" e "De": Curiosamente, os robôs tendem a usar menos as palavras mais comuns da língua, como "the" (o/a) e "of" (de). É como se eles estivessem tentando ser mais diretos e "secos", pulando as palavras de ligação que os humanos usam naturalmente.

2. A Dança das Palavras: Robôs Novos vs. Robôs Velhos

Os robôs não são todos iguais. O ChatGPT de 2023 é diferente do GPT-5 de 2025.

A Analogia da Moda: Imagine que em 2023, os robôs usavam um chapéu de palha chamado "delve" (mergulhar profundamente). Era a moda. Mas em 2024 e 2025, os novos robôs trocaram o chapéu por um boné de beisebol chamado "furthermore" (além disso).
O resultado: Os artigos acadêmicos mudaram de estilo conforme os robôs foram sendo atualizados. As palavras que eram "marcas registradas" de um robô antigo sumiram e foram substituídas por novas preferências dos robôs mais modernos.

3. O Problema da Identidade: "Quem escreveu isso?"

Os pesquisadores tentaram criar um teste de detetive para descobrir: "Este texto foi escrito por um humano, pelo GPT-3.5, pelo Claude ou pelo Gemini?".

A Analogia do Gêmeo Idêntico: Eles descobriram que é muito difícil distinguir um robô do outro. É como tentar diferenciar gêmeos idênticos que estão usando a mesma roupa e falando a mesma gíria.
O Resultado: Os computadores (classificadores) acertaram muito quando tentavam diferenciar "Humano vs. Robô". Mas, quando tentaram dizer "Qual robô foi?", eles se confundiam muito. Isso significa que os robôs estão ficando todos parecidos entre si (homogeneização).

4. A Estimativa: Quantos Robôs estão na sala?

Como é difícil saber qual robô escreveu, os autores usaram um método mais simples e inteligente: contar as palavras.

A Analogia da Receita de Bolo: Se você sabe que o "Robô A" sempre coloca 3 colheres de açúcar e o "Robô B" coloca 1, e você prova o bolo e sente um gosto levemente adocicado, você pode estimar quanto de cada robô participou da receita, mesmo sem ver quem misturou.
A Descoberta: Eles estimaram que, antes de 2022, quase ninguém usava robôs. Mas, a partir de 2023/2024, a "porção de robô" nos artigos começou a crescer. Hoje, uma parte significativa dos resumos tem a "assinatura" de ter sido polido ou escrito por IA.

Conclusão: O que isso significa para nós?

O artigo nos diz que a academia está passando por uma transformação silenciosa.

O estilo está mudando: A linguagem científica está ficando mais parecida com a dos robôs (mais palavras como "via", menos artigos definidos).
Detectar é difícil: Não adianta tentar achar um "selo de autenticidade" fácil, porque os robôs estão ficando muito parecidos entre si e com os humanos.
O futuro: Precisamos de novas formas de monitorar isso. Não é sobre proibir os robôs, mas entender como eles estão moldando a forma como a humanidade cria conhecimento.

Em resumo: Os robôs não estão apenas escrevendo; eles estão ensinando os humanos a escrever como eles. E isso está acontecendo tão rápido que as palavras "the" e "of" estão ficando de lado, enquanto "via" e "beyond" assumem o comando.

Each language version is independently generated for its own context, not a direct translation.

Título: Beyond Via: Análise e Estimativa do Impacto de Modelos de Linguagem de Grande Escala (LLMs) em Artigos Acadêmicos

1. Problema e Motivação

O uso de Modelos de Linguagem de Grande Escala (LLMs) na produção acadêmica tem crescido exponencialmente. Embora existam estudos sobre a detecção de textos gerados por IA, há uma lacuna na compreensão de como a evolução contínua e a diversidade de diferentes modelos (GPT, DeepSeek, Gemini, Claude) alteram os padrões linguísticos em larga escala.

Desafio Principal: Os classificadores atuais têm dificuldade em distinguir qual modelo específico gerou um texto em tarefas de classificação multiclasse, devido às semelhanças entre os outputs dos diferentes LLMs.
Objetivo: Analisar e estimar quantitativamente o impacto dos LLMs nas publicações acadêmicas (focando no arXiv), identificando mudanças sutis no uso de palavras que indicam a influência da IA, e monitorar como esses padrões evoluem com o lançamento de novos modelos.

2. Metodologia

Os autores adotaram uma abordagem híbrida combinando análise de dados observacionais e simulação controlada:

Dados:
- Utilizaram um conjunto de dados do arXiv (mais de 2,9 milhões de artigos) atualizado semanalmente.
- Selecionaram 2.000 resumos de artigos submetidos entre janeiro e outubro de 2022 (antes do lançamento do ChatGPT) para servir como base de simulação.
Simulação de LLMs:
- Reescreveram os resumos selecionados e geraram títulos utilizando 9 modelos diferentes (GPT-3.5, GPT-4o mini, GPT-5 nano, DeepSeek V3/R1/V3.2, Gemini 2.5/3, Claude 3/4.5).
- Utilizaram dois tipos de prompts: um curto (revisão leve) e um longo (edição profunda com persona de editor acadêmico).
Análise de Frequência de Palavras:
- Modelaram a frequência de palavras ao longo do tempo assumindo uma tendência linear de base (pré-LLM).
- Calcularam o desvio entre a frequência observada nos dados reais e a frequência prevista pelo modelo linear para estimar o impacto dos LLMs.
- Utilizaram equações de otimização para estimar a proporção de textos humanos vs. textos gerados por diferentes modelos ( $\eta$ ) com base nas variações de frequência de palavras.
Similaridade e Classificação:
- Mediram a similaridade textual usando métricas ROUGE (nível de palavra/n-grama) e BERTScore (similaridade semântica).
- Treinaram classificadores (BERT, GPT-2, T5, LLM2Vec) para tentar distinguir entre textos humanos e os gerados por diferentes LLMs, bem como entre os próprios LLMs.

3. Contribuições Chave

Identificação de "Assinaturas" Linguísticas Dinâmicas: O estudo revela que não apenas palavras específicas (como "delve" ou "intricate") são características de LLMs, mas que há uma mudança sistemática no uso de palavras comuns (stopwords) e conectivos.
Método de Estimativa Interpretável: Propõem uma abordagem linear direta e altamente interpretável para estimar a proporção de uso de LLMs em publicações, superando as limitações de "caixas-pretas" de classificadores complexos que falham em cenários multiclasse.
Análise da Evolução dos Modelos: Demonstram que os padrões de uso de palavras mudam rapidamente conforme novos modelos são lançados (ex: a preferência por "via" e "beyond" em títulos aumentou significativamente a partir de 2025 com modelos mais recentes).
Dificuldade de Detecção Multiclasse: Evidenciam que, embora a distinção binária (Humano vs. IA) seja viável, identificar qual LLM específico gerou o texto é extremamente difícil, sugerindo uma homogeneização dos outputs.

4. Resultados Principais

Mudanças no Uso de Palavras:
- Aumento: Palavras como "via" e "beyond" tornaram-se significativamente mais frequentes em títulos de artigos a partir de 2025, refletindo a preferência de modelos mais recentes (DeepSeek, GPT-5).
- Diminuição: A frequência de stopwords comuns como "the" e "of" nos resumos diminuiu claramente, indicando que os LLMs tendem a evitar essas palavras em comparação com autores humanos.
- Variação Temporal: A palavra "together" mostrou um declínio seguido de um aumento rápido, refletindo a transição entre as preferências de modelos antigos e novos.
Desempenho de Classificadores:
- A precisão na distinção entre textos de diferentes LLMs (classificação multiclasse) é baixa (cerca de 60% em 7 classes), indicando que os modelos estão se tornando semanticamente muito similares.
- A distinção binária (Humano vs. LLM) é mais eficaz (80-90%), mas ainda há uma taxa significativa de falsos positivos (textos humanos classificados como IA).
Estimativa de Impacto:
- As estimativas mostram que o impacto dos LLMs no arXiv começou a crescer visivelmente após outubro de 2022.
- A proporção de textos com estilo similar ao GPT-3.5 aumentou e depois diminuiu, dando lugar a estilos de modelos mais recentes (GPT-4o, GPT-5, DeepSeek).
- O uso de LLMs é heterogêneo e dinâmico, variando conforme o modelo e o prompt utilizado.

5. Significado e Conclusão

O artigo conclui que o impacto dos LLMs na escrita acadêmica é profundo e está em constante evolução.

Homogeneização: Os diferentes modelos de IA estão convergindo para estilos de escrita semelhantes, tornando a detecção de fontes específicas cada vez mais difícil.
Limitações das Ferramentas Atuais: Métodos baseados apenas em classificação de "IA vs. Humano" são insuficientes para monitorar a influência real, pois não capturam a nuance de qual ferramenta foi usada ou como os padrões mudam com o tempo.
Recomendação: É necessário desenvolver novas métricas e abordagens (como a análise de frequência de palavras proposta) que sejam adaptáveis e interpretáveis para monitorar o impacto da IA na ciência. A escrita acadêmica está passando por uma coevolução com as máquinas, onde o estilo humano também está sendo sutilmente moldado pelas preferências dos modelos.

Em suma, o estudo fornece uma ferramenta quantitativa robusta para entender não apenas se a IA foi usada, mas como a evolução dos modelos está redefinindo a linguagem da pesquisa científica.