LLM assisted writing deserves empirical evaluation

A ciência sempre foi uma conversa, uma que depende de uma escrita clara para compartilhar descobertas através de fronteiras e idiomas. Durante décadas, pesquisadores dependeram de mentores, editores profissionais e serviços de tradução para garantir que seu trabalho fosse compreendido pela comunidade global. Hoje, um novo participante juntou-se a esta conversa: os modelos de linguagem de grande escala. Estes são programas de computador treinados em vastas quantidades de texto que podem ler, resumir e reescrever a linguagem humana com uma fluência notável. À medida que estas ferramentas se tornam comuns em laboratórios e escritórios, surgiu um debate sobre o seu papel na ciência. Muitos temem que o uso delas possa esconder o verdadeiro autor de uma ideia, introduzir erros ou diminuir a qualidade da pesquisa. Consequentemente, grande parte da discussão atual foca em como detectar quando uma máquina ajudou a escrever um artigo, tratando a questão primordialmente como uma questão de policiamento. No entanto, este foco na detecção pode negligenciar uma pergunta mais importante: como o uso real destas ferramentas altera a forma como a ciência é comunicada e quem consegue participar dela?

Para responder a isso, uma equipa de investigadores da Weill Cornell Medicine e da Universidade de Columbia decidiu olhar para as evidências em vez da teoria. Eles examinaram uma coleção massiva de 69.209 artigos científicos no campo da informática de saúde, que trata de como os dados e a tecnologia são usados na medicina e na saúde pública. Os investigadores dividiram estes artigos em três grupos para ver como eles diferiam. O primeiro grupo continha artigos escritos antes do final de 2022, antes do lançamento público dos chatbots mais avançados. O segundo grupo incluiu artigos escritos após essa data que não mostravam sinais de usar estas ferramentas. O terceiro grupo consistiu em artigos do mesmo período recente que os investigadores identificaram como tendo sido assistidos por modelos de linguagem de grande escala. Para encontrar estes artigos assistidos, utilizaram um programa de computador especializado treinado para reconhecer as diferenças subtis entre a escrita humana e o texto que foi reescrito ou gerado por uma IA.

A análise revelou que os artigos assistidos por estas ferramentas não eram o trabalho de baixa qualidade e menos sério que os críticos costumam temer. Em vez disso, os dados sugeriram uma realidade diferente. Estes artigos tendiam a ser mais focados na sua apresentação. Enquanto um artigo científico típico poderia vagar por vários tópicos diferentes, os artigos assistidos por IA mantinham-se mais próximos de um único assunto claro. Os seus títulos e resumos estavam estritamente alinhados com o tema principal da investigação, tornando mais fácil para os leitores compreenderem exatamente do que tratava o estudo e onde ele se encaixava dentro do campo mais amplo. Esta clareza não significava que as ideias fossem menos originais; pelo contrário, sugeria que as ferramentas ajudavam os autores a posicionar o seu trabalho de forma mais precisa dentro das conversas científicas estabelecidas.

Outra mudança significativa apareceu na forma como estes artigos referenciam outros trabalhos. Os artigos assistidos por IA citaram mais fontes do que os artigos escritos sem assistência, e essas fontes cobriam uma gama mais ampla de tópicos. Esta descoberta desafia a ideia de que as máquinas simplesmente tornam a escrita mais rápida sem adicionar valor. Sugere que os investigadores estão a usar estas ferramentas para explorar literatura que talvez não tivessem encontrado de outra forma, talvez ao resumir textos complexos ou gerar novos termos de pesquisa. No entanto, os investigadores observaram que ter uma lista de referências mais longa não significa automaticamente que a investigação seja mais profunda ou melhor. Uma bibliografia pode ser ampla mas rasa, ou pode incluir citações que estão apenas vagamente ligadas ao argumento principal. As ferramentas tornam mais fácil lançar uma rede ampla de informação, mas a responsabilidade de selecionar as fontes mais relevantes e precisas ainda recai sobre o autor humano.

Talvez a diferença mais marcante tenha sido encontrada em quem estava a escrever estes artigos. O estudo mostrou que os artigos assistidos por IA tinham maior probabilidade de ter o seu primeiro autor baseado num país onde o inglês não é a língua principal. Também mostraram um nível mais elevado de colaboração entre investigadores em diferentes continentes e incluíram mais autores de economias de baixa e média renda. Este padrão sugamente que estas ferramentas podem estar a atuar como uma ponte, ajudando os cientistas a superar as barreiras linguísticas que frequentemente tornam a publicação em revistas internacionais difícil e dispendiosa. Ao fornecer ajuda sob demanda com edição e tradução, a tecnologia pode estar a nivelar o campo de jogo, permitindo que vozes mais diversas entrem na conversa científica global.

Apesar destas mudanças de foco, hábitos de citação e autoria, o estudo descobriu que a visibilidade e o impacto do trabalho permaneceram estáveis. Uma preocupação comum é que artigos escritos com ajuda de IA possam ser ignorados ou citados com menos frequência. Os dados não sustentaram isto. Quando os investigadores compararam a rapidez com que os artigos receberam citações após a publicação, os artigos assistidos por IA tiveram um desempenho tão bom quanto aqueles escritos sem ajuda. Eles também foram publicados em revistas de alto prestígio, de forma semelhante aos outros grupos. Isto indica que a comunidade científica não está a rejeitar estes artigos; em vez disso, eles estão a ser lidos e reconhecidos ao mesmo ritmo que o trabalho tradicional.

Os investigadores concluíram que a conversa sobre inteligência artificial na ciência precisa de mudar. Em vez de se focar em como apanhar as pessoas a usar estas ferramentas ou em tentar separar a investigação "real" daquela que foi "assistida", a comunidade científica deve focar-se na qualidade da própria investigação. O estudo sugere que estas ferramentas não são inerentemente boas ou más; são simplesmente uma nova parte do processo de escrita, tal como um corretor ortográfico ou um pacote de software estatístico. O seu efeito depende inteiramente de como são utilizadas. Se ajudarem os autores a comunicar com mais clareza e a incluir perspetivas mais diversas, podem ser uma força poderosa para o bem. Se forem usadas para cortar caminhos ou esconder erros, podem ser prejudiciais. As evidências mostram que as ferramentas já estão a remodelar a forma como a ciência é escrita e quem a escreve, e o melhor caminho a seguir é julgar o trabalho pela sua precisão e integridade, não pelo software utilizado para o redigir.