Expectations and Practices around AI Disclosure in CS Research
Este artigo investiga o desalinhamento entre as atuais políticas de divulgação de IA e as expectativas dos pesquisadores em ciência da computação, revelando que, embora os pesquisadores priorizem a divulgação do uso de IA para tarefas de baixo envolvimento, como o desenho de pesquisa, as práticas reais de divulgação frequentemente superestimam usos menos críticos, como assistência na escrita, recomendando que as políticas sejam melhor alinhadas a essas expectativas.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No laboratório moderno da ciência da computação, um novo tipo de assistente instalou-se silenciosamente. São as ferramentas de inteligência artificial generativa, softwares capazes de escrever frases, depurar código e organizar ideias com uma fluência que antes parecia impossível para as máquinas. Pesquisadores começaram a depender delas para acelerar seu trabalho, desde o estalo inicial de uma ideia até o polimento final de um manuscrito. No entanto, essa conveniência desencadeou um debate silencioso, mas urgente, dentro da comunidade científica: quando uma máquina ajuda a escrever um artigo, quem recebe o crédito e quanto dessa ajuda deve ser revelada ao leitor? O cerne da questão é a confiança. A ciência baseia-se no entendimento de que o trabalho apresentado é o produto do pensamento e do esforço humano. Se uma ferramenta faz o trabalho pesado, a integridade da descoberta pode ser comprometida, a menos que o leitor saiba exatamente o que foi feito por uma pessoa e o que foi feito por uma máquina. Consequentemente, muitas das principais conferências de ciência da computação começaram a exigir que os autores incluam uma declaração divulgando o uso dessas ferramentas, uma regra destinada a manter a transparência em uma era de rápida mudança tecnológica.
Uma equipe de pesquisadores do Instituto Indiano de Ciência em Bengaluru propôs-se a investigar se essas novas regras estão realmente funcionando como pretendido. Eles queriam saber se as políticas escritas pelos organizadores das conferências correspondiam ao que os pesquisadores realmente consideravam necessário, e se as declarações que os autores escreviam em seus artigos refletiam essas expectativas. Para fazer isso, primeiro examinaram as próprias regras. Eles examinaram as diretrizes de sessenta e cinco grandes conferências de ciência da computação e das quatro maiores sociedades profissionais da área. Descobriram que, embora a maioria desses fóruns possua agora uma política que exige a divulgação, as regras são frequentemente vagas. Elas dizem aos autores para serem honestos, mas raramente especificam exatamente quais tarefas exigem menção ou quais detalhes devem ser incluídos. É como se um professor dissesse aos alunos para serem "cuidadosos com o dever de casa" sem explicar o que "cuidadoso" significa para diferentes tarefas.
Para preencher as lacunas, os pesquisadores fizeram a cento e nove cientistas da computação uma pergunta simples: para quais partes do processo de pesquisa é realmente importante admitir que se usou uma ferramenta de IA? Eles apresentaram aos pesquisadores uma lista de vinte e uma tarefas comuns, variando desde a geração de novas ideias e o design de experimentos até a escrita de código e o polimento da gramática. Também pediram que considerassem o quanto de controle humano estava envolvido em cada tarefa. Os resultados foram reveladores. Os pesquisadores descobriram que a comunidade concorda, em geral, que a divulgação é mais crítica quando a IA é usada para o trabalho intelectual pesado, como o design do estudo, a análise de dados ou a formulação de novas hipóteses. Nessas áreas, a contribuição humana é mais vulnerável a ser ofuscada pela máquina. Por outroversidade, os pesquisadores descobriram que usar a IA para simplesmente corrigir erros de digitação, reformular frases ou formatar referências era visto como muito menos crítico para divulgação. Curiosamente, o nível de controle humano importava imensamente. Quando um pesquisador usava uma ferramenta de IA, mas mantinha uma vigilância próxima, verificando cada saída e tomando as decisões finais, a necessidade de divulgação parecia menor. Mas quando a IA era deixada para trabalhar com pouca supervisão, a demanda por transparência aumentava drasticamente.
A equipe então voltou sua atenção para o que estava realmente acontecendo no mundo real. Eles coletaram e analisaram quase quatorze mil declarações de divulgação de artigos submetidos a duas grandes conferências, EMNLP e ICLR. Eles compararam essas declarações do mundo real com as expectativas que haviam acabado de reunir em sua pesquisa. A lacuna entre o que as pessoas queriam e o que estavam recebendo era surpreendente. Embora os pesquisadores tivessem descoberto que as divulgações mais importantes envolviam responsabilidade e as tarefas específicas realizadas, a vasta maioria dos artigos revisados falhou em incluir essa informação. Em vez disso, as divulgações mais comuns eram para as tarefas que a comunidade considerava menos importantes: edição de texto e correção de código. Em muitos casos, os autores escreviam frases curtas e genéricas admitindo que usaram IA para "polimento", mas omitiam qualquer menção sobre se a IA havia ajudado na ciência central.
Talvez a descoberta mais preocupante tenha sido a presença de declarações idênticas, copiadas e coladas, aparecendo em dezenas de artigos não relacionados. Um parágrafo específico, que listava usos padrão de IA e isentava de responsabilidade, apareceu de forma idêntica em noventa e cinco submissões diferentes para uma única conferência. Isso sugeriu que, para muitos autores, a divulgação havia se tornado uma caixa para marcar em vez de um relato genuíno de seu fluxo de trabalho. Os pesquisadores observaram que, embora alguns desses enunciados fossem abrangentes, sua repetição em trabalhos não relacionados indicava uma conformidade performática, onde os autores seguiam a letra da regra sem engajar-se com seu espírito. O estudo também descobriu que os autores raramente mencionavam qual modelo de IA específico utilizaram, embora muitos leitores tivessem expressado o desejo de saber esse detalhe.
Com base nessas descobertas, os pesquisadores propõem uma mudança na forma como essas políticas são escritas. Eles sugerem afastar-se de regras amplas e universais em direção a um sistema que categoriza as tarefas de pesquisa pelo nível de necessidade de divulgação. Eles recomendam que as conferências criem uma lista clara onde certas tarefas de alto risco, como o design de um experimento, sejam marcadas como obrigatórias para divulgação, enquanto tarefas de baixo risco, como a formatação de referências, sejam opcionais. Para ajudar os autores a navegar por isso, eles também projetaram um modelo simples que os autores poderiam preencher. Este modelo os instaria a listar exatamente em quais tarefas a IA ajudou, quanto de supervisão humana foi envolvido e a declarar explicitamente que os autores assumem total responsabilidade pelo trabalho final. O objetivo não é punir o uso de ferramentas úteis, mas garantir que a relação entre o pesquisador humano e a máquina seja clara, honesta e confiável. Ao alinhar as regras com as expectativas reais da comunidade científica, a esperança é que a transparência possa ser mantida sem sufocar os benefícios genuínos que essas novas ferramentas trazem para o processo de pesquisa.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.