What Citations Get Wrong: A Full-Corpus Audit of Reference Existence and Claim Support in a Major NLP Conference
Este artigo audita os anais da ACL 2026 para constatar que, embora quase todas as referências citadas existam, uma auditoria automatizada de suporte de alegações de execução única falhou em replicar devido a uma configuração de modelo não registrada, demonstrando que a verificação rigorosa de citações requer um registro operacional estrito para garantir a reprodutibilidade.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na vasta biblioteca da ciência moderna, uma citação é mais do que apenas um nome em uma lista; é uma promessa. Quando um autor escreve uma frase e aponta para outro artigo, ele está fazendo dois compromissos distintos. Primeiro, ele promete que o artigo ao qual está apontando realmente existe e pode ser encontrado. Segundo, e muito mais difícil de verificar, ele promete que o artigo ao qual está apontando realmente diz o que o autor afirma que diz. Durante décadas, a comunidade científica tem se preocupado principalmente com a primeira promessa, especialmente com o surgido da inteligência artificial. Há um medo crescente de que programas de computador estejam inventando artigos falsos, preenchendo listas de referências com títulos e autores que nunca existiram, poluindo efetivamente o registro acadêmico com ficção. Essa ansiedade tem sido alta, mas as evidências para sustentá-la têm sido escassas. Enquanto isso, a segunda promessa — a precisão da afirmação em si — recebeu muito menos atenção, embora seja o teste mais antigo e fundamental para saber se um cientista está dizendo a verdade sobre suas fontes.
Um pesquisador chamado Tao An decidiu testar ambas as promessas ao mesmo tempo, não em uma pequena amostra, mas em um ano inteiro de artigos de uma importante conferência de ciência da computação. A equipe auditou cada referência individual de todos os anais de 2026 da Association for Computational Linguistics, uma coleção contendo quase 4.500 artigos e mais de 200.000 referências, para verificar se elas apontavam para documentos reais. Para um subconjunto menor e amostrado dessas citações, eles também verificaram se o documento realmente sustentava a frase que o citava. O objetivo era ver se o medo de referências falsas geradas por IA era fundamentado na realidade e medir a frequência com que um autor representa erroneamente o que suas fontes realmente dizem.
A investigação começou com a primeira promessa: existência. Os pesquisadores construíram um sistema para verificar se cada referência apontava para um trabalho real e recuperável. Eles descobriram que a grande maioria das referências, cerca de 91 por cento, resolvia-se em literatura real. O pequeno número de referências que não correspondiam não eram, em sua maioria, artigos falsos; eram coisas como postagens de blogs, documentação de software ou erros de análise onde o computador havia lido o texto incorretamente. Quando a equipe revisou manualmente a pequena fração de referências que pareciam suspeitas, encontraram apenas dois casos, em quase 210.000, onde um artigo foi confirmado como completamente inexistente. Esse resultado sugere que, nesta importante plataforma, o medo de que a IA esteja preenchendo a literatura com artigos inventados é amplamente infundado. As referências são quase sempre reais.
No entanto, a história mudou completamente quando os pesquisadores passaram para a segunda promessa: se o artigo citado realmente sustentava a afirmação. Esta é uma tarefa muito mais difícil, exigindo que o sistema leia o artigo citado e o compare com a frase que o referenciou. A equipe utilizou um processo de duas etapas envolvendo modelos de computador para sinalizar citações que pareciam representar erroneamente suas fontes. Em sua primeira tentativa, o sistema sinalizou um número muito pequeno de erros, sugerindo que os autores eram majoritariamente precisos. Mas quando os pesquisadores executaram exatamente o mesmo processo novamente, usando o mesmo código de computador e os mesmos artigos, os resultados foram drasticamente diferentes. A segunda e a terceira execuções encontraram um número de erros aproximadamente seis vezes maior do que a primeira execução.
Essa inconsistência tornou-se o achado mais importante do estudo. Os pesquisadores rastrearam a causa até uma variável oculta: o modelo de computador específico usado para fazer o julgamento inicial não havia sido registrado. Na primeira execução, o sistema havia revertido silenciosamente para um modelo mais fraco que perdeu muitos erros. Nas execuções subsequentes, um modelo diferente e mais forte foi utilizado, o qual detectou muito mais problemas. Como a primeira execução usou um modelo que nunca foi registrado, os pesquisadores não podiam dizer com certeza o que aquele primeiro resultado realmente mediava. A lição foi contundente: uma auditoria automatizada única, não importa o quão cuidadosamente seja verificada manualmente, não pode ser confiada se o processo não puder ser repetido com as mesmas ferramentas exatas. A própria medição era instável.
Quando os pesquisadores analisaram os dados que se replicaram, descobriram que os erros eram reais, mas não eram o tipo de nonsense gerado por máquina que as pessoas temiam. Os erros confirmados eram falhas humanas sutis. Um autor havia tomado um artigo real e afirmado que ele dizia o oposto do que realmente argumentava, ou havia citado um achado amplo quando o artigo sustentava apenas algo restrito. Estes não eram alucinações criadas por uma inteligência artificial; eram os tipos de erros que um pesquisador cansado poderia cometer ao correr para finalizar um manuscrito. Os erros eram invisíveis para qualquer ferramenta que apenas verifica se uma referência existe, porque os artigos eram reais, mas a conexão entre a afirmação e a fonte estava quebrada.
O estudo também revelou que o processo de revisão por pares, onde outros cientistas verificam artigos antes de serem publicados, não pareceu detectar esses erros de suporte. Quando a equipe comparou os artigos publicados na conferência com um conjunto de rascunhos não revisados, a taxa de erros de citação foi estatisticamente a mesma. Isso sugere que o sistema atual de revisão por pares não é projetado para verificar cada citação contra sua fonte, uma tarefa que levaria tempo demais para revisores voluntários. Em vez disso, a responsabilidade de garantir que uma citação realmente sustenta a afirmação provavelmente recai sobre o próprio autor antes de submeter seu trabalho.
Em última análise, a auditoria forneceu um quadro claro de onde residem os problemas. O medo de que o registro científico esteja sendo inundado por artigos falsos e inexistentes não é sustentado pelos dados; as referências são quase sempre reais. O problema real é a precisidade das afirmações ligadas a essas referências. Esses erros são sutis, humanos e difíceis de detectar automaticamente porque as ferramentas usadas para encontrá-los ainda não são estáveis o suficiente para fornecer um número único e confiável. O estudo conclui que, antes de podermos confiar em máquinas para policiar a integridade da ciência, devemos primeiro garantir que as próprias máquinas sejam consistentes e que seus próprios erros sejam totalmente compreendidos. Os defeitos que permanecem não são um sinal de um sistema colapsando sob o peso da inteligência artificial, mas sim um lembrete da duradoura complexidade da erudição humana.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.