Finetuning with Scientific Data Increases Hallucinations: A Multi-domain Factuality Evaluation of LLMs
Este artigo apresenta o SciFactCheck, um benchmark multidomínio que revela que o ajuste fino científico aumenta paradoxalmente as alucinações e a assertividade em grandes modelos de linguagem ao mesmo tempo que diminui sua confiança interna, desafiando, assim, as atuais abordagens de ajuste fino específicas de domínio para melhorar a factualidade.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você tem um bibliotecário brilhante e culto que sabe um pouco sobre tudo. Esse bibliotecário é o seu Modelo de Linguagem Grande (LLM) padrão. Eles são ótimos em conversar, mas às vezes inventam coisas quando não têm certeza dos fatos. Isso é chamado de "alucinação".
Agora, imagine que você pega esse bibliotecário e o envia para uma universidade especializada para estudar apenas ciência. Você lhe dá milhares de livros didáticos, artigos de pesquisa e periódicos. Você espera que ele volte como um "Especialista Científico" que é ainda mais confiável do que antes.
Este artigo é um boletim escolar sobre esse experimento, e a notícia é surpreendentemente ruim.
Aqui está o que os pesquisadores descobriram, usando analogias simples:
1. O "Especialista" Ficou Pior com a Verdade
Os pesquisadores criaram um teste massivo chamado SCIFACTCHECK. Eles pediram a 18 modelos de IA diferentes (alguns gerais, outros "treinados cientificamente") para escrever parágrafos curtos sobre 2.500 tópicos científicos diferentes, da engenharia à filosofia.
O Resultado: Os modelos "científicos" na verdade cometeram mais erros do que os modelos gerais.
- A Analogia: É como levar um chef generalista e enviá-lo para uma escola culinária para aprender apenas sobre temperos. Você esperaria que eles fossem melhores na cozinha, mas, em vez disso, começaram a esquecer como ferver água e temperaram demais cada prato. O treinamento especializado pareceu confundir os modelos, tornando-os menos confiáveis em fatos básicos do que seus primos de uso geral.
2. Os Três Tipos de "Mentira"
O estudo não olhou apenas para respostas "erradas"; ele observou como elas estavam erradas. Eles encontraram três maneiras específicas pelas quais os modelos alucinaram:
- A Mentira "Inverificável" (Inverificabilidade): O modelo inventa um fato que soa real, mas que não pode ser encontrado em nenhum livro ou artigo.
- Analogia: O bibliotecário diz: "Em 1995, uma sociedade secreta de gatos governou a internet". Soa específico, mas nenhum registro disso existe.
- A Mentira "Exagerada" (Overclaim): O modelo pega uma pequena verdade e a transforma em uma enorme certeza absoluta.
- Analogia: Um estudo diz: "Este medicamento pode ajudar alguns pacientes". O modelo diz: "Este medicamento cura todo mundo". Ele exagera o escopo e a certeza.
- A Mentida da "Citação Falsa" (Atribuição): O modelo inventa uma fonte para apoiar sua afirmação.
- Analogia: O bibliotecário diz: "De acordo com o famoso artigo do 'Journal of Space Physics' pelo Dr. Smith...", mas esse artigo e esse doutor nunca existiram.
3. O Paradoxo do "Confiante, mas Ignorante"
Uma das descobertas mais estranhas foi sobre como os modelos se sentiam em relação às suas próprias respostas.
- A Descoberta: Os modelos treinados cientificamente usaram linguagem mais confiante (palavras como "definitivamente", "provado", "sempre"), mas eram, na verdade, menos confiantes internamente (seu "instinto" computacional era instável).
- A Analogia: Imagine um aluno que não sabe a resposta a um problema de matemática. Em vez de dizer "não tenho certeza", ele se levanta, levanta a mão e grita a resposta com 100% de convicção. Eles aprenderam o estilo de um cientista confiante, mas não aprenderam a substância. Eles são "errados com convicção".
4. O Problema do "Verificador de Fatos"
Finalmente, os pesquisadores tentaram usar computadores para avaliar esses modelos e, depois, pediram que especialistas humanos também os avaliassem.
- O Resultado: Os avaliadores de computador e os especialistas humanos nem sempre concordavam. Até mesmo os humanos tinham dificuldade em concordar sobre o que contava como um "fato científico" que pudesse ser verificado.
- A Analogia: É como ter um grupo de juízes tentando pontuar uma rotina de ginástica, mas eles não conseguem sequer concordar sobre as regras do esporte. Em alguns campos (como matemática), todos concordam com as regras. Em outros (como filosofia ou ciências sociais), é muito difícil definir o que é "verificável".
A Conclusão
O artigo conclui que simplesmente treinar uma IA em livros científicos não a torna um especialista científico confiável. Na verdade, pode torná-la mais perigosa porque ela soa mais confiante enquanto é menos precisa. Precisamos de melhores ferramentas para verificar reivindicações científicas e não podemos simplesmente assumir que uma IA "especializada" é automaticamente melhor do que uma IA "geral".
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.