From Hallucination to Reliability: Generative Modeling and the Structure of Scientific Inference

A ciência sempre dependeu de uma ideia simples e reconfortante: se você construir um modelo do mundo, pode confiar que ele lhe dirá a verdade, desde que o alimente com os dados corretos. Mas uma nova geração de inteligência artificial está mudando as regras. Estas não são as computadores do estilo antigo que simplesmente classificam informações em categorias organizadas; são modelos generativos, sistemas projetados para criar novos e complexos dados do zero. Eles podem prever como uma proteína se dobra em uma forma tridimensional ou prever o tempo em todo o globo. O problema é que essas máquinas criativas têm um lado sombrio. Elas são propensas a "alucinações", um termo emprestado da psicologia humana para descrever quando a IA inventa detalhes plausíveis que simplesmente não existem. Em um exame médico, isso pode parecer uma fratura em um osso saudável; em um modelo de proteína, pode ser uma estrutura sólida onde a natureza deixou uma bagunça caótica e desordenada. Por décadas, os cientistas temeram que esses erros fossem falhas fatais, tornando a tecnologia perigosa demais para descobertas sérias. Se a máquina está inventando coisas, como poderemos saber o que é real?

Um novo artigo de Charles Rathkopf, pesquisador do Centro de Pesquisa de Jülich, argumenta que estivemos olhando para o problema da maneira errada. O medo de que as alucinações tornem a IA generativa pouco confiável baseia-se num mal-entendido de como a ciência realmente funciona. Rathkopf sugere que devemos parar de julgar o modelo de IA isoladamente e começar a julgar todo o processo científico, ou "fluxo de trabalho" (workflow), no qual o modelo está inserido. O artigo propõe que, mesmo que a IA continue a inventar detalhes falsos, os cientistas podem construir uma rede de segurança ao seu redor. Ao usar seu próprio conhecimento profundo e pré-existente do mundo natural, os pesquisadores podem filtrar as mentiras e manter as verdades. O resultado é que a conclusão científica final pode ser confiável, mesmo que a ferramenta usada para alcançá-la seja imperfeita.

Para entender por que isso importa, deve-se primeiro compreender o que esses modelos de IA estão fazendo. Diferente do software tradicional que segue regras estritas e pré-escritas, a IA generativa aprende estudando vastas quantidades de dados existentes e, em seguida, adivinhando o que vem a seguir. É como um estudante que leu todos os livros de uma biblioteca e agora é solicitado a escrever uma nova história. O estudante pode escrever algo belo e novo, mas também pode inventar um personagem que nunca existiu ou um ponto de trama que contradiz as leis da física. No mundo da ciência, essa "invenção" é a alucinação. O artigo aponta que esses erros não são apenas erros aleatórios; eles são inevitáveis. Como a IA está tentando criar estruturas complexas e de alta dimensão — como o intrincado dobramento de uma proteína ou os padrões giratórios de uma tempestade — ela deve preencher lacunas onde os dados são escassos. Ao fazer isso, às vezes cria uma estrutura que parece perfeita na superfície, mas é fundamentalmente errada por baixo. O autor argumenta que não podemos simplesmente treinar a IA com mais rigor ou construir uma versão melhor do modelo para impedir isso. O próprio mecanismo que permite à IA ser criativa e útil é o mesmo mecanismo que a força a alucinar.

O artigo desafia uma suposição comum no campo: a de que uma alucinação é simplesmente um dado que parece diferente do que a IA foi treinada. Se isso fosse verdade, os cientistas poderiam simplesmente descartar qualquer saída que não correspondesse aos seus dados de treinamento. Mas Rathkopf argumenta que isso é uma armadilha. Na ciência, o objetivo não é repetir o que já sabemos; é descobrir o que não sabemos. Se um cientista descartar um novo resultado estranho apenas porque ele parece diferente do passado, ele pode acidentalmente descartar uma descoberta genuína. Em vez disso, o artigo define uma alucinação de forma mais precisa: é um resultado que representa erroneamente o objeto do mundo real que deveria descrever, e o faz por acidente, não por design. É um erro que a máquina comete por conta própria, não um truque que lhe foi ensinado.

O autor então volta a dois exemplos do mundo real para mostrar como os cientistas já estão resolvendo este problema sem precisar consertar a própria IA. O primeiro caso é o AlphaFold, um famoso sistema de IA desenvolvido pelo Google DeepMind que prevê as formas 3D de proteínas. As proteínas são as máquinas de trabalho da vida, e suas formas determinam o que elas fazem. O AlphaFold 3, a versão mais recente, utiliza uma abordagem generativa que permite inventar novas estruturas. Os desenvolvedores sabiam que isso levaria a alucinações. De fato, o sistema às vezes inventa uma forma sólida e compacta para uma parte de uma proteína que deveria ser, na verdade, flexível e desordenada. Se um cientista aceitasse esse resultado sem questionar, seria enganado. No entanto, a equipe construiu um "fluxo de trabalho" ao redor da IA para capturar esses erros. Eles adicionaram uma segunda camada de análise que atua como um inspetor de controle de qualidade. Este sistema observa a saída da IA e a verifica contra as regras conhecidas da química e da física. Por exemplo, sabe que partes desordenadas de uma proteína devem estar expostas à água circundante, enquanto partes sólidas devem estar guardadas no interior. Se a IA inventar uma forma sólida para uma parte desordenada, o fluxo de trabalho a sinaliza como suspeita. O sistema também atribui uma pontuação de confiança a cada parte da forma prevista, dizendo ao cientista exatamente quais partes são confiáveis e quais são provavelmente alucinações. A IA ainda comete erros, mas o fluxo de trabalho garante que esses erros nunca cheguem à conclusão final.

O segundo exemplo vem da meteorologia, especificamente de um sistema chamado SEEDS usado para previsão do tempo. O clima é caótico; pequenas mudanças nas condições iniciais podem levar a resultados drasticamente diferentes. Para lidar com isso, os meteorologistas usam "ensembles" (conjuntos), o que significa executar o mesmo modelo muitas vezes para obter uma gama de futuros possíveis. O SEEDS usa uma IA generativa para criar esses muitos futuros possíveis rapidamente. O artigo observa que previsões individuais desta IA podem ser fis vezes impossíveis, como um mapa meteorológico onde a pressão do ar e a temperatura contradizem as leis da física. Estas são alucinações. No entanto, o sistema permanece confiável. Como? Porque os cientistas não olham para uma única previsão isoladamente. Eles olham para o grupo inteiro de 512 previsões juntas. Se uma previsão for uma alucinação, ela é apenas uma voz em uma grande multidão. Desde que as alucinações sejam raras e não sejam todas iguais, elas se anulam quando os cientistas calculam a probabilidade final de chuva ou calor. O fluxo de trabalho aqui é o próprio conjunto (ensemble). Ao tratar a saída como uma coleção de possibilidades em vez de uma verdade única, o sistema filtra o ruído. Os pesquisadores também utilizam ferramentas estatísticas para verificar se o grupo de previsões, como um todo, corresponde à realidade, garantindo que os números de probabilidade final sejam dignos de confiança.

A principal descoberta do artigo é que a confiabilidade não exige que a IA seja perfeita. Exige que o processo humano ao redor da IA seja inteligente. Rathkopf argumenta que devemos parar de tentar construir uma IA "livre de alucinações", um objetivo que pode ser impossível, e começar a construir fluxos de trabalho "resistentes a alucinações". Isso desloca o foco da máquina para o método. A máquina pode ser uma caixa preta, um gerador misterioso de ideias, desde que os cientistas ao seu redor tenham o conhecimento para testar essas ideias. O artigo sugere que é assim que a ciência sempre funcionou: usamos ferramentas que são imperfeitas, mas as cercamos com verificações e equilíbrios. A IA fornece a matéria-prima, e o cientista fornece o julgamento.

Esta abordagem também muda a forma como pensamos sobre o papel da IA na ciência. Alguns críticos argumentam que a IA é boa apenas para encontrar novas ideias (descoberta), mas não para provar que elas são verdadeiras (justificação). Eles dizem que só devemos confiar na IA se pudermos testar suas previsões em um laboratório. Rathkopf concorda que o teste é crucial, mas acrescenta que o próprio fluxo de trabalho é parte da prova. O ato de filtrar, classificar e qualificar a saída da IA é uma forma de justificação. Não se trata apenas de esperar para ver se a IA está certa; trata-se de construir um sistema que garanta que a IA esteja certa antes mesmo de realizarmos o experimento. O artigo sugere que, desde que tenhamos conhecimento de base suficiente sobre o sistema que estamos estudando — seja uma proteína ou uma frente de tempestade — podemos construir essas redes de segurança.

O artigo conclui com uma nota sóbria, mas esperançosa. A capacidade de construir esses fluxos de trabalho confiáveis depende de ter uma compreensão profunda do sistema alvo. Se os cientistas estiverem tentando modelar algo sobre o qual sabem muito pouco, não poderão construir os filtros necessários para capturar as mentiras da IA. Nessas áreas de fronteira, o risco permanece alto. Mas para os muitos campos onde já temos uma compreensão sólida das regras — como o dobramento de proteínas ou a dinâmica do tempo — a IA generativa pode ser uma parceira poderosa. A máquina continuará a alucinar, tal como um artista humano pode cometer um erro enquanto pinta. Mas, desde que o cientista saiba como é uma pintura real, ele poderá identificar o erro e preservar a obra-prima. O artigo não afirma que o problema da IA foi resolvido ou que as alucinações desaparecerão. Afirma algo mais prático: que podemos aprender a conviver com elas, gerenciá-las e ainda assim usar essas poderosas ferramentas para expandir as fronteiras do conhecimento humano. A confiabilidade da ciência, argumenta o autor, nunca foi sobre a perfeição de nossas ferramentas, mas sobre a sabedoria de como as utilizamos.