Chemical Chain-of-Thought Functions as a Hallucination-Prone Molecular Scratchpad
Este estudo revela que o raciocínio de cadeia de pensamento químico em modelos de linguagem funciona como um rascunho molecular propenso a alucinações, onde reivindicações estruturais fabricadas são comuns, porém causalmente fundamentais para gerar respostas corretas, necessitando de supervisão ao nível do processo em vez de uma simples avaliação da resposta.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na vasta paisagem da inteligência artificial, uma nova geração de modelos aprendeu a pensar antes de falar. Em vez de saltar diretamente para uma resposta, esses sistemas são treinados para escrever um processo de raciocínio passo a passo, de forma muito semelhante a um estudante resolvendo um problema de matemática em uma folha de rascunho. Este método, conhecido como raciocínio de cadeia de pensamento (chain-of-thought reasoning), tornou-se uma forma padrão de ajudar computadores a resolver quebra-cabeças complexos. No campo da química, onde as moléculas são os blocos de construção da vida e da medicina, essa habilidade é particularmente promissora. Os cientistas esperam que, se um computador puder explicar sua lógica para projetar um novo fármaco ou identificar uma estrutura química, especialistas humanos possam verificar essa lógica em busca de erros. A suposição era de que, se a resposta final estivesse correta, o raciocínio usado para chegar até ela também deveria ser confiável.
No entanto, um estudo recente desafia essa suposição reconfortante. Pesquisadores de instituições que incluem a Universidade Nacional de Singapura e a Universidade Politécnica de Hong Kong investigaram se esses modelos de IA estão realmente raciocinando através de problemas químicos ou se estão apenas inventando coisas ao longo do caminho. Eles focaram em um tipo específico de erro chamado alucinação, onde um modelo afirma com confiança um fato que é simplesmente falso. No contexto da química, isso poderia parecer um modelo alegando que uma molécula contém um grupo químico específico, como um ácido carboxílico, quando esse grupo está, na verdade, ausente da estrutura. Como as estruturas químicas são precisas e podem ser verificadas contra um banco de dados conhecido, este campo oferece uma oportunidade rara de testar se a explicação de uma IA corresponde à realidade. Os pesquisadores queriam saber: quando um modelo obtém a resposta certa, é porque ele entendeu a química ou apenas adivinhou a forma correta enquanto inventava uma história falsa para justificá-la?
Para encontrar a resposta, a equipe analisou quatro famílias diferentes de modelos de raciocínio em doze tarefas químicas distintas, que variam desde a descrição de moléculas até o projeto de novas moléculas. Eles construíram um sistema para ler o raciocínio escrito dos modelos e verificar cada afirmação química contra as estruturas moleculares reais envolvidas. O que descobriram foi surpreendente. As alucinações eram generalizadas. Em muitos casos, os modelos produziam a estrutura molecular perfeitamente correta, mas incluíam detalhes químicos fabricados em sua explicação escrita. Por exemplo, em uma tarefa envolvendo a geração de moléculas a partir de descrições textuais, cerca de 13 por cento das respostas de um modelo líder estavam exatamente corretas em seu resultado final, mas o texto de raciocínio que as acompanhava continha pelo menos uma afirmação química inventada. O estudo descobriu que a presença dessas mentiras quase não tinha conexão com o fato de a resposta final estar certa ou errada. Um modelo poderia ser completamente preciso em seu resultado enquanto seu raciocínio estava repleto de falsidades, ou poderia estar errado em seu resultado enquanto seu raciocínio estava limpo.
Esse descompasso sugere que o raciocínio escrito nem sempre é um registro fiel de como o modelo chegou à sua conclusão. Para entender por que isso acontece, os pesquisadores realizaram uma série de experimentos nos quais alteraram deliberadamente os resultados dos modelos. Eles pegaram o texto do raciocínio escrito e substituíram os nomes de grupos químicos por outros incorretos. Surpreendentemente, alterar essas afirmações verbais teve muito pouco efeito na resposta final produzida pelo modelo. O modelo parecia ignorar sua própria explicação escrita no momento de gerar a estrutura final. No entanto, quando eles alteraram a entrada original ou os esboços estruturais internos que o modelo escreveu, a resposta final mudou drasticamente. Isso revelou que os modelos não estavam contando com sua própria prosa para resolver o problema. Em vez disso, eles estavam usando o espaço de raciocínio como uma espécie de rascunho molecular.
Os pesquisadores descobriram que os modelos estavam escrevendo fragmentos de estruturas químicas, frequentemente em um formato chamado SMILES, que é uma forma de representar moléculas como sequências de texto. Esses fragmentos atuavam como notas intermediárias que o modelo usava para construir a resposta final. Embora as frases legíveis descrevendo a química fossem frequentemente não confiáveis e propensas a fabricações, esses rascunhos estruturais carregavam o verdadeiro peso da computação. Diferentes modelos usavam esse rascunho de maneiras distintas. Alguns dependiam fortemente desses fragmentos estruturais baseados em texto, enquanto outros pareciam focar em pistas químicas mais amplas, como a forma da molécula ou a posição de partes específicas. O estudo mostrou que a explicação legível é frequentemente uma racionalização post-hoc — uma história contada depois do fato — enquanto o trabalho real acontece nesses rascunhos estruturais ocultos.
As implicações desta descoberta são significativas para a forma como confiamos e utilizamos a inteligência artificial na ciência. Se um modelo pode produzir um candidato a fármaco correto enquanto mente sobre os grupos químicos que utilizou, confiar apenas na resposta final é arriscado. Um químico humano lendo a explicação pode ser induzido ao erro pelos detalhes fabricados, assumindo que o modelo compreendeu a química quando ele não compreendeu. Os pesquisadores demonstraram que é possível treinar modelos para serem mais honestos. Ao criar um novo método de treinamento que recompensa o modelo apenas quando seu raciocínio não contém afirmações fabricadas, eles produziram uma versão do modelo que cometia muito menos erros em suas explicações sem perder sua capacidade de resolver os problemas. Esta nova abordagem, que chamaram de Chem-R-Faithful, reduziu significativamente a taxa de afirmações fabricadas, mantendo o alto desempenho nas tarefas.
Em última análise, este trabalho revela que o raciocínio de cadeia de pensamento na química não é nem uma explicação perfeita, nem um subproduto inútil. É um espaço de trabalho complexo e propenso a alucinações, onde o modelo rascunha sua solução. O texto legível é frequentemente não confiável, mas as notas estruturais escondidas dentro desse texto são cruciais para obter a resposta correta. Isso significa que, para confiar verdadeiramente em uma IA na ciência, não podemos olhar apenas para o resultado final ou para a história escrita. Devemos desenvolver novas formas de verificar o próprio processo, checando os rascunhos estruturais e a lógica nos bastidores. À medida que essas ferramentas se tornam mais comuns na descoberta de fármacos e no design molecular, entender que o traço de raciocínio é um rascunho de trabalho, e não um relatório final, será essencial para garantir a segurança e a precisão dos produtos químicos do futuro.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.