When Literature Data Mislead Artificial Intelligence in Materials Discovery

Imagine um mundo onde cientistas não passam mais anos em laboratórios testando um material após o outro. Em vez disso, eles pedem a um computador para escanear milhões de artigos de pesquisa, encontrar os melhores números e prever quais novas substâncias funcionarão melhor para baterias ou células solares. Esta é a promessa da inteligência artificial na ciência dos materiais. A ideia é que, se um computador puder ler cada experimento já publicado, ele poderá aprender as regras ocultas de como a matéria se comporta e projetar os materiais perfeitos para as nossas necessidades energéticas futuras. Mas essa visão depende de uma suposição frágil: a de que os números escritos naqueles artigos antigos são exatamente o que dizem ser. Se um cientista escreve que um material conduz eletricidade com uma certa força, o computador assume que esse número é verdadeiro, claro e pronto para uso.

Uma equipe de pesquisadores da Universidade de Tohoku e da Universidade de Tóquio descobriu que essa suposição é perigosamente errada. Eles analisaram de perto como os cientistas relatam dados para eletrólitos sólidos, os materiais especiais que permitem que os íons se movam dentro de baterias de última geração. Sua investigação revela que os números extraídos da literatura científica são frequentemente não apenas ligeiramente imprecisos, mas fundamentalmente enganosos. O problema não é que os cientistas originais cometeram erros, mas que a forma como relatam suas descobertas é frequentemente ambígua. Um número pode estar correto no texto, mas errado no gráfico, ou as unidades podem estar misturadas de uma forma que altera o valor em cem vezes. Quando os sistemas de inteligência artificial capturam esses números para construir seus modelos, eles estão, sem saber, aprendendo a partir de uma realidade distorcida, tratando descrições vagas como fatos concretos.

Os pesquisadores começaram tratando os artigos científicos não como histórias finalizadas, mas como fontes de dados brutos. Eles focaram na condutividade iônica, uma medida de quão facilmente a eletricidade flui através de um material sólido. Este valor é crítico para decidir se um material é bom o suficiente para uma bateria. Em um mundo perfeito, um pesquisador mediria este valor, anotaria e a próxima pessoa o leria e o usaria exatamente como está. Na realidade, o caminho de um caderno de laboratório para um banco de dados de computador é cheio de armadilhas ocultas. A equipe rastreou milhares de valores relatados de seus artigos originais para bancos de dados curados usados para treinar inteligência artificial. Eles descobriram que a jornada frequentemente envolvia adivinhar o que o autor original pretendia, e essas suposições eram frequentemente incorretas.

Um problema comum que a equipe encontrou foi uma incompatibilidade entre o texto e as figuras. Um cientista pode escrever no parágrafo principal que um material possui uma condutividade específica à temperatura ambiente, mas quando os pesquisadores olharam para o gráfico real no mesmo artigo, o ponto de dados para essa temperatura contava uma história diferente. O número no texto pode ser ligeiramente maior ou menor do que o mostrado no gráfico. Para um leitor humano, isso pode parecer um erro de digitação menor ou um erro de arredondamento. Mas para um computador, que trata cada número como um fato preciso, isso cria um conflito. O computador não sabe em qual número confiar. Quando isso acontece em centenas de artigos, o banco de dados fica preenchido com informações conflitantes que parecem corretas na superfície, mas que são, na verdade, pouco confiáveis.

Outra grande fonte de confusão foi a forma como os gráficos foram rotulados. Artigos científicos frequentemente utilizam gráficos complexos para mostrar como a condutividade muda com a temperatura. Esses gráficos geralmente possuem eixos com rótulos específicos, mas às vezes esses rótulos são vagos ou totalmente ausentes. Um pesquisador pode plotar um valor sem declarar claramente se ele representa a condutividade bruta ou uma transformação matemática desse valor. Sem essa clareza, duas pessoas diferentes lendo o mesmo gráfico poderiam extrair dois números completamente diferentes. A equipe mostrou que, dependendo de como se interpreta o eixo, o mesmo ponto de dados poderia ser lido como uma condutividade muito alta ou uma muito baixa. Essas diferenças não são erros aleatórios; são erros estruturados que seguem um padrão, tornando-os muito difíceis de serem detectados como errados por um computador.

Os erros mais perigosos envolveram as unidades de medida. Na ciência, a condutividade pode ser relatada em diferentes unidades, como por centímetro ou por metro. Uma diferença de uma unidade pode mudar o valor em um fator de cem. Os pesquisadores encontraram casos onde um artigo declarava claramente um valor em uma unidade, mas o gráfico ou uma entrada posterior no banco de dados o tratava como se fosse em outra. Como os números ainda pareciam plausíveis — estavam dentro da faixa do que é fisicamente possível para esses materiais — o erro passou despercebido. Um computador lendo os dados aceitaria o número errado como verdade. Em um caso específico que a equipe examinou, um valor foi mal interpretado de uma forma que criou um erro de cem vezes. Esse único erro, uma vez inserido em um banco de dados, foi então copiado e reutilizado por outros pesquisadores e modelos de aprendizado de máquina, espalhando o erro como um vírus pelo registro científico.

A equipe analisou uma grande coleção de artigos sobre eletrólitos sólidos tanto à base de gel quanto inorgânicos. Eles descobriram que as incompatibilidades entre texto e figura eram comuns em eletrólitos em gel, aparecendo em cerca de dez por cento dos artigos que verificaram. Para materiais inorgânicos, os problemas eram ainda mais variados, sendo as inconsistências de unidades o problema mais frequente. Em uma amostra de dezesseis casos inorgânicos, os pesquisadores identificaram vinte e cinco instâncias separadas de ambiguidade de relato. Isso significa que um único artigo pode conter múltiplos tipos de erros. Os dados mostraram que estes não eram apenas incidentes isolados de descuido, mas um problema estrutural na forma como os resultados científicos são comunicados. Até especialistas na área tiveram dificuldade em interpretar os dados corretamente sem fazer suposições, o que sugere que o problema está profundamente enraizado no sistema atual de publicação científica.

Os pesquisadores argumentam que isso não é apenas um problema para bibliotecários ou gestores de bancos de dados; é uma crise para o futuro da inteligência artificial na ciência. Modelos de aprendizado de máquina são tão bons quanto os dados que recebem. Se os dados de treinamento estiverem cheios de ambiguidades ocultas e erros de unidade, o modelo aprenderá os padrões errados. Ele pode prever que um material é excelente quando, na verdade, é inútil, ou pode perder um candidato revolucionário inteiramente. A equipe descobriu que esses erros atuam como uma forma de "ruído de rótulo estruturado". Ao contrário de erros aleatórios que podem se neutralizar pela média, esses erros são consistentes e sistemáticos, o que significa que podem enviesar o aprendizado do computador em uma direção específica. O resultado é um modelo que parece confiante, mas é fundamentalmente falho.

Para corrigir isso, os autores propõem um novo padrão para como os cientistas relatam suas descobertas. Eles sugerem que os pesquisadores devem ser muito mais explícitos sobre os detalhes que atualmente são omitidos. Cada gráfico deve declarar claramente o que está sendo plotado e em quais unidades. A temperatura na qual um valor foi medido deve ser exata, não apenas descrita como "temperatura ambiente". Os autores devem esclarecer se um número foi medido diretamente ou calculado a partir de uma curva. Estes podem parecer detalhes pequenos e entediantes, mas os pesquisadores insistem que eles são a base de uma ciência confiável. Sem eles, os dados não podem ser usados com segurança por computadores ou outros cientistas.

O estudo conclui que a confiabilidade dos dados científicos é uma questão de infraestrutura, tão importante quanto os algoritmos ou os próprios computadores. À medida que a ciência avança em direção a um futuro onde máquinas ajudam a descobrir novos materiais, o registro humano de experimentação deve ser tornado legível para máquinas no sentido mais estrito. Isso significa não apenas ter números, mas ter números que sejam inequívocos, rastreáveis e consistentes. Os pesquisadores enfatizam que melhorar a qualidade dos dados não é uma tarefa editorial menor, mas um pré-requisito para a próxima geração de descobertas científicas. Se a entrada é falha, a saída será falha, não importa quão inteligente seja a inteligência artificial. O caminho a seguir exige uma mudança de cultura, onde a clareza do relato seja valorizada tanto quanto a própria descoberta, garantindo que o futuro digital da ciência seja construído sobre uma base sólida.