When Literature Data Mislead Artificial Intelligence in Materials Discovery

Imagina un mundo donde los científicos ya no pasan años en el laboratorio probando un material tras otro. En su lugar, le piden a una computadora que escanee millones de artículos de investigación, encuentre los mejores números y prediga qué nuevas sustancias funcionarán mejor para baterías o celdas solares. Esta es la promesa de la inteligencia artificial en la ciencia de materiales. La idea es que, si una computadora puede leer cada experimento publicado, puede aprender las reglas ocultas de cómo se comporta la materia y diseñar los materiales perfectos para nuestras necesidades energéticas futuras. Pero esta visión depende de una premisa frágil: que los números escritos en esos viejos artículos son exactamente lo que dicen ser. Si un científico escribe que un material conduce la electricidad con cierta intensidad, la computadora asume que ese número es verdadero, claro y listo para ser usado.

Un equipo de investigadores de la Universidad de Tohoku y la Universidad de Tokio ha descubierto que esta premisa es peligrosamente errónea. Examinaron de cerca cómo los científicos reportan los datos para electrolitos sólidos, los materiales especiales que permiten el movimiento de iones dentro de las baterías de próxima generación. Su investigación revela que los números extraídos de la literatura científica son a menudo no solo ligeramente incorrectos, sino fundamentalmente engañosos. El problema no es que los científicos originales cometieran errores, sino que la forma en que reportan sus hallazgos es a menudo ambigua. Un número puede ser correcto en el texto pero erróneo en el gráfico, o las unidades pueden estar mezcladas de una manera que cambia el valor por cien veces. Cuando los sistemas de inteligencia artificial toman estos números para construir sus modelos, están aprendiendo involuntariamente de una realidad distorsionada, tratando descripciones vagas como hechos duros.

Los investigadores comenzaron tratando los artículos científicos no como historias terminadas, sino como fuentes de datos brutos. Se centraron en la conductividad iónica, una medida de qué tan fácilmente fluye la electricidad a través de un material sólido. Este valor es crítico para decidir si un material es lo suficientemente bueno para una batería. En un mundo perfecto, un investigador mediría este valor, lo anotaría y la siguiente persona lo leería y lo usaría exactamente como es. En la realidad, el camino desde un cuaderno de laboratorio hasta una base de datos informática está lleno de trampas ocultas. El equipo rastreó miles de valores reportados desde sus artículos originales hacia bases de datos curadas utilizadas para entrenar la inteligencia artificial. Descubrieron que el viaje a menudo implicaba adivinar qué quería decir el autor original, y esas suposiciones eran frecuentemente incorrectas.

Un problema común que el equipo encontró fue un desajuste entre el texto y las figuras. Un científico podría escribir en el párrafo principal que un material tiene una conductividad específica a temperatura ambiente, pero cuando los investigadores miraron el gráfico real en ese mismo artículo, el punto de datos para esa temperatura contaba una historia diferente. El número en el texto podría ser ligeramente mayor o menor que el mostrado en la gráfica. Para un lector humano, esto podría parecer un error tipográfico menor o un error de redondeo. Pero para una computadora, que trata cada número como un hecho preciso, esto crea un conflicto. La computadora no sabe en qué número confiar. Cuando esto sucede en cientos de artículos, la base de datos se llena de información conflictiva que parece correcta en la superficie pero que es en realidad poco fiable.

Otro gran origen de confusión fue la forma en que se etiquetaban los gráficos. Los artículos científicos suelen utilizar diagramas complejos para mostrar cómo cambia la conductividad con la temperatura. Estos gráficos suelen tener ejes con etiquetas específicas, pero a veces esas etiquetas son vagas o faltan por completo. Un investigador podría graficar un valor sin declarar claramente si representa la conductividad bruta o una transformación matemática de ese valor. Sin esta claridad, dos personas diferentes leyendo el mismo gráfico podrían extraer dos números completamente distintos. El equipo demostró que, dependiendo de cómo se interprete el eje, el mismo punto de datos podría leerse como una conductividad muy alta o una muy baja. Estas diferencias no son errores aleatorios; son errores estructurados que siguen un patrón, lo que los hace muy difíciles de detectar como erróneos para una computadora.

Los errores más peligrosos involucraron las unidades de medida. En la ciencia, la conductividad puede reportarse en diferentes unidades, como por centímetro o por metro. Una diferencia de una unidad puede cambiar el valor por un factor de cien. Los investigadores encontraron casos donde un artículo declaraba claramente un valor en una unidad, pero el gráfico o una entrada posterior en la base de datos lo trataba como si fuera en otra. Debido a que los números todavía parecían plausibles —estaban dentro del rango de lo que es físicamente posible para estos materiales—, el error pasó desapercibido. Una computadora que lee los datos aceptaría el número incorrecto como verdad. En un caso específico que el equipo examinó, un valor fue malinterpretado de una manera que creó un error de cien veces. Este único error, una vez ingresado en una base de datos, fue luego copiado y reutilizado por otros investigadores y modelos de aprendizaje automático, propagando el error como un virus a través del registro científico.

El equipo analizó una gran colección de artículos sobre electrolitos sólidos tanto de tipo gel como inorgánicos. Encontraron que los desajustes entre texto y figura eran comunes en los electrolitos de gel, apareciendo en aproximadamente el diez por ciento de los artículos que revisaron. Para los materiales inorgánicos, los problemas eran aún más variados, siendo las inconsistencias de unidades el problema más frecuente. En una muestra de dieciséis casos inorgánicos, los investigadores identificaron veinticinco instancias separadas de ambigüedad en el reporte. Esto significa que un solo artículo podría contener múltiples tipos de errores. Los datos mostraron que estos no eran solo incidentes aislados de descuido, sino un problema estructural en cómo se comunican los resultados científicos. Incluso los expertos en el campo luchaban por interpretar los datos correctamente sin hacer suposiciones, lo que sugiere que el problema está profundamente arraigado en el sistema actual de publicación científica.

Los investigadores argumentan que esto no es solo un problema para bibliotecarios o gestores de bases de datos; es una crisis para el futuro de la inteligencia artificial en la ciencia. Los modelos de aprendizaje automático son tan buenos como los datos con los que se alimentan. Si los datos de entrenamiento están llenos de ambigüedades ocultas y errores de unidades, el modelo aprenderá los patrones incorrectos. Podría predecir que un material es excelente cuando en realidad es inútil, o podría perderse un candidato revolucionario por completo. El equipo encontró que estos errores actúan como una forma de "ruido de etiqueta estructurado". A diferencia de los errores aleatorios que podrían promediarse, estos errores son consistentes y sistemáticos, lo que significa que pueden sesgar el aprendizaje de la computadora en una dirección específica. El resultado es un modelo que parece seguro de sí mismo pero que es fundamentalmente defectuoso.

Para solucionar esto, los autores proponen un nuevo estándar para cómo los científicos reportan sus hallazgos. Sugieren que los investigadores deben ser mucho más explícitos sobre los detalles que actualmente se omiten. Cada gráfico debe declarar claramente qué se está graficando y en qué unidades. La temperatura a la que se midió un valor debe ser exacta, no solo descrita como "temperatura ambiente". Los autores deben aclarar si un número fue medido directamente o calculado a partir de una curva. Estos pueden parecer detalles pequeños y aburridos, pero los investigadores insisten en que son la base de una ciencia confiable. Sin ellos, los datos no pueden ser reutilizados de forma segura por computadoras u otros científicos.

El estudio concluye que la confiabilidad de los datos científicos es un problema de infraestructura, tan importante como los algoritos o las computadoras mismas. A medida que la ciencia avanza hacia un futuro donde las máquinas ayudan a descubrir nuevos materiales, el registro humano de la experimentación debe ser hecho legible para las máquinas en el sentido más estricto. Esto significa no solo tener números, sino tener números que sean inequívocos, trazables y consistentes. Los investigadores enfatizan que mejorar la calidad de los datos no es una tarea editorial menor, sino un prerrequisito para la próxima generación de descubrimientos científicos. Si la entrada es defectuosa, la salida será defectuosa, sin importar cuán inteligente sea la inteligencia artificial. El camino a seguir requiere un cambio de cultura, donde la claridad del reporte sea valorada tan altamente como el descubrimiento mismo, asegurando que el futuro digital de la ciencia se construya sobre una base sólida.