Probing out-of-distribution generalization in machine learning for materials
Este estudio revela que las evaluaciones heurísticas comunes en el aprendizaje automático aplicado a la ciencia de materiales suelen sobreestimar la generalizabilidad y los beneficios del escalado neuronal porque prueban primordialmente la interpolación dentro del dominio de entrenamiento en lugar de la verdadera extrapolación fuera de la distribución, donde el aumento de datos o del tamaño del modelo produce rendimientos decrecientes o adversos.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En la búsqueda de nuevos materiales, los científicos han recurrido cada vez más a la inteligencia artificial para acelerar el proceso. Imagine una vasta biblioteca que contiene millones de recetas para diferentes sustancias, cada una con propiedades únicas como resistencia, conductividad o la energía que requiere para formarse. Tradicionalmente, encontrar un nuevo material significaba probar una receta tras otra en un laboratorio, un esfuerzo lento y costoso. El aprendizaje automático ofrece un atajo: al estudiar la biblioteca existente, una computadora puede aprender las reglas de la química y predecir las propiedades de materiales que nunca ha visto antes. El objetivo final es construir modelos que sean verdaderamente generales, lo que significa que puedan hacer predicciones precisas sobre tipos completamente nuevos de materia, no solo sobre aquellos que se parecen a lo que ya han estudiado. Esta capacidad para manejar lo desconocido es crucial para resolver desafíos globales, desde la creación de mejores baterías hasta el diseño de paneles solares más eficientes. Sin embargo, persiste una duda sobre qué tan bien funcionan realmente estas herramientas digitales cuando se enfrentan a lo verdaderamente desconocido.
Un equipo de investigadores se propuso probar los límites de estos modelos de aprendizaje automático en el campo de la ciencia de materiales. Querían saber si los modelos estaban aprendiendo genuinamente las leyes profundas de la naturaleza o si simplemente estaban memorizando patrones que resultaban parecerse a nuevos descubrimientos. Para ello, diseñaron un experimento masivo que involucró más de 700 desafíos diferentes. En cada desafío, entrenaron un modelo computacional con una gran colección de materiales conocidos y luego le pidieron que predijera las propiedades de un grupo específico de materiales que estaban completamente ausentes de sus datos de entrenamiento. Estos grupos se definieron mediante reglas específicas, tales como "todos los materiales que contienen un cierto elemento" o "todos los materiales con una forma cristalina específica". Los investigadores probaron una amplia variedad de modelos, que iban desde algoritmos simples y establecidos hasta complejos sistemas de aprendizaje profundo modernos que imitan al cerebro humano.
Los resultados fueron sorprendentes. En la gran mayoría de estos 700 desafíos, los modelos funcionaron excepcionalmente bien, incluso cuando los materiales de prueba contenían elementos o estructuras que no habían encontrado durante el entrenamiento. Los modelos simples, que utilizan reglas básicas de toma de decisiones, a menudo funcionaron tan bien como los sistemas de aprendizaje profundo más sofisticados. Este alto nivel de éxito sugirió que los modelos no estaban teniendo dificultades para generalizar a una nueva química tanto como se pensaba. Sin embargo, los investigadores profundizaron para entender por qué estaba sucediendo esto. Descubrieron que la definición de "nuevo" en estas pruebas era a menudo engañosa. Aunque los materiales de prueba eran técnicamente diferentes en cuanto a sus ingredientes químicos, a menudo ocupaban el mismo vecindario general en el espacio matemático que los modelos utilizan para comprender los materiales. En otras palabras, los modelos no se estaban aventurando verdaderamente en lo desconocido; simplemente estaban rellenando los huecos entre lo que ya sabían.
Para probar esto, el equipo mapeó el paisaje matemático donde viven estos materiales. Encontraron que, para las tareas en las que los modelos tuvieron éxito, los nuevos materiales estaban en realidad rodeados por los datos de entrenamiento, lo que permitía a los modelos hacer suposiciones seguras basadas en ejemplos cercanos. Pero cuando observaron las pocas tareas en las que los modelos fallaron, encontraron que los materiales de prueba estaban verdaderamente aislados, lejos de cualquier dato que los modelos hubieran visto. Esta distinción reveló una falla crítica en la forma en que el campo mide el éxito. Muchas de las pruebas que fueron celebradas como prueba de la capacidad de un modelo para manejar lo desconocido eran, en realidad, solo pruebas de su capacidad de interpolar, o de adivinar el punto medio entre puntos conocidos. Los modelos no estaban demostrando una capacidad mágica para extrapolar hacia los confines del espacio químico; solo estaban conectando los puntos en una región que ya comprendían.
El estudio también desafió una idea popular en la inteligencia artificial conocida como escalabilidad. La creencia predominante es que, si simplemente se hace más grande el conjunto de datos de entrenamiento o se deja que el modelo entrene durante más tiempo, su capacidad para generalizar siempre mejorará. Los investigadores probaron esto alimentando a los modelos con cada vez más datos. Para las tareas fáciles donde los nuevos materiales estaban cerca de los antiguos, el rendimiento sí mejoró con más datos. Pero para las tareas verdaderamente difíciles, donde los materiales estaban muy fuera de la zona de entrenamiento, añadir más datos o tiempo de entrenamiento no ayudó. En algunos casos, incluso empeoró los modelos, causando que se sobreajustaran a los datos conocidos y perdieran su capacidad de adivinar correctamente sobre lo desconocido. Esto sugiere que la promesa de escalar para resolver todos los problemas de generalización es exagerada cuando se trata de materiales verdaderamente novedosos.
Los investigadores concluyeron que el campo necesita ser más cuidadoso sobre cómo define y prueba la generalización. Los métodos actuales, que dependen de reglas simples para separar los datos de entrenamiento de los de prueba, a menudo crean ilusiones de éxito. Muestran que los modelos son buenos en lo que son buenos, pero no prueban necesariamente que estos modelos puedan manejar los desafíos verdaderamente difíciles que impulsarán los futuros avances científicos. El estudio no dice que el aprendizaje automático esté fallando; más bien, sugiere que hemos estado haciendo las preguntas equivocadas. Al reconocer que muchas de nuestras pruebas "difíciles" son en realidad bastante fáciles para los modelos, los científicos pueden ahora enfocarse en diseñar desafíos verdaderamente difíciles. Este cambio ayudará a identificar las brechas reales en nuestro entendimiento y guiará el desarrollo de modelos que puedan navegar verdaderamente los territorios inexplorados de la ciencia de materiales.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.