SHIELD reduces information leakage in data splits through joint structural optimization

En la carrera por utilizar la inteligencia artificial para el descubrimiento científico, los investigadores intentan enseñar a las computadoras a predecir las propiedades de materiales, medicinas y reacciones químicas que nunca han sido vistas antes. El objetivo no es solo memorizar lo que ya ha sido medido, sino aprender las reglas subyacentes para que la computadora pueda adivinar correctamente sobre lo desconocido. Para probar si una computadora realmente ha aprendido estas reglas, los científicos dividen sus datos en dos montones: uno para entrenar a la computadora y otro para probarla. Si el montón de prueba contiene elementos que son demasiado similares al montón de entrenamiento, la computadora puede confiar en reconocer un patrón familiar en lugar de resolver el problema. Esto es como un estudiante tomando un examen donde las preguntas son solo reformulaciones leves de la tarea; obtiene una puntuación perfecta, pero no ha aprendido realmente la materia. Durante décadas, la forma estándar de dividir los datos ha sido mezclar todo aleatoriamente, lo que a menudo deja estos pares peligrosos y excesivamente similares en lados opuestos de la división, creando una falsa sensación de seguridad sobre qué tan bien funcionarán los modelos en el mundo real.

Un equipo de investigadores de la Universidad Hamad Bin Khalifa ha desarrollado un nuevo método llamado SHIELD para solucionar este problema. En lugar de barajar los datos aleatoriamente o usar una sola regla para separarlos, SHIELD actúa como un organizador sofisticado que observa los datos desde tres ángulos diferentes a la vez. Considera cómo se agrupan los elementos en familias, qué tan cerca se sitúan unos de otros en una compleja red de características y cómo se comparan sus distribuciones generales. El sistema encuentra entonces una manera de cortar los datos que respete todas estas relaciones simultáneamente, asegurando que el conjunto de prueba sea genuinamente diferente del conjunto de entrenamiento. Los investigadores probaron este enfoque en ocho conjuntos de datos científicos diferentes, que van desde el estudio de aleaciones metálicas utilizadas en la impresión 3D hasta el comportamiento de diminutas moléculas en la química cuántica. Encontraron que SHIELD creó consistentemente condiciones de prueba mucho más estrictas y realistas que los métodos existentes, revelando que muchos modelos que parecían exitosos bajo la prueba aleatoria en realidad fallaban cuando se enfrentaban a datos verdaderamente nuevos.

El núcleo del problema radica en cómo se estructura la información científica. En campos como la biología o la ciencia de materiales, los puntos de datos rara vez son independientes. Una nueva molécula de fármaco podría ser una ligera variación de una antigua, o una aleación metálica podría pertenecer a una familia específica de materiales que comparten una historia común. Cuando un modelo de computadora es entrenado con una versión de una molécula y probado con una versión casi idéntica, no necesita entender la química; solo necesita reconocer la similitud. Esto se conoce como fuga de información (information leakage), y conduce a predicciones excesivamente optimistas. Los investigadores demostraron que los métodos estándar, que a menudo dependen de la agrupación simple o la selección aleatoria, frecuentemente fallan al romper estas conexiones ocultas. Por ejemplo, en un conjunto de datos relacionado con la fusión de lecho de polvo por láser —un proceso utilizado para construir piezas metálicas capa por capa—, la división aleatoria de los datos dejó los conjuntos de entrenamiento y de prueba tan mezclados que la computadora podía fácilmente adivinar el resultado basándose en la máquina utilizada o en el tipo de aleación, en lugar de en la física real del proceso.

Para resolver esto, el marco de trabajo SHIELD fue diseñado para manejar tres tipos específicos de relaciones que causan la fuga. Primero, observa la contención jerárquica, que mantiene grupos relacionados, como una familia de aleaciones o un conjunto de variantes de proteínas, juntos en el mismo montón para que no se filtren al otro. Segundo, examina el colector de características (feature manifold), que es una forma de mapear qué tan cerca están los diferentes puntos de datos entre sí basándose en sus propiedades, asegurando que los vecinos en este mapa no sean separados. Tercero, gestiona la distribución, asegurando que la dispersión general de los datos en el conjunto de prueba sea un ajuste controlado a un escenario futuro conocido o un cambio deliberado para simular uno completamente desconocido. La innovación es que SHIELD no aplica estas reglas una tras otra, lo que podría deshacer el trabajo del paso anterior. En su lugar, optimiza las tres al mismo tiempo, encontrando un equilibrio donde los datos se dividen de una manera que satisface la necesidad de separación sin romper la estructura natural de la ciencia.

El equipo validó este método a través de una amplia gama de disciplinas científicas. En el estudio de las aleaciones formadoras de vidrio, encontraron que, si bien algunos métodos existentes podían separar los datos de manera efectiva, a menudo rompían el equilibrio de las clases, lo que conducía a resultados engañosos. SHIELD logró mantener las clases equilibradas mientras creaba un entorno de prueba difícil. En el ámbito de la química cuántica, donde el objetivo es predecir los estados de energía de pequeñas moléculas orgánicas, el nuevo método separó con éxito los conjuntos de entrenamiento y de prueba de una manera que obligó a los modelos de computadora a extrapolar verdaderamente. Cuando los investigadores probaron modelos de aprendizaje automático estándar con estas nuevas divisiones, los resultados fueron reveladores. Los modelos que previamente habían mostrado una alta precisión con divisiones aleatorias vieron su rendimiento caer significativamente, llegando incluso a fallar por completo. Esta caída no era una señal de que los modelos estuvieran rotos, sino que las pruebas anteriores habían sido demasiado fáciles. Estas nuevas divisiones expusieron la incapacidad de los modelos para manejar datos que estaban genuinamente fuera de su experiencia de entrenamiento.

Uno de los hallazgos más impactantes provino del conjunto de datos de fabricación aditiva, que involucraba 1,579 construcciones de piezas metálicas de seis aleaciones diferentes en 45 modelos de impresoras diferentes. Cuando los investigadores usaron SHIELD para retener familias enteras de aleaciones del conjunto de datos de entrenamiento, los modelos de computadora tuvieron dificultades inmensas. Un modelo de red neuronal, que había funcionado bien en otras divisiones, colapsó, produciendo predicciones que eran erróneamente inexactas. Esto sucedió porque el modelo nunca había visto ese tipo específico de aleación antes y no pudo confiar en el simple reconocimiento de patrones. En contraste, cuando los investigadores retuvieron un modelo de impresora específico, los modelos funcionaron mucho mejor. Esta asimetría proporcionó una visión crucial: la familia de aleaciones representaba una barrera física fundamental que el modelo no podía cruzar, mientras que la identidad de la impresora era una variable menos significativa. El marco de trabajo SHIELD fue capaz de distinguir entre estos dos tipos de desafíos, ayudando a los científicos a comprender qué aspectos de sus datos eran verdaderamente difíciles de predecir.

Los investigadores también demostraron que su método puede manejar conjuntos de datos masivos mediante el uso de una técnica llamada coalescencia (coarsening). Para colecciones muy grandes de datos, calcular las relaciones entre cada punto individual es computacionalmente imposible. SHIELD resuelve esto agrupando elementos relacionados en "supernodos" más grandes basados en su jerarquía antes de realizar la división. Esto redujo el tamaño del problema en un factor de más de 1,600 en una de sus pruebas, y aun así, la calidad de la división fue tan estricta como si hubieran procesado cada punto de datos individualmente. Esta escalabilidad significa que el método puede aplicarse a los conjuntos de datos científicos más grandes sin perder su capacidad para detectar formas sutiles de fuga. El equipo también introdujo una nueva forma de medir la dificultad de una división, llamada Error Cuadrático Normalizado por el Descubrimiento (Discovery Normalized Squared Error). Esta métrica observa cuánto crece el error al pasar de los datos de entrenamiento a los de prueba, proporcionando una imagen más clara de cómo se desempeñará un modelo cuando encuentre lo desconocido.

El estudio concluye que la forma en que se dividen los datos no es solo un detalle técnico, sino una parte fundamental de la pregunta científica que se está planteando. Si la división permite la fuga de información, la evaluación está midiendo lo incorrecto. Al optimizar conjuntamente las relaciones estructurales en los datos, SHIELD proporciona una evaluación más honesta de la capacidad de un modelo para descubrir nuevo conocimiento. Los investigadores enfatizan que esto no es una solución mágica que arregla todos los problemas, sino una herramienta que obliga a los científicos a ser más rigurosos sobre lo que están probando. Los resultados sugieren que muchos modelos actualmente celebrados en la literatura científica pueden estar sobreajustándose a las peculiaridades de sus datos de entrenamiento en lugar de aprender las leyes de la naturaleza. Al utilizar un método que respeta la verdadera estructura de los datos científicos, los investigadores pueden construir modelos que estén verdaderamente listos para los desafíos del descubrimiento, asegurando que cuando una computadora prediga un nuevo material o un nuevo fármaco, se base en un entendimiento real y no en un golpe de suerte.