Comparative study of ensemble-based uncertainty quantification methods for neural network interatomic potentials

Resumen Técnico: Estudio Comparativo de Métodos de Cuantificación de la Incertidumbre Basados en Ensembles para Potenciales Interatómicos de Redes Neuronales

Planteamiento del Problema
Los Potenciales Interatómicos de Aprendizaje Automático (MLIPs) ofrecen una alternativa computacionalmente eficiente a los métodos de primeros principios como la Teoría del Funcional de la Densidad (DFT) para simulaciones atómicas a gran escala. Aunque los MLIPs suelen validarse en conjuntos de datos de retención (dentro de la distribución, o ID) de energías y fuerzas atómicas, esta validación no garantiza la fiabilidad para propiedades emergentes a nivel de sistema (fuera de la distribución, o OOD), como las constantes elásticas o la conductividad térmica. En estos regímenes OOD, la validación directa suele ser computacionalmente prohibitiva. En consecuencia, la precisión predictiva (cuantificada como incertidumbre inversa) se utiliza frecuentemente como un heurístico para la exactitud. Sin embargo, la relación entre precisión y exactitud no está garantizada; un modelo puede ser altamente preciso (baja varianza) pero inexacto (alto sesgo), lo que conduce a predicciones excesivamente confiadas y potencialmente engañosas. Este artículo investiga la fiabilidad de la precisión predictiva como un sustituto de la exactitud, centrándose específicamente en los métodos de cuantificación de la incertidumbre (UQ) basados en ensembles para Potenciales Interatómicos de Redes Neuronales (NNIPs).

Metodología
El estudio emplea una arquitectura de Potencial Interatómico de Red Neuronal (NNIP) basada en funciones de simetría centradas en átomos, entrenada en un conjunto de datos de alótropos de carbono (diamante, grafito, grafeno monocapa y bicapa). El entrenamiento minimiza una función de pérdida que comprende los residuales ponderados de las energías y fuerzas atómicas.

Para evaluar la UQ, los autores generan ensembles de 100 modelos utilizando cuatro métodos distintos:

1. Bootstrap: Remuestreo del conjunto de datos de entrenamiento con reemplazo a nivel de configuración.
2. Dropout de Monte Carlo: Aplicación de máscaras de dropout estocásticas tanto durante el entrenamiento como durante la inferencia.
3. Inicialización Aleatoria: Entrenamiento de múltiples redes con arquitecturas idénticas pero con diferentes pesos y sesgos iniciales aleatorios.
4. Snapshot: Captura de los pesos del modelo en intervalos regulares durante una única trayectoria de entrenamiento.

El rendimiento de estos ensembles se evalúa en dos dominios:

• Dentro de la Distribución (ID): Evaluación de las predicciones de energía y fuerza en un conjunto de prueba de retención.
• Fuera de la Distribución (OOD): Cálculo de propiedades de materiales a gran escala que no formaban parte explícita del objetivo de entrenamiento. Específicamente, los autores calculan curvas de energía en frío (energía vs. parámetro de red) y relaciones de dispersión de fonones para diamante, grafeno y grafito. Estas tareas implican la extrapolación a configuraciones deformadas y regiones de alta dimensionalidad de la superficie de energía potencial que no están totalmente representadas en los datos de entrenamiento.

Se utiliza el Análisis de Componentes Principales (PCA) para visualizar la cobertura de los datos de entrenamiento en el espacio de características en relación con los puntos de evaluación OOD.

Resultados Clave

• Rendimiento Dentro de la Distribución (ID): Dentro del dominio ID, todos los métodos de ensemble exhiben una exactitud y precisión comparables. Los residuales y las incertidumbres muestran una correlación débil a moderada. El ensemble de bootstrap demuestra la correlación más fuerte entre los residuales y la incertidumbre, pero tiende a producir predicciones excesivamente confiadas (incertidumbre subestimada) para las fuerzas, probablemente debido a las correlaciones en los datos de entrenamiento (instantáneas de MD secuenciales) que violan el supuesto de independencia del bootstrapping. Los ensembles de dropout e inicialización aleatoria muestran incertidumbres mejor calibradas.
• Comportamiento Fuera de la Distribución (OOD): En el régimen OOD, la relación entre precisión y exactitud se degrada significamente.
  • Exceso de Confianza: Para las estructuras de diamante, que requieren una extrapolación significativa, los modelos producen predicciones altamente inexactas (desviándose de la verdad de campo de DFT) mientras mantienen estimaciones de incertidumbre bajas. Esto indica un fallo de los métodos de UQ para señalar la falta de fiabilidad del modelo.
  • Tendencias Contraintuitivas: Un hallazgo crítico es que, a medida que el modelo extrapola más allá de los datos de entrenamiento (por ejemplo, bajo compresión o tensión extrema), la incertidumbre estimada no necesariamente aumenta. En cambio, a menudo se estanca o incluso disminuye, a pesar de que el error de predicción crece. Este comportamiento se observa en todos los métodos de ensemble e incluso en arquitecturas de Redes Neuronales de Grafos (GNN, SchNet), lo que sugiere que no es específico de la arquitectura NNIP utilizada.
  • Análisis del Espacio de Características: El PCA revela que las configuraciones OOD (particularmente para el diamante) se encuentran fuera del grupo principal de los datos de entrenamiento. La falta de solapamiento se correlaciona con los grandes errores de predicción y el fallo de las estimaciones de incertidumbre para escalar con el error.

Significado y Reivindicaciones
El artículo concluye que, si bien la precisión predictiva puede servir como un sustituto fiable de la exactitud dentro del dominio de la distribución, esta relación se rompe en los regímenes de extrapolación. Los autores declaran explícitamente que su objetivo no es proponer nuevos métodos para mitigar estos problemas, sino caracterizar el comportamiento de los enfoques de UQ basados en ensembles existentes.

El estudio destaca las limitaciones fundamentales de la cuantificación de la incertidumbre actual:

1. Falsa Confianza: Las estimaciones de baja incertidumbre no garantizan la exactitud en entornos OOD; los modelos pueden estar errados con total confianza.
2. Incertidumbre Contraintuitiva: El fenómeno donde la incertidumbre disminuye o se estanca durante la extrapolación extrema desafía el supuesto de que la incertidumbre aumenta monótonamente con la distancia de la distribución de entrenamiento.
3. Limitaciones del Ajuste: Si bien aumentar la tasa de dropout puede inflar la incertidumbre y reducir el exceso de confianza, esto conlleva el coste de una reducción en la capacidad de aprendizaje y no mejora sistemáticamente la exactitud.

Los autores enfatizan que, sin una comprensión teórica más profunda de cómo generalizan las redes neuronales, las estimaciones de incertidumbre en escenarios de extrapolación deben tratarse con escepticismo. Sugieren que las estrategias prácticas, como el análisis de la cobertura del espacio de características y el empleo de aprendizaje activo para expandir los datos de entrenamiento, siguen siendo los enfoques más viables para asegurar la fiabilidad, en lugar de confiar únicamente en las métricas de UQ para señalar errores.