Resumen Técnico: SCALAR, un benchmark para modelos fundacionales de materiales

Declaración del Problema

Los modelos de lenguaje extensos (LLMs) y los modelos fundacionales se están aplicando cada vez más al razonamiento en la ciencia de materiales. Sin embargo, su comportamiento bajo cambios de distribución con estructura física —específicamente cambios en la escala estructural— sigue siendo poco comprendido. Mientras que los modelos pueden predecir propiedades con precisión para cristales masivos perfectos (representados por celdas unitarias), a menudo fallan cuando se les asigna el razonamiento sobre estructuras finitas derivadas (nanopartículas) que rompen la invariancia de traslación.

Las evaluaciones actuales suelen centrarse en la precisión de la tarea o la corrección del formato, rara vez evaluando la consistencia entre escalas. Este descuido permite que los modelos produzrgan salidas que pueden parecer localmente plausibles, pero que violan invariantes físicos globales (por ejemplo, la simetría cristalográfica, las restricciones de conservación y las relaciones geométricas dependientes de la escala). Tales violaciones constituyen una forma de alucinación estructural fundamentada: predicciones confiadas que son físicamente incorrectas debido a la violación de los invariantes subyacentes bajo cambios de distribución. Existe una falta de conjuntos de datos que proporcionen representaciones emparejadas del mismo objeto a través de múltiples escalas con divisiones controladas fuera de la distribución (OOD) para diagnosticar estos fallos.

Metodología: El Marco SCALAR

Los autores introducen SCALAR (Structural Consistency And Logic Across Regimes), un benchmark diseñado para evaluar la generalización de la escala geométrica y su conexión con la alucinación estructural, la consistencia y el razonamiento.

1. Construcción del Conjunto de Datos

El conjunto de datos se deriva de celdas unitarias relajadas mediante DFT de materiales cristalinos químicamente diversos (41 elementos únicos, incluyendo sistemas ricos en hidrógeno para el almacenamiento de energía).

• Fase I (Construcción de Nanopartículas): Partiendo de una celda unitaria primitiva, se genera una supercelda de $20 \times 20 \times 20$. Las nanopartículas finitas se crean mediante "tallado esférico", reteniendo los átomos dentro de una esfera de radio $R$ centrada en un origen. Los radios oscilan entre $10$y$30$ Å, creando estructuras que van desde unos pocos átomos hasta más de 18,000 átomos (totalizando $\approx 100,000$ estructuras).
• Fase II (Muestreo de Rotación): Para mitigar el sesgo de orientación, las estructuras se aumentan con rotaciones rígidas muestreadas en $SO(3)$ utilizando cuaterniones unitarios. Un muestreador codicioso asegura un espaciamiento geodésico mínimo entre rotaciones.
• Fase III (Partición Consciente de la División): El conjunto de datos se divide en conjuntos de Entrenamiento, de Prueba en la Distribución (ID) y de Prueba Fuera de la Distribución (OOD).
  • Separación ID/OOD: Las rotaciones en los conjuntos ID y OOD están estrictamente separadas del conjunto de entrenamiento mediante márgenes de exclusión ($\epsilon_{ID} = 8^\circ$, $\epsilon_{OOD} = 8^\circ$) y parámetros de espaciamiento específicos.
  • Partición de Radio: El entrenamiento incluye radios $\{12, 14, 16, 18, 21, 23, 25, 26, 28\}$. El test ID usa $\{13, 15, 17, 20, 24, 27\}$, mientras que el test OOD usa radios extremos $\{10, 11, 29, 30\}$ para sondear la extrapolación de escala.

2. Tareas de Evaluación

SCALAR define tres tareas para sondear diferentes aspectos de la capacidad del modelo:

1. Predicción de CIF a Propiedad: Los modelos predicen las propiedades de las nanopartículas (densidad, volumen, distancia de vecino más cercano) dado un Archivo de Información Cristalográfica (CIF).
2. Razonamiento de Cadena de Pensamiento (CoT): Una variante de la Tarea 1 que requiere pasos de razonamiento explícitos y fundamentados en la física antes de la predicción final.
3. Recuperación Inversa: Dada una propiedad objetivo, los modelos deben identificar la estructura cristalina correcta de un conjunto de candidatos.

3. Métricas

Las salidas se evalúan mediante métricas estructuradas que capturan:

• Tasa de Alucinación: Frecuencia de predicciones que violan restricciones físicas (por ejemplo, densidades negativas) o fallos de autoconsistencia.
• Consistencia: Desviación estándar de las predicciones numéricas a través de $N=5$ consultas independientes.
• Calidad del Razonamiento: Correlación de rango de Spearman entre los cambios de propiedades predichos a través de los radios y los deltas de la verdad fundamental (ground-truth).
• Precisión: Error Absoluto Medio (MAE) para predicciones numéricas.
• Distancia Física y Arrepentimiento (Regret): Para la recuperación inversa, la distancia $L_2$ normalizada entre el vector de propiedades objetivo y el propuesto, y la suboptimidad del candidato seleccionado.

Resultados Clave

Los experimentos realizados en diversos modelos fundacionales (incluyendo GPT-5 Mini, o3-mini, Grok, Claude y variantes de LLaMA) revelan hallazgos significativos:

• Colapsos Dependientes de la Escala: Los cambios de escala geométrica exponen fallos sistemáticos en el razonamiento físico y la consistencia entre escalas que no son aparentes solo mediante la precisión agregada. Las tasas de alucinación e inconsistencia aumentan drásticamente bajo escalas OOD, incluso cuando el error numérico se degrada solo modestamente.
• Variabilidad Dependiente del Modelo: El rendimiento depende altamente del modelo. Por ejemplo, en la recuperación inversa, Grok 4.1 Fast logró una alta precisión top-1 ($0.808$ ID, $0.793$ OOD), mientras que otros como Claude 3 Haiku mostraron errores significativos de distancia física.
• Sensibilidad Específica del Material: Los errores no son uniformes; dependen fuertemente de la estructura. Algunos materiales (por ejemplo, $LiCaH_3$) muestran incrementos relativos de error masivos ($>30\%$) o reversiones de signo en regímenes OOD, mientras que otros permanecen estables.
• Compromisos de la Cadena de Pensamiento (CoT): El uso de prompting de CoT arroja resultados heterogéneos. Aunque a menudo reduce los errores numéricos y las tasas de alucinación, frecuentemente desestabiliza la consistencia o degrada la calidad del razonamiento para modelos específicos. Las ganancias en las explicaciones intermedias no se traducen de manera fiable en predicciones más estables o físicamente consistentes.
• Limitaciones de la Recuperación Inversa: Una alta precisión en la selección del candidato correcto no garantiza la fidelidad física. Algunos modelos mantienen distancias físicas bajas (errores de "casi acierto") a pesar de una moderada precisión de recuperación, mientras que otros fallan totalmente en alinearse con las propiedades físicas.
• Comparaciones con Baselines: Tanto los LLMs basados en texto como las redes neuronales de grafos nativas de la geometría (por ejemplo, SchNet, E(3)NN) exhiben una degradación sustancial dependiente de la escala, con las GNN mostrando incrementos de MAPE de $\approx 100\%$ a $>300\%$ en regímenes OOD. Los baselines analíticos basados en leyes de escalamiento de volumen funcionan bien en propiedades intensivas pero fallan en las extensivas.

Significado y Reivindicaciones

El artículo afirma que la generalización de la escala geométrica no puede inferirse únicamente a partir de la precisión.

• Alucinación Fundamentada: Los autores argumentan que los errores que violan invariantes físicos globales bajo cambios de escala estructural constituyen una forma específica y fundamentada de alucinación que requiere un diagnóstico dirigido.
• Valor Diagnóstico: SCALAR proporciona una "lente fundamentada" para diagnosticar fallos de generalización geométrica que son invisibles para las métricas de precisión promedio del modelo. Destaca que las métricas de error superficiales subestiman sistemáticamente los fallos en el razonamiento estructural y físico.
• Limitaciones de los Prompts Actuales: El estudio demuestra que el prompting de CoT no es una intervención monótona o universalmente beneficiosa; introduce compromisos donde un razonamiento mejorado puede tener a cambio un costo en la consistencia.
• Dirección Futura: Al enmarcar la alucinación como una consecuencia de la inconsistencia geométrica y química, SCALAR ofrece un entorno para diagnosticar y mitigar fallos bajo cambios de distribución estructural realistas, allanando el camino para un despliegue más fiable de los modelos fundacionales en la ciencia de materiales.

Los autores señalan explícitamente las limitaciones, incluyendo el enfoque del conjunto de datos en la expansión determinista de superceldas (ignorando desorden/defectos), el uso de computaciones geométricas clásicas en lugar de observables cuánticos, y el potencial de la inestabilidad de formato de CoT para complicar la atribución.