Resumo Técnico: SCALAR – Benchmark para Modelos de Fundação de Materiais

Declaração do Problema

Grandes modelos de linguagem (LLMs) e modelos de fundação estão sendo cada vez mais aplicados ao raciocínio em ciência dos materiais. No entanto, seu comportamento sob mudanças de distribuição estruturalmente estruturadas — especificamente mudanças na escala estrutural — permanece mal compreendido. Embora os modelos possam prever propriedades com precisão para cristais volumulares perfeitos (representados por células unitárias), eles frequentemente falham ao serem incumbidos de raciocinar sobre estruturas finitas derivadas (nanopartículas) que quebram a invariância de translação.

As avaliações atuais focam tipicamente na precisão da tarefa ou na correção de formatação, raramente avaliando a consistência entre escalas. Essa negligência permite que os modelos produzam saídas que parecem localmente plausíveis, mas que violam invariantes físicos globais (ex: simetria cristalográfica, restrições de conservação e relações geométricas dependentes da escala). Tais violações constituem uma forma fundamentada de alucinação estrutural: previsões confiantes que são fisicamente incorretas devido à violação de invariantes subjacentes sob mudanças de distribuição. Há uma carência de conjuntos de dados que forneçam representações pareadas do mesmo objeto em múltiplas escalas com divisões controladas fora da distribuição (OOD) para diagnosticar essas falhas.

Metodologia: O Framework SCALAR

Os autores introduzem o SCALAR (Structural Consistency And Logic Across Regimes), um benchmark projetado para avaliar a generalização de escala geométrica e sua conexão com alucinação estrutural, consistência e raciocínio.

1. Construção do Conjunto de Dados

O conjunto de dados é derivado de células unitárias relaxadas via DFT de materiais cristalinos quimicamente diversos (41 elementos únicos, incluindo sistemas ricos em hidrogênio para armazenamento de energia).

• Fase I (Construção de Nanopartículas): Partindo de uma célula unitária primitiva, uma supercélula de $20 \times 20 \times 20$ é gerada. Nanopartículas finitas são criadas por "escultura esférica", retendo átomos dentro de uma esfera de raio $R$ centrada em uma origem. Os raios variam de $10$a$30$ Å, criando estruturas que abrangem de poucos átomos a mais de 18.000 átomos (totalizando $\approx 100.000$ estruturas).
• Fase II (Amostragem de Rotação): Para mitigar o viés de orientação, as estruturas são aumentadas com rotações rígidas amostradas em $SO(3)$ usando quaternions unitários. Um amostrador ganancioso garante o espaçamento geodésico mínimo entre as rotações.
• Fase III (Particionamento Consciente de Divisões): O conjunto de dados é dividido em conjuntos de Treinamento, Teste Dentro da Distribuição (ID) e Teste Fora da Distribuição (OOD).
  • Separação ID/OOD: As rotações nos conjuntos ID e OOD são estritamente separadas do conjunto de treinamento por margens de exclusão ($\epsilon_{ID} = 8^\circ$, $\epsilon_{OOD} = 8^\circ$) e parâmetros de espaçamento específicos.
  • Particionamento de Raio: O treinamento inclui raios $\{12, 14, 16, 18, 21, 23, 25, 26, 28\}$. O teste ID usa $\{13, 15, 17, 20, 24, 27\}$, enquanto o teste OOD usa raios extremos $\{10, 11, 29, 30\}$ para investigar a extrapolação de escala.

2. Tarefas de Avaliação

O SCALAR define três tarefas para sondar diferentes aspectos da capacidade do modelo:

1. Previsão de CIF para Propriedade: Os modelos preveem propriedades de nanopartículas (densidade, volume, distância de vizinho mais próximo) dado um Arquivo de Informação Cristalográfica (CIF).
2. Raciocínio de Cadeia de Pensamento (CoT): Uma variante da Tarefa 1 que exige etapas de raciocínio explícitas e fundamentadas na física antes da previsão final.
3. Recuperação Inversa: Dada uma propriedade alvo, os modelos devem identificar a estrutura cristalina correta a partir de um conjunto de candidatos.

3. Métricas

As saídas são avaliadas via métricas estruturadas que capturam:

• Taxa de Alucinação: Frequência de previsões que violam restrições físicas (ex: densidades negativas) ou falhas de autoconsistência.
• Consistência: Desvio padrão das previsões numéricas através de $N=5$ consultas independentes.
• Qualidade do Raciocínio: Correlação de postos de Spearman entre as mudanças de propriedades previstas através dos raios e os deltas da verdade fundamental (ground-truth).
• Precisão: Erro Médio Absoluto (MAE) para previsões numéricas.
• Distância Física e Arrependimento (Regret): Para recuperação inversa, distância $L_2$ normalizada entre os vetores de propriedade alvo e proposto, e a subotimalidade do candidato selecionado.

Principais Resultados

Experimentos em diversos modelos de fundação (incluindo GPT-5 Mini, o3-mini, Grok, Claude e variantes LLaMA) revelam descobertas significativas:

• Colapsos Dependentes da Escala: Mudanças de escala geométrica expõem falhas sistemáticas no raciocínio físico e na consistência entre escalas que não são aparentes apenas pela precisão agregada. As taxas de alucinação e inconsistência aumentam drasticamente sob escalas OOD, mesmo quando o erro numérico degrada apenas modestamente.
• Variabilidade Dependente do Modelo: O desempenho é altamente dependente do modelo. Por exemplo, na recuperação inversa, o Grok 4.1 Fast alcançou alta precisão top-1 ($0.808$ ID, $0.793$ OOD), enquanto outros como o Claude 3 Haiku mostraram erros significativos de distância física.
• Sensibilidade Específica ao Material: Os erros não são uniformes; são fortemente dependentes da estrutura. Alguns materiais (ex: $LiCaH_3$) mostram aumentos relativos massivos de erro ($>30\%$) ou reversões de sinal em regimes OOD, enquanto outros permanecem estáveis.
• Compromissos da Cadeia de Pensamento (CoT): O prompting de CoT produz resultados heterogêneos. Embora frequentemente reduza erros numéricos e taxas de alucinação, ele frequentemente desestabiliza a consistência ou degrada a qualidade do raciocínio para modelos específicos. Ganhos em explicações intermediárias não se traduzem confiavelmente em previsões mais estáveis ou fisicamente consistentes.
• Limitações da Recuperação Inversa: Alta precisão na seleção do candidato correto não garante fidelidade física. Alguns modelos mantêm baixa distância física (erros de "quase acerto") apesar de uma precisão de recuperação moderada, enquanto outros falham em alinhar-se totalmente com as propriedades físicas.
• Comparações de Linha de Base (Baseline): Tanto os LLMs baseados em texto quanto as redes neurais de grafos nativas de geometria (ex: SchNet, E(3)NN) exibem uma degradação substancial dependente da escala, com as GNNs mostrando aumentos de MAPE de $\approx 100\%$ para $>300\%$ em regimes OOD. Baselines analíticas baseadas em leis de escala de volume performam bem em propriedades intensivas, mas falham em extensivas.

Significância e Alegações

O artigo alega que a generalização de escala geométrica não pode ser inferida apenas pela precisão.

• Alucinação Fundamentada: Os autores argumentam que erros que violam invariantes físicos globais sob mudanças de escala estrutural constituem uma forma específica e fundamentada de alucinação que requer diagnóstico direcionado.
• Valor Diagnóstico: O SCALAR fornece uma "lente fundamentada" para diagnosticar falhas de generalização geométrica que são invisíveis às métricas de precisão média do modelo. Ele destaca que métricas de erro de superfície subestimam sistematicamente as falhas no raciocínio estrutural e físico.
• Limitações dos Prompts Atuais: O estudo demonstra que o prompting de CoT não é uma intervenção monotônica ou universalmente benéfica; ele introduz compromissos onde o raciocínio aprimorado pode vir ao custo da consistência.
• Direção Futura: Ao enquadrar a alucinação como uma consequência da inconsistência geométrica e química, o SCALAR oferece um cenário para diagnosticar e mitigar falhas sob mudanças de distribuição estrutural realistas, pavimentando o caminho para a implantação mais confiável de modelos de fundação na ciência dos materiais.

Os autores explicitamente notam limitações, incluindo o foco do conjunto de dados em expansão de supercélula determinística (ignorando desordem/defeitos), o uso de computações geométricas clássicas em vez de observáveis quânticos, e o potencial de instabilidade de formatação de CoT para complicar a atribuição.