Resumo Técnico: MAT-PREF: O Treinamento com Recompensa Verificável Melhora o Raciocínio Composicional em Materiais Inorgânicos

Declaração do Problema

O aprendizado por reforço a partir de recompensas verificáveis (RLVR) impulsionou progressos significativos no raciocínio matemático e de código, mas sua aplicação a domínios científicos permanece subavaliada quanto à natureza da generalização. Os benchmarks existentes em ciência dos materiais frequentemente falham em decompor se os ganhos de desempenho decorrem de transferência estrutural, transferência de propriedades ou mera memorização. Especificamente, a tarefa de substituição iônica em cristais inorgânicos exige um raciocínio composicional que considere conjuntamente estados de oxidação, ambientes de coordenação, raios iônicos e efeitos de estrutura eletrônica. Os modelos de linguagem de grande escala (LLMs) atuais, mesmo aqueles com centenas de bilhões de parâmetros, têm dificuldade em compor esses fatores de forma confiável, operando próximo ao acaso em tais tarefas. Além da isso, não está claro se o treinamento com recompensa verificável pode melhorar o raciocínio em domínios onde a correção depende de classificações de propriedades de Teoria do Funcional da Densidade (DFT) em vez de simples correspondência de padrões.

Metodologia

O Benchmark MAT-PREF

Os autores introduzem o MAT-PREF, um benchmark composto por 10.837 questões de múltipla escolha sobre substituição iônica em 11 famílias de estruturas inorgânicas. Os dados são fundamentados em cálculos de DFT do Materials Project.

• Construção: As entradas são filtradas por estabilidade ($E_{hull} \le 0,1$ eV/átomo), classificadas em famílias de estruturas, atribuídas estados de oxidação e validadas ao nível de sítio. As questões são geradas removendo um elemento substituído para criar um "grupo de template", garantindo que as diferenças de propriedades surjam exclusivamente do elemento substituído.
• Divisões de Avaliação: O benchmark isola três eixos ortogonais de generalização:
  1. IID (Na Distribuição): Novos hospedeiros dentro de famílias de estruturas de treinamento familiares.
  2. OOD-host (Hospedeiro Fora da Distribuição): Famílias de estruturas inteiramente retidas (Garnet, Halide Perovskite, NASICON).
  3. OOD-property (Propriedade Fora da Distribuição): Propriedades alvo retidas (band gap) para hospedeiros vistos durante o treinamento apenas através de uma propriedade diferente (energia de formação).
• Pontuação: Para garantir a robustez contra a sensibilidade a distratores, a precisão é medida no nível da questão lógica (votação majoritária através de múltiplas permutações de distratores da mesma questão química subjacente).

Pipeline de Treinamento

Os autores empregam um pipeline de treinamento de dois estágios em modelos de 8B parâmetros (Qwen3-8B e Llama-3.1-8B-Instruct):

1. Ajuste Fino Supervisionado (SFT): Um traço de raciocínio é gerado para cada questão de treinamento usando o DeepSeek-R1, instruído a raciocinar a partir de princípios químicos (raio iônico, coordenação, etc.) sem revelar valores numéricos de DFT. O modelo é ajustado nesses pares (questão, traço) para dar o boot no formato e no vocabulário químico.
2. Otimização de Política de Grupo Relativa (GRPO): Partindo do checkpoint de SFT, o modelo é treinado usando GRPO com uma recompensa binária verificável. A recompensa é 1 se a resposta extraída coincidir com a verdade fundamental baseada em DFT e 0 caso contrário. Este estágio refina a política para maximizar a probabilidade da resposta correta sem exigir recompensas de processo explícitas.

Principais Contribuições

1. Benchmark MAT-PREF: Um benchmark fundamentado em DFT com três eixos de avaliação ortogonais e um protocolo de pontuação que penaliza o raciocínio inconsistente entre permutações de distratores.
2. Ganhos de Desempenho via Recompensas Verificáveis: Demonstração de que um pipeline de dois estágios SFT+GRPO eleva um modelo de 8B para 65,2% de precisão em IID e 71,6% em OOD-host, excedendo o baseline zero-shot mais forte (Qwen3-235B-Instruct) em mais de 20 pontos percentuais em divisões de generalização estrutural.
3. Insight Mecanístico sobre Consistência: Evidência de que o GRPO remodela a distribuição da política para que as respostas corretas se tornem a resposta modal em vez de meramente alcançável. Isso é quantificado por uma redução na lacuna entre a pontuação leniente (pelo menos uma permutação correta) e a pontuação estrita (todas as permutações corretas) de 24,0pp para 14,3pp. A análise de logit lens revela uma vantagem de ~20pp na "cristalização da resposta" na camada de decisão crítica (camada 24) para modelos GRPO em comparação ao SFT.

Resultados

• Escala vs. Raciocínio: Quatro modelos de fronteira zero-shot (70–671B parâmetros) permanecem na faixa de 33–54% de precisão em todas as divisões, confirmando que a escala do modelo por si só não resolve o raciocínio composicional exigido para a substituição iônica.
• Eficácia do Treinamento: O pipeline SFT+GRPO no Qwen3-8B atinge 65,2% (IID), 71,6% (OOD-host) e 60,0% (OOD-property). Estes resultados são replicados no Llama-3.1-8B com hiperparâmetros idênticos, confirmando as descobertas não são específicas de arquitetura.
• Padrões de Generalização:
  • Transferência Estrutural: O modelo generaliza bem para novas famílias, com o NASICON alcançando a maior precisão OOD (82,1%).
  • Transferência de Propriedade: A transferência de propriedade cruzada (treinamento em energia de formação, teste em band gap) produz 60,0% de precisão, significativamente acima dos baselines aleatórios, mas com uma margem menor sobre os modelos zero-shot, sugerindo que o pré-treinamento de fronteira captura algum raciocínio de propriedade cruzada.
  • Gargalos: O raciocínio de estrutura eletrônica (band gap) continua sendo um gargalo primário, ficando atrás do raciocínio termodinâmico (energia de formação) por mais de 20 pontos percentuais nas divisões IID.
• Consistência: O GRPO melhora significativamente a consistência entre permutações de distratores, reduzindo a lacuna de pontuação leniente-estrita e demonstrando um compromisso interno mais nítido com a resposta correta.

Significância e Alegações

O artigo afirma que o treinamento com recompensa verificável é um método viável e eficaz para melhorar o raciocínio científico composicional em ciência dos materiais, mesmo quando os dados de treinamento são limitados a modelos de 8B parâmetros. Os resultados sugerem que:

• Formato e Raciocínio são Separáveis: O SFT resolve problemas de formato e vocabulário, enquanto o GRPO refina a política de raciocínio contra leis físicas verificáveis.
• Generalização é Alcançável: Modelos podem generalizar para famílias de estruturas inteiramente novas e transferir o raciocínio entre diferentes propriedades físicas, desde que o sinal de treinamento seja fundamentado em cálculos de primeiros princípios.
• Consistência é uma Métrica Chave: A capacidade de produzir respostas consistentes através de perturbações superficiais (permutações de distratores) é um benefício distinto e mensurável do RLVR, indicando uma mudança da dependência de pistas superficiais para um raciocínio químico profundo.

Os autores mantêm-se modestos quanto ao escopo, observando que o MAT-PREF testa o raciocínio dentro de um framework consistente com DFT, em vez da viabilidade de síntese no mundo real, e que o raciocínio de estrutura eletrônica continua sendo uma limitação que requer trabalhos futuros, como modelos de recompensa de processo.