Resumo Técnico: Ajuste Fino de Pequenos Modelos de Linguagem para Geração Confiável de Arquivos INCAR do VASP

Declaração do Problema

A geração de arquivos de entrada para o pacote Vienna Ab initio Simulation Package (VASP), especificamente o arquivo INCAR, apresenta um desafio significativo para os Grandes Modelos de Linguagem (LLMs). Diferente da geração de texto geral, os arquivos INCAR exigem configurações fortemente acopladas e sensíveis à física, onde um arquivo sintaticamente válido ainda pode ser cientificamente incorreto. Embora LLMs proprietários de grande escala baseados em nuvem tenham demonstrado alguma capacidade neste domínio, sua dependência de serviços externos é inadequada para fluxos de trabalho de ciência dos materiais locais e de alto rendimento. Esses fluxos de trabalho frequentemente exigem implantação offline, privacidade rigorosa de dados e processamento de lote econômico, que são dificultados pelos limites de tokens de API, latência de rede e pelo alto custo de processar descrições estruturais completas para cada requisição. O problema central abordado é a falta de um modelo confiável, capaz de implantação local e de baixo custo, capaz de gerar configurações de entrada do VASP cientificamente precisas a partir de solicitações em linguagem natural.

Metodologia

Os autores propõem o INCAR-SLM, um sistema que combina um Pequeno Modelo de Linguagem (SLM) ajustado com um pós-processador determinístico chamado VASPGuard. O fluxo de trabalho é estruturado como uma tarefa de geração de entrada com restrições, em vez de uma geração de texto livre.

1. O Conjunto de Treinamento do INCAR

Um conjunto de dados especializado foi construído a partir de 4.453 registros de referência de cálculos VASP derivados do Materials Project. Os dados cobrem quatro tipos principais de tarefas:

• Cálculos estáticos de auto-consistência (self-consistent).
• Relaxações de geometria.
• Cálculos de estrutura de bandas não auto-consistentes.
• Cálculos de Densidade de Estados (DOS) não auto-consistentes.

O conjunto de dados enriquece especificamente casos onde as configurações corretas dependem do contexto do material, e não apenas de rótulos de tarefa, incluindo compostos de metais de transição que exigem DFT+U, sistemas magnéticos que exigem inicialização de spin e sistemas em camadas que exigem correções de van der Waals (vdW). Cada entrada vincula a estrutura do material (POSCAR), o tipo de cálculo e o arquivo INCAR de referência.

2. Ajuste Fino de Domínio (Domain Fine-Tuning)

SLMs de código aberto (especificamente das famílias Qwen3, Llama-3 e Gemma-3) foram ajustados via Low-Rank Adaptation (LoRA) para aprender o mapeamento de solicitações de cálculo e estruturas para rascunhos de INCAR. O objetivo do treinamento minimiza a entropia cruzada entre as previsões de tokens do modelo e as sequências de referência do INCAR. O processo de ajuste fino ocorre em duas etapas:

1. Formato e Fluxo de Trabalho: Estabelecer formatos padrão de INCAR e distinguir entre os quatro principais tipos de cálculo.
2. Consistência Física: Aprender configurações complexas e dependentes de contexto, como parâmetros DFT+U específicos para elementos, inicialização magnética, controle de simetria e reuso de densidade de carga.

3. Pós-processamento VASPGuard

Para garantir a confiabilidade, o rascunho de saída do SLM é passado pelo VASPGuard, um pós-processador determinístico baseado em regras. Este componente realiza três etapas:

• Parsing: Converte o rascunho em uma representação chave-valor, rejeitando entradas malformadas.
• Correção de Fluxo de Trabalho: Impõe tags de controle (ex: IBRION, NSW) para corresponder ao tipo de cálculo solicitado (ex: habilitando o movimento iônico para relaxações).
• Correção Dependente de Composição: Alinha arrays (ex: DFT+U, MAGMOM) com os elementos específicos e a contagem de átomos no POSCAR.

Esta etapa corrige erros que o modelo possa omitir, particularmente aqueles governados por regras explícitas encontradas na documentação do VASP e nos protocolos do Materials Project.

4. Estrutura de Avaliação

O desempenho foi avaliado no INCARBench, um benchmark derivado dos registros do Materials Project. A métrica de pontuação, Pontuação INCAR, é a média de dois componentes:

• Must Match (Deve Corresponder): Verifica a presença e a correção semântica de entradas críticas específicas da tarefa (ex: controles de relaxação, arrays de DFT+U, MAGMOM).
• Policy Match (Correspondência de Política): Verifica se configurações numéricas e físicas gerais (ex: ENCUT, critérios de convergência) estão dentro das tolerâncias específicas de cada caso.

Principais Resultados

O estudo avaliou várias configurações de modelos (modelos de fundação, fundação + VASPGuard, ajustados e ajustados + VASPGuard) contra LLMs de propósito geral (incluindo GPT-5.4 e DeepSeek V4 Pro).

• Desempenho Superior do INCAR-SLM: O modelo Qwen3-4B, quando ajustado e pareado com o VASPGuard, alcançou uma Pontuação INCAR de 89,88. Ele superou todos os LLMs de propósito geral avaliados, incluindo o GPT-5.4 (74,33) por uma margem de 15,55 pontos.
• Papel do Ajuste Fino vs. Pós-processamento:
  • Ajuste Fino: Proporcionou o ganho de desempenho mais significativo, elevando os modelos de fundação de pontuações próximas de zero ou baixas (ex: Qwen3-4B de 47,66 para 75,87) ao ensinar configurações específicas de tarefas e dependentes de materiais.
  • VASPGuard: Corrigiu erros restantes baseados em regras, elevando a pontuação do Qwen3-4B de 75,87 para 89,88.
  • Pós-processamento Isolado: Aplicar o VASPGuard a modelos de fundação não ajustados rendeu resultados mistos; embora tenha melhorado as pontuações (ex: Qwen3-4B para 82,36), não pôde compensar totalmente a falta de conhecimento de domínio, e o desempenho variou significativamente conforme a arquitetura do modelo.
• Saturação do Tamanho do Modelo: Os resultados indicam que o desempenho satura em alguns bilhões de parâmetros. Notavelmente, o Qwen3-4B (4 bilhões de parâmetros) superou o Qwen3-8B (8 bilhões de parâmetros) quando ambos foram ajustados e pós-processados (89,88 vs. 89,72). Isso sugere que, para esta tarefa específica, a adaptação de domínio e a correção baseada em regras são mais críticas do que a pura contagem de parâmetros.
• Melhorias por Categoria: O sistema mostrou os maiores ganhos em categorias desafiadoras, como tratamentos de DFT+U e vdW, onde a combinação de ajuste fino (aprendizado de contexto) e VASPGuard (imposição de restrições) foi mais eficaz.

Significância e Alegações

O artigo afirma que o INCAR-SLM oferece uma solução prática para a geração confiável, local e de alto rendimento de arquivos de entrada do VASP. Sua significância reside em:

1. Desacoplamento de Serviços de Nuvem: Permite a geração de entradas científicas de alta qualidade em hardware local sem dependência de APIs proprietárias, abordando preocupações de privacidade, custo e latência inerentes aos fluxos de trabalho de descoberta de materiais.
2. Eficiência de Pequenos Modelos: Demonstra que pequenos modelos de linguagem (abaixo de 5 bilhões de parâmetros), quando adequadamente ajustados e aumentados com pós-processamento determinístico, podem superar modelos proprietários muito maiores e de propósito geral em tarefas científicas especializadas.
3. Abordagem Híbrida: Valida um paradigma de "gerar e corrigir", onde um SLM lida com o rascunho complexo e dependente de contexto, e um motor determinístico garante a correção física e sintática.

Os autores posicionam o INCAR-SLM como uma ferramenta para as etapas iniciais de configuração de fluxo de trabalho, onde um protocolo de cálculo ainda não está fixo, complementando ferramentas existentes baseadas em regras como pymatgen e Atomate2, que são mais adequadas para executar protocolos fixos em escala. O trabalho conclui que a geração científica confiável depende mais da adaptação de domínio e da verificação baseada em regras do que apenas o escalonamento do tamanho do modelo.