Probing Materials Knowledge in LLMs: From Latent Embeddings to Reliable Predictions

Este estudo avalia 25 modelos de linguagem em tarefas de ciência dos materiais, revelando que a modalidade de saída (simbólica versus numérica) determina fundamentalmente a confiabilidade e a consistência das previsões, identificando um gargalo no cabeçalho do modelo para tarefas numéricas que pode ser contornado pela extração de embeddings intermediários, além de documentar variações significativas de desempenho ao longo do tempo que desafiam a reprodutibilidade científica.

O essencial

Imagine que você tem um grupo de 25 chefs de cozinha superinteligentes (os Modelos de Linguagem ou LLMs). Eles leram milhões de livros de receitas e artigos científicos, mas nunca cozinhou um prato específico para um cliente exigente antes. O objetivo deste estudo foi ver o quão bons esses chefs são em ciência dos materiais (o estudo de como criar e entender materiais como cerâmicas, metais e cristais).

Os pesquisadores testaram esses chefs em quatro tipos de tarefas diferentes e descobriram algo muito importante: o tipo de pergunta que você faz muda completamente como o chef se comporta.

Aqui está a explicação do que eles descobriram, usando analogias do dia a dia:

1. A Grande Divisão: Perguntas de "Sim/Não" vs. Perguntas de "Números"

O estudo dividiu as tarefas em dois mundos:

• O Mundo dos Símbolos (Classificação e Conexões):

  • Exemplo: "De que tipo de cristal é este material?" ou "O que este material tem em comum com aquele?"
  • O Problema: Antes de treinar, os chefs eram muito confusos. Eles davam respostas aleatórias, como se estivessem chutando. A "entropia" (uma medida de confusão) era alta.
  • A Solução: Quando os pesquisadores deram a eles um "curso rápido" (fine-tuning), os chefs se tornaram muito consistentes. Eles pararam de chutar e começaram a dar a resposta certa com confiança.
  • Analogia: É como ensinar um aluno a decorar a tabela periódica. No começo, ele erra tudo e gagueja. Depois de estudar, ele responde "Ouro é Au" sem hesitar.

• O Mundo dos Números (Previsão de Valores):

  • Exemplo: "Qual é a energia exata (bandgap) deste material?" ou "Qual é o valor da constante dielétrica?"
  • O Problema: Aqui estava a armadilha! Mesmo antes de treinar, os chefs pareciam superconfiantes, mas estavam errados. Eles diziam "A resposta é 4,52" com tanta certeza que parecia verdade, mas o valor real era 10,0. Isso é chamado de "alucinação confiante".
  • O Treinamento: O curso rápido (fine-tuning) ajudou a melhorar os números, mas a confusão (entropia) não sumiu. Às vezes, eles ficavam mais errados na forma de escrever o número, mesmo que o valor estivesse melhor.
  • Analogia: É como um adivinho que diz "A loteria vai ser 10, 20, 30..." com tanta certeza que você acredita, mas ele nunca ganha. O treinamento o fez adivinhar números mais próximos da realidade, mas ele continua sendo um adivinho, não um matemático.

2. O "Gargalo da Cabeça" (O Segredo Escondido)

Os pesquisadores fizeram algo genial: eles não olharam apenas para o que o chef falou, mas olharam para o que o chef pensou antes de falar.

• A Descoberta: Para prever a "bandgap" (uma propriedade de energia), o cérebro do modelo (as camadas internas) sabia a resposta quase perfeita. Mas, quando o modelo tentava escrever a resposta em texto, ele estragava tudo.
• A Analogia: Imagine um gênio da matemática que sabe a resposta exata de uma conta complexa na cabeça, mas quando tenta escrever no papel, ele tem dificuldade em formar os números ou comete erros de digitação.
• O Resultado: Para algumas propriedades (como a bandgap), é melhor "ler a mente" do modelo (usar os dados internos) do que esperar que ele escreva a resposta. Para outras (como a constante dielétrica), o modelo nem sabia a resposta na mente, então escrever não ajudou.

3. O Chef que Aprende por "Associação"

Quando o modelo aprendeu a completar conexões (saber que "TiO2 é piezoelétrico"), ele não aprendeu a física por trás disso. Ele aprendeu por associação estatística.

• A Analogia: Imagine que você vê "PZT" (um material) escrito ao lado de "sensor", "eletricidade" e "cerâmica" em milhares de livros. O modelo aprende que, se alguém perguntar sobre "sensores", a palavra "PZT" provavelmente aparecerá. Ele não sabe por que o PZT funciona, ele apenas sabe que as palavras costumam andar juntas.
• O Perigo: Se você perguntar sobre um material muito raro que nunca apareceu nos livros, o modelo vai ter dificuldade, porque ele não tem essas "amizades" estatísticas para se apoiar.

4. O Chef que Muda de Rosto (Problema de Reprodutibilidade)

Os pesquisadores acompanharam os modelos da OpenAI (como o GPT-4) por 18 meses.

• O Problema: Eles perceberam que o "chef" mudava de personalidade sem avisar. Um dia, o GPT-4o era muito bom; três meses depois, sem ninguém ter feito nada, ele ficou 43% pior em uma tarefa específica.
• A Analogia: É como se você fosse a um restaurante favorito, e o chef mudasse a receita secretamente a cada visita, sem avisar. Às vezes a comida fica ótima, às vezes fica ruim. Para a ciência, isso é um pesadelo, porque você não consegue repetir o experimento se o "chef" mudou.

Resumo Final para Levar para Casa

1. LLMs são ótimos para "saber fatos" (símbolos), mas ruins em "fazer contas" (números). Eles podem alucinar números com muita confiança.
2. O treinamento ajuda, mas não é mágica. Ele faz o modelo ser mais consistente, mas não resolve o problema de "alucinação confiante" nos números.
3. Às vezes, o modelo sabe mais do que consegue dizer. Para algumas coisas, é melhor olhar para os dados internos do modelo do que confiar no texto que ele gera.
4. Cuidado com modelos de "API" (online). Eles mudam sem aviso. Se você está fazendo ciência séria, é melhor usar modelos que você pode baixar e manter congelados no tempo, para garantir que seus resultados sejam sempre os mesmos.

Em suma: Os modelos de linguagem são ferramentas poderosas para a ciência dos materiais, mas precisamos saber exatamente como usá-los e quando confiar neles, pois eles não são "inteligentes" como humanos, são apenas mestres em encontrar padrões em textos.

Resumo técnico

1. Problema e Contexto

A aplicação de Grandes Modelos de Linguagem (LLMs) na ciência dos materiais está em crescimento, mas persistem questões fundamentais sobre sua confiabilidade, como o conhecimento é codificado e se eles possuem compreensão genuína ou apenas aprendem padrões estatísticos. Diferente dos modelos tradicionais de aprendizado de máquina (que exigem engenharia de características explícita), os LLMs operam via linguagem natural, oferecendo flexibilidade, mas introduzindo desafios de reprodutibilidade e consistência. O artigo busca responder:

• Como a modalidade de saída (simbólica vs. numérica) afeta o comportamento do modelo?
• O que determina o sucesso ou fracasso do fine-tuning?
• Existe um "gargalo" na capacidade do modelo de expressar conhecimento interno através de texto gerado?
• Qual é a estabilidade temporal de modelos baseados em API para aplicações científicas?

2. Metodologia

Os autores realizaram uma avaliação abrangente envolvendo 25 LLMs (incluindo famílias Llama, Mistral, Gemma, Phi e modelos proprietários da OpenAI) em quatro tarefas de ciência dos materiais:

1. Predição de Bandgap (Regressão numérica).
2. Predição de Constante Dielétrica (Regressão numérica).
3. Classificação de Sistema Cristalino (Tarefa simbólica/clasificação).
4. Completamento de Grafo de Conhecimento (MatKG) (Tarefa simbólica/ligação).

Abordagens Técnicas:

• Configurações: Avaliação de mais de 200 configurações (modelos base e fine-tuned).
• Fine-tuning: Utilização de LoRA (Low-Rank Adaptation) e QLoRA para modelos de peso aberto, e API para modelos proprietários.
• Métricas de Consistência: Cálculo da entropia de resposta baseada em 10 execuções independentes de inferência para quantificar a variabilidade da saída.
• Probing de Camadas: Extração de embeddings de camadas intermediárias dos transformadores para treinar sondas supervisionadas (regressão ridge e redes neurais), comparando o conhecimento latente com a saída de texto final.
• Estudo Longitudinal: Monitoramento de modelos GPT ao longo de 18 meses para avaliar a estabilidade temporal e a reprodutibilidade.

3. Principais Contribuições e Descobertas

A. A Modalidade de Saída Determina o Comportamento

O estudo revela uma assimetria fundamental baseada no tipo de tarefa:

• Tarefas Simbólicas (Classificação, Link Prediction): Modelos base exibem alta entropia (inconsistência) e baixa precisão. O fine-tuning reduz drasticamente a entropia e aumenta a precisão, indicando que o modelo aprende a convergir para respostas verificáveis, preenchendo lacunas de conhecimento.
• Tarefas Numéricas (Regressão): Modelos base exibem "alucinação confiante" (baixa entropia, mas baixa precisão). O fine-tuning melhora a precisão (RMSE), mas não resolve necessariamente a consistência da entropia. Um modelo pode ser consistentemente errado ou variar sua formatação numérica sem perder precisão.

B. O "Gargalo da Cabeça do LLM" (LLM Head Bottleneck)

Para a predição de bandgap, os autores descobriram que os embeddings das camadas intermediárias contêm mais informação preditiva do que o modelo consegue expressar através da geração de texto autoregressiva.

• Sondas treinadas diretamente nos embeddings atingiram desempenho igual ou superior ao modelo fine-tuned completo.
• Isso sugere que o conhecimento está codificado internamente, mas a "cabeça" de linguagem (o decodificador de tokens) é um gargalo na verbalização precisa de valores numéricos.
• Dependência da Propriedade: Este efeito foi forte para bandgap, mas inexistente para constante dielétrica (onde os embeddings não superaram a geração de texto), indicando que mecanismos de codificação variam conforme a propriedade.

C. Transferência de Conhecimento e Representação Distribucional

• Transferência: O fine-tuning em tarefas numéricas melhora a performance em outras tarefas numéricas, mas não há transferência significativa entre tarefas simbólicas e numéricas.
• Mecanismo de Aprendizado: Na tarefa de grafo de conhecimento (MatKG), a performance não depende da frequência do sujeito na consulta, mas sim da frequência do objeto-resposta no treinamento. Isso indica que os LLMs aprendem representações distribucionais baseadas em co-ocorrência estatística ("o contexto define a palavra") e não uma compreensão física real das relações.

D. Instabilidade Temporal e Reprodutibilidade

O estudo longitudinal de 18 meses revelou variações de desempenho de 9% a 43% em modelos GPT (API), mesmo com prompts idênticos.

• Atualizações silenciosas de endpoints e mudanças de quantização causam flutuações significativas.
• Isso representa um risco crítico para a reprodutibilidade científica, sugerindo que aplicações de alto volume ou regulatórias devem preferir modelos de peso aberto com checkpoints congelados.

4. Resultados Quantitativos Chave

• Desempenho Simbólico: O fine-tuning melhorou a precisão em 30-60 pontos percentuais (ex: MatKG de ~5% para 68% no GPT-4.1-mini).
• Desempenho Numérico: O fine-tuning reduziu o RMSE drasticamente (ex: Bandgap de 1.3 eV para 0.70 eV no Llama-3-70B).
• Entropia: Em tarefas simbólicas, a redução de entropia correlaciona-se com ganho de precisão. Em tarefas numéricas, a relação é fraca ou inexistente.
• Escalabilidade: Após o fine-tuning, o tamanho do modelo torna-se menos relevante; modelos menores (ex: Llama-3-8B) podem igualar ou superar modelos maiores (ex: Llama-2-70B) em tarefas específicas, exceto para modelos muito pequenos (<7B parâmetros).

5. Significado e Implicações

Este trabalho fornece diretrizes práticas para a comunidade de informática de materiais:

1. Confiança na Incerteza: Para tarefas simbólicas, alta entropia é um bom indicador de incerteza. Para tarefas numéricas, baixa entropia não garante precisão (risco de alucinação confiante).
2. Otimização de Recursos: Para propriedades como bandgap, extrair embeddings e usar regressão leve pode ser mais eficiente computacionalmente do que gerar texto, contornando o gargalo da geração.
3. Reprodutibilidade: A comunidade científica deve documentar rigorosamente versões de modelos e datas de avaliação ao usar APIs, ou migrar para modelos de peso aberto para garantir estabilidade a longo prazo.
4. Limitações Fundamentais: Os LLMs atuais aprendem padrões estatísticos de co-ocorrência e não possuem compreensão física intrínseca. O fine-tuning é essencial para preencher lacunas de conhecimento específico do domínio, mas não cria "inteligência" física nova.

Em suma, o artigo alerta que a aplicação de LLMs na ciência dos materiais exige cautela, diferenciando claramente entre a capacidade de reconhecer padrões (conhecimento latente) e a capacidade de expressar esses padrões de forma precisa e confiável.