In-Context Molecular Property Prediction with LLMs: A Blinding Study on Memorization and Knowledge Conflicts

Este artigo investiga se os Grandes Modelos de Linguagem (LLMs) realizam regressão genuína de propriedades moleculares ou dependem de memorização, utilizando um estudo cego sistemático para analisar conflitos entre conhecimento pré-treinado e informações em contexto em diversos conjuntos de dados.

O essencial

Imagine que você tem um gênio superinteligente (um Modelo de Linguagem Grande, ou LLM) que leu quase tudo o que existe na internet, incluindo livros de química. Agora, você quer ver se esse gênio realmente entende como funcionam as moléculas ou se ele apenas decorou as respostas de um livro didático antigo.

Este artigo é como um teste de "cegueira" (blinding study) para descobrir a verdade. Os autores queriam saber: quando o gênio prevê propriedades de uma molécula (como se ela dissolve na água ou quanta energia ela tem), ele está usando o raciocínio ou apenas chutando com base no que já viu antes?

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O "Gênio" está apenas decorando?

Muitos testes de inteligência artificial usam bancos de dados públicos (como listas de solubilidade de remédios). O problema é que, como esses dados são públicos há anos, é muito provável que o "gênio" já os tenha lido durante seu treinamento.

• A analogia: Imagine um aluno que faz uma prova de matemática. Se ele tira 100% na prova, será que ele aprendeu a matemática ou apenas memorizou as respostas do gabarito que vazou? Se você mudar o número da pergunta (ex: em vez de "2+2", perguntar "-2+2"), ele ainda saberá a resposta?

2. A Solução: O "Jogo da Cegueira"

Para descobrir a verdade, os pesquisadores criaram um sistema de 6 níveis de "cegueira". Eles foram escondendo informações do gênio, passo a passo:

• Nível 1 (Tudo visível): O gênio vê o nome da propriedade ("Solubilidade"), a molécula e o valor original. (Aqui, ele pode usar o que sabe de cor).
• Nível 2 (Valores embaralhados): O nome da propriedade é o mesmo, mas os números são transformados (invertidos e escalados). Se ele apenas decorou, vai falhar.
• Nível 3 e 4 (Nome genérico): Em vez de "Solubilidade", o texto diz apenas "Propriedade Molecular". O gênio não sabe o que está prevendo.
• Nível 5 e 6 (Cegueira total): O nome da propriedade é "Propriedade da Amostra" e até a fórmula da molécula (SMILES) é trocada por símbolos estranhos que parecem alienígenas, mas mantêm a estrutura lógica.

O objetivo: Se o gênio ainda acertar mesmo sem saber o nome da coisa e com símbolos estranhos, significa que ele está aprendendo no momento (aprendizado em contexto). Se ele falhar, significa que ele dependia apenas da memória.

3. O Que Eles Descobriram?

A. Não é apenas "decoreba"

O estudo mostrou que os modelos não estão apenas copiando respostas. Quando os pesquisadores mudaram os números ou esconderam o nome da propriedade, os modelos ainda conseguiam fazer previsões razoáveis. Isso prova que eles aprenderam padrões reais entre a estrutura da molécula e suas propriedades.

B. O Conhecimento Prévio é uma "Espada de Dois Gumes"

Aqui está a parte mais interessante. Ter conhecimento prévio nem sempre ajuda.

• A analogia: Imagine que você está tentando aprender a dirigir um carro novo. Se você já dirigiu um carro antigo e sabe que "o freio é no pé direito", isso ajuda. Mas, se o carro novo tem o freio no lado esquerdo, seu conhecimento antigo vai atrapalhar e você vai bater.
• No estudo: Para algumas propriedades (como a "Lipofilicidade"), o modelo tinha "opiniões" fortes baseadas no que leu antes. Quando eles deram exemplos novos para o modelo aprender, o conhecimento antigo entrou em conflito e o modelo ficou confuso, piorando o resultado.
• A solução: Quando eles "cegararam" o modelo (esconderam o nome da propriedade), o modelo parou de ouvir sua "opinião antiga" e focou apenas nos exemplos novos, ficando mais inteligente.

C. Quantidade de Exemplos Importa

• Com poucos exemplos (60), os modelos muitas vezes falharam porque o conhecimento antigo deles era muito forte e ignorava os novos dados.
• Com muitos exemplos (1000), eles conseguiram superar o conhecimento antigo e aprender a nova tarefa com sucesso.

4. Conclusão: O Que Isso Significa para o Futuro?

Este trabalho nos ensina uma lição importante para quem usa Inteligência Artificial na ciência:

1. Não confie cegamente nas notas: Um modelo pode tirar nota alta em testes antigos não porque é inteligente, mas porque "decorou" o teste.
2. O "Jogo da Cegueira" é necessário: Para saber se um modelo realmente aprendeu algo novo, precisamos testá-lo em situações onde ele não pode usar o que já sabe de cor.
3. Cuidado com o "achismo": Às vezes, para um modelo resolver um problema novo, é melhor "desligar" o que ele sabe sobre o assunto e deixá-lo focar apenas nos dados que você acabou de mostrar a ele.

Em resumo: Os modelos de IA são ótimos em aprender padrões novos, mas às vezes são teimosos demais com o que já sabem. Os cientistas precisam saber quando deixar o modelo usar sua memória e quando forçá-lo a olhar apenas para o que está na frente dele agora.

Resumo técnico

Título: Predição de Propriedades Moleculares com LLMs em Contexto: Um Estudo de Cegueira sobre Memorização e Conflitos de Conhecimento

1. O Problema

A aplicação de Modelos de Linguagem de Grande Escala (LLMs) à previsão de propriedades moleculares enfrenta uma ambiguidade fundamental: os modelos estão realmente aprendendo relações estrutura-propriedade através do aprendizado em contexto (In-Context Learning - ICL), ou estão apenas memorizando valores de dados de treinamento?

• Contaminação de Dados: Muitos benchmarks padrão (como ESOL, Lipophilicidade e QM7) estão disponíveis publicamente há anos e provavelmente fazem parte dos corpora de treinamento dos LLMs.
• Memorização vs. Generalização: Desempenhos altos nesses benchmarks podem refletir a recuperação de valores memorizados ("lookup") em vez de raciocínio genuíno ou capacidade de generalização para novos espaços químicos.
• Falhas em Transformações: Trabalhos anteriores (ex: Joe et al., 2026) mostraram que LLMs falham quando os valores alvo são transformados matematicamente, sugerindo que o sucesso aparente deriva de "aprendizado de atalhos" (shortcut learning) e não de compreensão estrutural.

2. Metodologia

Os autores propõem uma abordagem sistemática para dissecar as capacidades dos LLMs, combinando cegueira de informação (blinding) com transformações de dados.

• Conjunto de Dados: Três benchmarks do MoleculeNet:

  • Delaney (ESOL): Solubilidade aquosa (1.128 compostos).
  • Lipophilicidade: Coeficiente de partição octanol-água (4.200 compostos).
  • QM7: Energias de atomização (6.834 moléculas).
  • Nota: Todos os dados são representados apenas por strings SMILES.

• Framework de Cegueira de 6 Níveis (Table 1):
  O estudo introduz níveis progressivos de remoção de contexto para isolar diferentes capacidades:

  1. Nível 1 (Específico): Nome da propriedade + SMILES original + Valores originais. (Testa memorização + conhecimento de domínio).
  2. Nível 2 (Específico-Transformado): Nome da propriedade + SMILES original + Valores transformados (inversão e escalonamento).
  3. Nível 3 (Genérico): Rótulo genérico ("propriedade molecular") + SMILES original + Valores originais.
  4. Nível 4 (Genérico-Transformado): Rótulo genérico + SMILES original + Valores transformados.
  5. Nível 5 (Agnóstico): Rótulo agnóstico ("propriedade da amostra") + SMILES transformados (substituição de caracteres) + Valores originais.
  6. Nível 6 (Agnóstico-Transformado): Rótulo agnóstico + SMILES transformados + Valores transformados. (Testa aprendizado em contexto puro, sem conhecimento químico prévio).

• Configurações de Aprendizado em Contexto (ICL):

  • 0-shot: Sem exemplos de treinamento (avalia conhecimento prévio/memorização).
  • 60-shot: 60 exemplos aleatórios.
  • 1000-shot: 1.000 exemplos (avalia a capacidade de extrair relações funcionais de grandes conjuntos).

• Modelos Avaliados: 9 variantes de 3 famílias (GPT-4.1, GPT-5, Gemini 2.5) em 3 tamanhos (Nano, Mini, Pro).

• Métricas: Coeficiente de correlação de Pearson (r) para invariância de escala, e distribuição cumulativa de erro.

3. Contribuições Principais

1. Framework de Cegueira Sistemático: Desenvolvimento de um protocolo de 6 níveis que permite distinguir entre memorização direta, aprendizado de relações estrutura-propriedade, aprendizado em contexto químico e aprendizado em contexto geral.
2. Evidência contra Memorização Direta: Demonstração de que, mesmo em benchmarks populares, os LLMs não estão simplesmente recuperando valores exatos do treinamento, mas sim aprendendo relações (evidenciado pela ausência de picos de erro zero na distribuição de erros).
3. Análise do "Duplo Lado" do Conhecimento Prévio: Identificação de que o conhecimento prévio do modelo pode tanto facilitar quanto prejudicar o aprendizado em contexto, dependendo da alinhação com os exemplos fornecidos e da quantidade de dados.
4. Escalabilidade e Conflito: Evidência de que modelos menores ou com conhecimento prévio forte podem sofrer com poucos exemplos (60-shot), onde o conhecimento prévio entra em conflito com os dados em contexto, mas se recuperam com muitos exemplos (1000-shot) ou quando o conhecimento prévio é "cegado".

4. Resultados Chave

• Desempenho 0-shot (Memorização/Conhecimento Prévio):

  • Delaney (Solubilidade): Alto desempenho (85-90%), indicando forte presença no corpus de treinamento.
  • Lipophilicidade: Desempenho moderado (30-40%).
  • QM7: Desempenho próximo de zero para a maioria, exceto Gemini 2.5 Pro, sugerindo que este dataset específico (com SMILES) é menos comum nos dados de treinamento.
  • Conclusão: Não há evidência de memorização exata (lookup); os modelos aprendem relações, mas a familiaridade com o dataset varia.

• Efeito da Cegueira (Blinding):

  • Delaney: O desempenho permanece robusto mesmo com cegueira total (queda de 96% para 92%), indicando que o modelo aprendeu a relação estrutura-solubilidade via ICL.
  • Lipophilicidade: Queda drástica com cegueira (72% para 35%), sugerindo que o desempenho original dependia fortemente de conhecimento prévio/memorização e que o modelo não generalizou bem via ICL para essa propriedade.
  • QM7: Comportamento oscilatório. A cegueira às vezes melhora o desempenho, sugerindo que o conhecimento prévio dos modelos sobre QM7 pode ser "errado" ou enganoso, e a cegueira força o uso dos exemplos em contexto.

• Conflito de Conhecimento (60-shot vs. 0-shot):

  • Em cerca de metade dos casos, o desempenho com 60 exemplos foi pior que com 0-shot. Isso indica um conflito onde o conhecimento prévio do modelo entra em choque com um conjunto pequeno de exemplos, levando a previsões piores.
  • Com 1000 exemplos, a maioria dos modelos (especialmente os maiores) supera o desempenho 0-shot, pois a quantidade de dados em contexto supera o viés prévio.

• Diferenças entre Modelos:

  • Gemini 2.5 Pro: Melhor desempenho geral, mas sensível à cegueira em Lipophilicidade.
  • GPT-5: Mostra melhor capacidade de combinar conhecimento prévio e exemplos em contexto do que o GPT-4.1, exceto em QM7 onde números negativos grandes confundem seu raciocínio numérico.
  • Modelos Flash/Lite (Gemini): Tendem a degradar com mais exemplos, indicando incapacidade de integrar conhecimento prévio com novos dados.

5. Significado e Implicações

• Para Benchmarking: Avaliações padrão que misturam todas as capacidades são insuficientes. Um alto desempenho em benchmarks conhecidos não garante capacidade de generalização. O protocolo de cegueira proposto é essencial para validar se um modelo está realmente aprendendo ou apenas memorizando.
• Para Prática Científica:
  • O conhecimento prévio é uma "faca de dois gumes". Pode ajudar em propriedades bem conhecidas, mas prejudicar em tarefas novas ou quando os dados em contexto são escassos.
  • Estratégias de cegueira seletiva (ex: ocultar o nome da propriedade ou transformar valores) podem melhorar a precisão ao forçar o modelo a confiar nos exemplos fornecidos em vez de seus vieses pré-treinados.
  • Para descoberta de novos materiais ou propriedades, a capacidade de aprendizado em contexto agnóstico (Níveis 5-6) é mais valiosa do que o conhecimento de domínio específico, pois permite generalização para espaços químicos não vistos.

Conclusão Final: O estudo demonstra que os LLMs não dependem de memorização direta para prever propriedades moleculares, mas sim de uma combinação complexa de conhecimento prévio e aprendizado em contexto. A eficácia dessa combinação depende criticamente da natureza da propriedade, da quantidade de dados em contexto e da necessidade de suprimir vieses pré-existentes através de técnicas de cegueira.