Resumo Técnico: SUPRABENCH

Definição do Problema

A química supramolecular, focada em montagens reversíveis de hóspede-hospedeiro não covalentes, é crítica para aplicações que variam desde a entrega de fármacos até a desintoxicação in vivo. No entanto, o design desses sistemas permanece um gargalo, exigindo extensa verificação em "laboratório seco" (ex: simulações de DFT ou MD) que pode levar dias por par de candidatos antes da síntese em laboratório úmido. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa em tarefas de ligação molecular, nenhum benchmark existente avalia sistematicamente sua capacidade de raciocínio hóspede-hospedeiro através de tarefas fundamentais de química supramolecular. Os benchmarks atuais concentram-se amplamente em propriedades de moléculas únicas ou previsão de reações, deixando a interação complexa entre as interações hóspede-hospedeiro sem tratamento.

Metodologia

1. Construção do Conjunto de Dados (SUPRABENCH)

Os autores construíram o SUPRABENCH, o primeiro benchmark especificamente voltado para o raciocínio em química supramolecular.

• Fonte de Dados: Registros âncoras foram extraídos do SupraBank, um repositório público de interações supramoleculares relatadas experimentalmente.
• Pré-processamento: Um pipeline de limpeza de seis etapas foi aplicado para tratar ruídos, incluindo análise numérica, filtragem de solventes orgânicos, correção de temperatura de van't Hoff e remoção de outliers. Isso resultou em 4.635 registros de alta qualidade cobrindo 2.008 componentes únicos.
• Definição de Tarefas: O benchmark define quatro tarefas de raciocínio fundamentais e uma tarefa auxiliar baseada em visão:
  1. Previsão de Afinidade de Ligação (BAP): Uma tarefa de regressão que prevê $\log K_a$ dado as strings SMILES do hospedeiro e do hóspede.
  2. Seleção de Melhor Ligante (TBS): Uma questão de múltipla escolha (MCQ) de 4 vias que exige que o modelo identifique o ligante mais forte entre hóspedes quimicamente similares.
  3. Identificação de Solvente (SID): Uma tarefa de classificação de 6 vias para inferir o ambiente do solvente (ex: água, DMSO) a partir de estruturas moleculares, visto que as constantes de ligação dependem do solvente.
  4. Descrição Hóspede-Hospedeiro (HGD): Uma tarefa de QA de código aberto onde os modelos descrevem propriedades físico-químicas de hospedeiros ou hóspedes.
  5. Identificação Molecular (MI): Uma tarefa auxiliar de geração de imagem-para-SMILES testando a capacidade de recuperar a identidade molecular a partir de desenhos estruturais 2D.

2. Corpus de Adaptação de Domínio (SUPRAPMC)

Para apoiar a adaptação de domínio, os autores lançaram o SUPRAPMC, um corpus curado de 16 milhões de tokens de artigos de química supramolecular.

• Fonte: Extraído do Europe PMC (1900–2026).
• Filtragem: A recuperação inicial de 420.950 artigos foi refinada usando um filtro baseado em regras combinando palavras-chave supramoleculares positivas com filtros de contaminação biomédica negativa (ex: excluindo "células hospedeiras"), resultando em 133.867 artigos de alta precisão.

3. Protocolo de Avaliação

• Modelos: Oito LLMs foram avaliados, incluindo modelos de pesos abertos (Qwen3.5, Llama-3.1, DeepSeek-v4) e modelos proprietários (GPT-5.4, Gemini-3-Flash).
• Estratégias de Prompting: Três estratégias foram testadas: Base (zero-shot), Few-Shot (3–5 exemplos no domínio) e Cadeia de Pensamento (CoT).
• Métricas: Métricas específicas da tarefa incluíram MAE/RMSE para regressão, acurácia/regret para seleção, F1/Acurácia Balanceada para classificação e ROUGE para geração. Para MI, as métricas incluíram validade de SMILES, correspondência exata e similaridade de Tanimoto.

Principais Resultados

1. Lacunas de Desempenho e Hierarquia de Modelos

• Margem Substancial para Melhoria: Mesmo os modelos com melhor desempenho deixam margem significativa para melhoria. Por exemplo, o melhor MAE de Previsão de Afinidade de Ligação (BAP) foi 1.25, e a acurácia de Seleção de Melhor Ligante (TBS) estagnou em 0.513.
• Dominância da Fronteira: O Gemini-3-Flash alcançou consistentemente o estado da arte (SOTA) nas tarefas BAP, TBS e SID. O DeepSeek-v4 e o GPT-5.4-Mini seguiram de perto.
• Dificuldade da Tarefa: O desempenho variou drasticamente conforme a família de tarefas. BAP e TBS foram geralmente mais desafiadores do que SID para modelos menores.

2. Impacto das Estratégias de Prompting

• Sem Estratégia Universal: As estratégias de prompting foram altamente dependentes da tarefa.
  • Few-Shot melhorou o desempenho na Descrição Hóspede-Hospedeiro (HGD), mas degradou a Previsão de Afinidade de Ligação (ex: o MAE do Llama3.1-8B aumentou de 2.699 para 5.504).
  • Cadeia de Pensamento (CoT) consistentemente prejudicou o desempenho em BAP e Identificação Molecular.
• Análise de Modo de Falha: Em BAP, o CoT frequentemente levou a "alucinações confiantes". Os modelos articulavam um raciocínio químico plausível (ex: citando "valores típicos da literatura") que resultava em previsões erradas por ordens de magnitude (ex: prevendo $\log K_a \approx 11$ em vez de 2). Isso sugere que o CoT amplifica lacunas de raciocínio quando o conhecimento de domínio é insuficiente.

3. Adaptação de Domínio (DAPT)

• Regressão vs. Formato: O ajuste fino no SUPRAPMC melhorou o desempenho de regressão BAP (o MAE diminuiu) tanto para o Qwen3.5-9B quanto para o Llama3.1-8B.
• Compromissos (Trade-offs): No entanto, o DAPT degradou o desempenho na Seleção de Melhor Ligante (TBS) e fez com que a variante Llama falhasse em seguir restrições rigorosas de formato de letra na Identificação de Solvente. Isso indica que a adaptação de texto científico de livre formato transfere bem para regressão, mas entra em conflito com formatos de saída estritos de MCQ.

4. Identificação Molecular

• Esqueleto vs. Conectividade: Os modelos conseguiram recuperar o esqueleto molecular geral (alta similaridade de Tanimoto), mas frequentemente falharam em capturar a conectividade exata ao nível de ligação (baixa correspondência de SMILES Canônico).
• Detrimento do CoT: Pistas de raciocínio explícito (CoT) desestabilizaram a geração de imagem-para-SMILES, reduzindo as taxas de correspondência exata.

Significância e Alegações

O artigo posiciona o SUPRABENCH e o SUPRAPMC como recursos fundamentais para catalisar a pesquisa em LLMs fundamentados em química. Os autores alegam:

1. Necessidade de Benchmarking: O SUPRABENCH preenche uma lacuna crítica ao fornecer um protocolo unificado para avaliar o raciocínio de hóspede-hospedeiro em química nos LLMs, um domínio anteriormente não abordado pelos benchmarks existentes.
2. Limitações Atuais: Apesar do desempenho SOTA de modelos de fronteira, a química supramolecular continua sendo um gargalo real. Os LLMs atuais carecem do raciocínio rigoroso e calibrado necessário para uma previsão de afinidade precisa e identificação estrutural precisa.
3. Insights Metodológicos: O estudo revela que o "raciocínio" via CoT não é um substituto para o conhecimento de domínio e pode ser prejudicial quando o modelo carece dos fatos químicos subjacentes. Além disso, a adaptação de domínio requer um equilíbrio cuidadoso entre a exposição ao texto e a preservação do formato de instrução.
4. Direção Futura: Os resultados sugerem que fechar a lacuna no raciocínio supramolecular provavelmente exigirá adaptação de domínio direcionada e a integração de ferramentas químicas externas, em vez de depender apenas de estratégias de prompting ou pré-treinamento geral.

Os autores enfatizam que estes benchmarks são para avaliação de pesquisa e geração de hipóteses, não para conduzir decisões clínicas ou regulatórias sem supervisão de especialistas e validação experimental.