Resumo Técnico: Speak-to-Structure (S2-Bench)

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) atuais mostram promessa na descoberta de moléculas impulsionada por linguagem natural, no entanto, os benchmarks de avaliação existentes sofrem de uma limitação crítica: eles dependem de mapeamentos um-para-um entre descrições textuais e moléculas-alvo únicas e pré-definidas (por exemplo, ChEBI-20, PubChem324K). Este paradigma assume uma solução única para cada prompt, o que não se alinha com a realidade da descoberta molecular, onde múltiplas moléculas distintas podem satisfazer as mesmas propriedades biológicas ou físicas. Consequentemente, os benchmarks atuais testam principalmente a capacidade de um modelo de memorizar e recuperar padrões específicos, em vez de sua capacidade para design molecular criativo e aberto e raciocínio estrutural genuíno. Existe uma falta de avaliação padronizada para relacionamentos "um-para-muitos" na geração de moléculas a partir de texto.

Metodologia

1. Speak-to-Structure (S2-Bench)

Os autores propõem o S2-Bench, o primeiro benchmark projetado para avaliar LLMs na geração de moléculas impulsionada por linguagem natural em domínio aberto. Ao contrário de datasets anteriores, o S2-Bench adota um paradigma um-para-muitos, onde uma única instrução pode ser cumprida por múltiplas estruturas moleculares válidas. O benchmark consiste em três tarefas principais, cada uma visando uma etapa diferente do processo de descoberta de fármacos:

• Edição de Moléculas (MolEdit): Testa a capacidade de realizar modificações estruturais precisas e localizadas (adicionar, deletar ou substituir grupos funcionais) enquanto preserva o núcleo (scaffold) central. Isso mimetiza a otimização de líderes (lead optimization).
• Otimização de Moléculas (MolOpt): Avalia o raciocínio químico orientado a objetivos, onde o modelo deve modificar um composto líder para otimizar propriedades específicas (LogP, MR, QED) sem alterar desnecessariamente a estrutura central.
• Geração de Moléculas Personalizadas (MolCustom): Desafia o modelo a sintetizar uma molécula nova a partir do zero com base em restrições de linguagem natural relacionadas a contagens de átomos, tipos de ligações ou grupos funcionais, mimetizando a fase inicial de design.

Métricas de Avaliação:
Para abordar a natureza "um-para-muitos", os autores vão além da correspondência exata de strings. Eles empregam um sistema de avaliação automatizado usando kits de ferramentas de cheminformática (RDKit) para calcular:

• Validade: Se a string SMILES gerada é quimicamente válida.
• Taxa de Sucesso (SR): Se a molécula atende às restrições específicas (por exemplo, direção de propriedade correta ou grupo funcional).
• Semelhança (para MolEdit/MolOpt): Semelhança de Tanimoto usando Impressões Digitais de Morgan para garantir que a saída seja uma modificação racional da entrada, e não uma molécula válida aleatória.
• Novidade (para MolCustom): Mede o quão distinta a molécula gerada é de um banco de dados de referência (Zinc-250K).
• Taxa de Sucesso Ponderada (WSR): Uma métrica composta que combina a Taxa de Sucesso com Semelhança (para edição/otimização) ou Novidade (para personalização) para fornecer uma pontuação de desempenho holística.

2. Dataset OpenMolIns

Para facilitar o treinamento para essas tarefas abertas, os autores introduzem o OpenMolIns, um dataset de ajuste de instruções em grande escala construído programaticamente a partir do banco de dados PubChem.

• Escala: Contém até 1,2 milhão de pares instrução-molécula.
• Construção: Utiliza kits de ferramentas químicas automatizados para gerar prompts diversos e moléculas válidas correspondentes, garantindo um relacionamento um-para-muitos.
• Estrutura: Espelha as três tarefas do S2-Bench e inclui cinco escalas de dados (leve a xlarge) para estudar leis de escalonamento de dados.
• Integridade: Projetado com sobreposição zero com o conjunto de testes do S2-Bench (Zinc-250K) para evitar vazamento de dados.

3. Configuração Experimental

Os autores avaliaram 31 LLMs, categorizados em:

• Modelos proprietários (por exemplo, GPT-4o, Claude-3.5).
• LLMs gerais de código aberto (por exemplo, Llama3, Mistral, Qwen).
• LLMs específicos de domínio (por exemplo, ChemLLM, BioT5).
• Modelos ajustados finamente no OpenMolIns.

A avaliação foi conduzida usando pipelines automatizados, com um subconjunto de resultados validado por especialistas humanos para correlacionar métricas automatizadas com julgamento humano.

Resultados Chave

1. Lacuna de Desempenho em Restrições Estruturais: Mesmo modelos proprietários de ponta (por exemplo, Claude-3.5, Gemini-1.5-Pro) alcançaram taxas médias ponderadas de sucesso moderadas (~35%), mas lutaram significativamente com tarefas MolCustom, falhando em superar uma taxa de sucesso ponderada de 25% em subtarefas individuais. Isso indica uma dificuldade em satisfazer restrições estruturais de granularidade fina (contagens exatas de átomos/ligações) apesar das capacidades de raciocínio geral.
2. Superioridade do Ajuste de Instruções: Enquanto LLMs químicos pré-treinados (por exemplo, BioT5-base) performaram mal (4,21% WSR) em comparação com LLMs gerais, o ajuste de instruções no OpenMolIns produziu melhorias dramáticas.
   • O Llama3.1-8B-Instruct ajustado finamente na maior escala do OpenMolIns (xlarge) alcançou uma WSR de 39,33%, superando todos os outros modelos, incluindo os proprietários maiores.
   • Notavelmente, o pequeno modelo Galactica-125M, quando ajustado finamente no OpenMolIns, alcançou uma WSR de 25,73%, superando modelos duas ordens de magnitude maiores (por exemplo, Llama3-70B).
3. Limitações de Benchmarks Um-para-um: Modelos ajustados finamente em datasets tradicionais um-para-um (ChEBI-20) performaram pior do que LLMs gerais no S2-Bench. Esses modelos tenderam a gerar moléculas quimicamente válidas, mas estruturalmente não relacionadas, para satisfazer restrições, revelando uma dependência na recuperação de padrões em vez de raciocínio estrutural.
4. Leis de Escalonamento de Dados: A relação entre volume de dados e desempenho é dependente da tarefa.
   • MolCustom (síntese de novo) mostrou ganhos significativos (286%) ao escalar de dados "large" para "xlarge".
   • MolEdit e MolOpt mostraram retornos decrescentes ou negativos com o aumento de dados para modelos menores, sugerindo que essas tarefas são mais limitadas pela capacidade do modelo do que pelo volume de dados.
5. Validação da WSR: A avaliação de especialistas humanos confirmou que a Taxa de Sucesso Ponderada (WSR) correlaciona-se significativamente melhor com o julgamento de especialistas ($\rho \approx 0,90$ de Spearman) do que a Taxa de Sucesso bruta (SR), validando a necessidade de penalizar saídas estruturalmente não relacionadas.

Significado e Alegações

O artigo alega estabelecer um novo paradigma para avaliar LLMs na descoberta molecular, deslocando o foco da recuperação de padrões para o design molecular realista.

• Ponte da Lacuna: O S2-Bench aborda a incompatibilidade entre as métricas de avaliação atuais e a natureza aberta da descoberta de moléculas no mundo real.
• Demonstração de Potencial: Os resultados demonstram que, com o ajuste de instruções apropriado em dados diversificados e em grande escala, LLMs menores podem alcançar desempenho de última geração na geração de moléculas em domínio aberto, desafiando a noção de que apenas modelos massivos ou arquiteturas especializadas são viáveis.
• Ferramenta de Diagnóstico: O benchmark serve como uma ferramenta de diagnóstico para revelar fraquezas sistemáticas nos LLMs atuais em relação a restrições estruturais discretas e globalmente acopladas, orientando pesquisas futuras em aprendizado por reforço e ajuste de instruções.

Os autores enfatizam que seu trabalho fornece uma base robusta para o desenvolvimento de LLMs mais capazes, explicáveis e confiáveis para a descoberta de moléculas impulsionada por linguagem natural, movendo o campo além da simples tradução de texto para estrutura.