Count your bits: fingerprint benchmarking to assess broad chemical space representation

Este artigo apresenta um benchmark abrangente que demonstra como variantes de contagem e não dobradas de fingerprints moleculares superam as configurações padrão em termos de especificidade e alinhamento estrutural, ao mesmo tempo em que introduz a biblioteca de código aberto `chemap` para padronizar esses cálculos e facilitar a reprodutibilidade.

O essencial

Imagine que você tem uma biblioteca gigante com milhões de livros diferentes. Agora, imagine que você precisa encontrar livros que sejam "parecidos" com um que você está segurando. Como você faria isso?

Na química, os "livros" são as moléculas (as substâncias que formam tudo ao nosso redor) e a tarefa de achar os parecidos é essencial para descobrir novos remédios, entender reações ou organizar laboratórios.

Este artigo é como um guia de sobrevivência para quem tenta organizar essa biblioteca química. Os autores, Florian Huber e Julian Pollmann, testaram várias ferramentas (chamadas de "impressões digitais moleculares") para ver qual funciona melhor.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: Como "fotografar" uma molécula?

Para comparar duas moléculas, os cientistas não olham para elas diretamente (seria muito lento). Eles criam um resumo ou uma impressão digital delas.

• A analogia: Pense em descrever uma pessoa. Você pode dizer apenas "ela tem cabelo e olhos" (isso é uma descrição binária: sim/não). Ou você pode dizer "ela tem 2 olhos, 1 nariz, 5 dedos em cada mão e 3 cicatrizes" (isso é uma descrição contada).
• O que o estudo descobriu: A maioria das pessoas usa apenas a descrição simples (sim/não). Mas os autores descobriram que contar os detalhes (quantos dedos, quantas cicatrizes) geralmente dá uma imagem muito mais precisa e evita confusões.

2. O Vilão: A "Colisão de Bits" (O Efeito do Guarda-Chuva)

Muitas dessas impressões digitais são comprimidas em um tamanho fixo, como um guarda-chuva pequeno tentando cobrir uma multidão.

• A analogia: Imagine que você tem um guarda-chuva pequeno (uma lista de 4.096 espaços) para guardar informações sobre uma molécula gigante. Se a molécula tiver muitas características, elas vão "esbarrar" umas nas outras no guarda-chuva. Duas coisas totalmente diferentes acabam ocupando o mesmo espaço e parecem iguais. Isso é chamado de colisão de bits.
• O que o estudo descobriu: Para moléculas grandes e complexas, usar o "guarda-chuva pequeno" (versão dobrada/folded) causa muitos erros. É como tentar comparar dois elefantes usando apenas uma foto de um dedo deles; você pode achar que são iguais porque os dedos são parecidos, mas o corpo todo é diferente.
• A solução: Usar um "guarda-chuva gigante" ou não comprimir a informação (versão desdobrada/unfolded). Isso evita que as informações se misturem. O estudo mostrou que para certas ferramentas (como o MAP4 e o RDKit), usar o "guarda-chuva gigante" é obrigatório para não errar feio.

3. As Ferramentas Testadas

Os autores testaram várias "lentes" diferentes para ver as moléculas:

• Morgan/FCFP: Como olhar para a vizinhança imediata de um átomo. Funciona bem e é rápido.
• RDKit: Como olhar para caminhos e caminhos dentro da molécula. É muito detalhado, mas se você não usar o "guarda-chuva gigante", ele gera muita confusão.
• MAP4: Uma ferramenta nova e poderosa que mistura tudo. É excelente, mas só funciona bem se você não comprimir a informação.
• MACCS/PubChem: São como listas de verificação pré-definidas (ex: "tem anel benzênico? Sim/Não"). São fáceis de entender, mas muitas vezes perdem detalhes importantes em grandes bibliotecas.

4. As Descobertas Principais (O "Pulo do Gato")

1. Contar é melhor que apenas ver: Usar contagens (ex: "tem 3 anéis") é quase sempre melhor do que apenas dizer "tem anel" (sim/não). É como dizer "essa pessoa tem 3 filhos" em vez de apenas "essa pessoa tem filhos". A primeira informação é muito mais rica.
2. O tamanho importa: Moléculas grandes tendem a parecer mais parecidas do que realmente são se usarmos as ferramentas erradas (devido à colisão de bits). Usar as versões "desdobradas" corrige isso.
3. Não existe bala de prata: Não há uma única ferramenta perfeita para tudo.
   • Se você quer velocidade e eficiência: Morgan ou FCFP (com contagens) são ótimos.
   • Se você quer precisão máxima em grandes bancos de dados mistos: RDKit ou MAP4 (mas obrigatoriamente na versão desdobrada/descomprimida).

5. A Ferramenta Nova: O "Chemap"

Para ajudar a comunidade a não cometer esses erros no futuro, os autores criaram um software gratuito chamado chemap.

• A analogia: É como se eles tivessem criado um novo "kit de ferramentas" para todos os químicos usarem, que já vem com as instruções de como usar o "guarda-chuva gigante" e como contar os detalhes corretamente, sem precisar reinventar a roda.

Resumo Final

Este estudo é um aviso para os cientistas: Pare de usar as configurações padrão cegamente!
Muitas vezes, o jeito "padrão" de comparar moléculas está cheio de erros sutis que distorcem os resultados. Ao mudar para contagens precisas e evitar a compressão excessiva da informação, podemos ver o mundo químico com muito mais clareza, evitando achar que dois remédios são iguais quando, na verdade, são bem diferentes.

Resumo técnico

1. Problema e Contexto

A quantificação da similaridade molecular é um pilar da quimioinformática, essencial para triagem virtual, visualização de espaços químicos e treinamento de modelos de aprendizado de máquina. Embora o coeficiente de Tanimoto aplicado a "impressões digitais" (fingerprints) 2D binárias seja o padrão de facto, o comportamento prático dessas medidas de similaridade varia drasticamente dependendo de:

• O tipo de algoritmo de fingerprint (baseado em caminhos, circular, distância topológica, etc.).
• A representação (binária vs. contagem).
• O uso de vetores de tamanho fixo (dobrados/folded), que podem causar colisões de bits.

O artigo argumenta que as configurações padrão (especialmente o uso de vetores dobrados e representações binárias) podem introduzir artefatos graves, como colisões de bits em fingerprints de alta ocupação, distorcendo a similaridade e prejudicando a representação fiel do espaço químico heterogêneo. Além disso, a maioria das avaliações anteriores foca apenas em tarefas de recuperação (virtual screening), negligenciando outras aplicações críticas como visualização e modelos de aprendizado profundo.

2. Metodologia

Os autores realizaram um benchmarking sistemático e abrangente utilizando múltiplos conjuntos de dados grandes e heterogêneos (incluindo produtos naturais e metabolômica) e diversas tarefas de avaliação:

• Conjuntos de Dados:

  • ms2structures (37.811 compostos): Para análise de similaridade e visualização.
  • biostructures (718.067 compostos): Um conjunto estressante e quimicamente heterogêneo para testar a representação do espaço químico.
  • bioactivity e subclasses: Para tarefas de classificação e previsão.
  • rascalMCES: Um conjunto de pares de compostos comparado com medidas baseadas em grafos (MCES) para servir como referência estrutural.

• Fingerprints Avaliados:

  • Baseados em dicionário: MACCS, PubChem, Klekota-Roth, Biosynfoni.
  • Baseados em subestrutura circular: Morgan e FCFP (com vários raios).
  • Baseados em caminhos: RDKit.
  • Baseados em distância topológica: Atom Pair.
  • Híbridos e outros: MAP4, Torsion, LINGO, Avalon.

• Variações Testadas:

  • Binário vs. Contagem: Presença/ausência vs. frequência de ocorrência.
  • Dobrado (Folded) vs. Desdobrado (Unfolded): Vetores de tamanho fixo (ex: 4096 bits) vs. vetores esparsos sem colisão de bits.
  • Escalonamento: Contagem bruta, log-contagem e escalonamento TF-IDF.

• Ferramenta Nova (chemap): Os autores desenvolveram e lançaram a biblioteca Python de código aberto chemap para padronizar o cálculo de todas essas variantes (dobradas, desdobradas, frequenciais) e otimizar os cálculos de similaridade.

• Métricas de Avaliação:

  • Especificidade: Taxa de duplicatas de fingerprints e discrepâncias de massa entre compostos com fingerprints idênticos.
  • Comportamento de Pontuação: Distribuição de scores e dependência do tamanho do composto.
  • Concordância de Ranking: Sobreposição nos top-k vizinhos mais próximos.
  • Correlação com Referência: Correlação de Spearman com scores de MCES (RascalMCES).
  • Tarefas Descendentes: Previsão de bioatividade (redes neurais) e consistência de subclasses químicas (visualização UMAP e vizinhança k-NN).

3. Principais Resultados

• Impacto das Colisões de Bits: Para fingerprints com alta ocupação de bits (como RDKit e MAP4), o uso de vetores dobrados (ex: 4096 bits) causa colisões severas. Isso infla artificialmente as pontuações de similaridade, fazendo com que compostos estruturalmente distintos pareçam muito similares. O uso de variantes desdobradas (unfolded) elimina esse viés e melhora drasticamente a correlação com medidas baseadas em grafos (MCES).
• Contagem vs. Binário: As variantes de contagem (e frequentemente log-contagem) superaram consistentemente as variantes binárias em:
  • Redução de duplicatas de fingerprints (maior especificidade).
  • Redução da dependência da similaridade em relação ao tamanho molecular (compostos grandes não tendem a ter scores artificialmente altos).
  • Melhor alinhamento com a referência MCES.
  • Melhor desempenho em tarefas de classificação de subclasses químicas e consistência de vizinhança.
• Desempenho por Tipo de Fingerprint:
  • MAP4 e RDKit: Exibem a maior taxa de ocupação de bits. São altamente sensíveis a colisões quando dobrados. A versão desdobrada do MAP4 é crucial para conjuntos de dados heterogêneos.
  • Morgan/FCFP: Mostram menor ocupação de bits. Variantes com raios maiores (ex: Morgan-9, FCFP-9) e contagem performaram melhor do que as configurações padrão (raio 2 ou 3, binário).
  • Fingerprints Baseados em Dicionário (MACCS, PubChem): Tiveram desempenho inferior em especificidade e tarefas de classificação em larga escala, possivelmente devido ao conjunto limitado de subestruturas pré-definidas que não cobrem bem a diversidade química dos datasets testados.
• Escalonamento: O uso de log-contagem mostrou-se robusto para tarefas de vizinhança e visualização, embora não tenha havido uma recomendação universal clara para todas as tarefas (ex: bioatividade).
• Visualização de Espaço Químico: Variantes desdobradas e de contagem produziram visualizações UMAP com maior coerência de subclasses químicas, separando melhor os grupos estruturais.

4. Contribuições Chave

1. Framework de Benchmarking Multi-critério: Vai além da triagem virtual tradicional, avaliando especificidade, comportamento de scores, dependência de tamanho e alinhamento estrutural.
2. Descoberta de Artefatos Críticos: Demonstra que as configurações padrão (dobrado + binário) podem gerar resultados enganosos em grandes conjuntos de dados heterogêneos devido a colisões de bits.
3. Recomendações Práticas:
   • Priorizar variantes de contagem (ou log-contagem) sobre binárias.
   • Utilizar variantes desdobradas (ou vetores muito maiores) para fingerprints de alta ocupação (RDKit, MAP4) em espaços químicos amplos.
   • Considerar raios maiores para fingerprints circulares (Morgan/FCFP).
4. Liberação de Software (chemap): Uma biblioteca Python unificada que facilita a geração reprodutível e extensível de todas as variantes de fingerprints testadas, padronizando o campo.

5. Significado

Este trabalho desafia as práticas estabelecidas na quimioinformática, mostrando que a escolha do fingerprint e seus parâmetros não é trivial e pode alterar fundamentalmente os resultados de pesquisas. Ao demonstrar que as configurações padrão muitas vezes falham em representar adequadamente a diversidade química em larga escala, o estudo fornece diretrizes críticas para pesquisadores que utilizam similaridade molecular em triagem virtual, aprendizado de máquina e visualização de dados. A ênfase em evitar colisões de bits e utilizar informações de contagem oferece um caminho para modelos mais robustos e representações químicas mais fiéis.