Tox21mer, A transformer foundation model for Tox21 high-throughput concentration-response curves data

Resumo Técnico: Tox21mer

Definição do Problema
A colaboração Tox21 dos EUA produziu uma vasta biblioteca de referência de ensaios de alto rendimento de concentração-resposta (CR). No entanto, para aproveitar eficazmente esses dados, são necessários métodos robustos para codificar curvas de CR complexas juntamente com os seus metadados de ensaio associados em representações unificadas. As abordagens tradicionais frequentemente têm dificuldade em capturar os padrões matizados dentro destas curvas ou em generalizar para compostos não testados sem um retreinamento extensivo.

Metodologia
Os autores apresentam o Tox21mer, um modelo de fundação baseado em transformer com 43,5 milhões de parâmetros, projetado especificamente para dados do Tox21.

• Arquitetura e Entrada: O modelo codifica curvas individuais de concentração-resposta combinadas com metadados de ensaio em uma representação de vetor de 768 dimensões fixas.
• Estratégia de Pré-treinamento: O Tox21mer foi pré-treinado em aproximadamente 2,5 milhões de curvas derivadas de 102 protocolos de ensaio distintos e 6.727 compostos. O principal objetivo de treinamento foi a reconstrução de resposta mascarada, uma tarefa autossupervisionada onde o modelo aprende a prever valores ausentes dentro de uma curva.
• Supervisão Auxiliar: Para aprimorar o aprendizado, o modelo utilizou tarefas de supervisão auxiliar de baixo peso prevendo o desfecho do ensaio (ex: ativo/inativo) e o valor de AC50, embora estas fossem secundárias ao objetivo autossupervisionado.
• Protocolo de Avaliação: A qualidade das representações aprendidas foi avaliada treinando modelos "sonda" leves sobre os embeddings congelados. Estas sondas foram testadas em curvas de concentração-resposta de compostos retidos durante o pré-treinamento.

Principais Resultados
A avaliação demonstrou que os embeddings aprendidos são altamente eficazes para tarefas subsequentes:

• Desempenho de Classificação: O modelo alcançou um macro-F1 score de 0,985 para a previsão de desfecho de três classes (agonista, antagonista, inativo) e um F1 score binário de 0,994 para classificação ativo/inativo.
• Desempenho de Regressão: Para a previsão da métrica de potência, o modelo obteve um $R^2$ de 0,87 para $\log_{10}(\text{AC50})$.
• Qualidade da Representação: Os embeddings formaram agrupamentos coerentes baseados em categorias de classe de curva, indicando que o modelo capturou com sucesso similaridades estruturais nos comportamentos de dose-resposta.
• Insights de Ablação:
  • Uma variante treinada usando apenas o objetivo de resposta mascarada (sem rótulos auxiliares) manteve o desempenho próximo ao baseline, sugerindo que a representação é aprendida primariamente através do objetivo autossupervisionado em vez dos rótulos auxiliares.
  • Análises adicionais revelaram que o desempenho preditivo depende principalmente da distribuição dos valores de resposta no nível da curva condicionada ao contexto do ensaio, com dependência limitada da ordenação detalhada dos pontos dentro de uma curva específica.

Significância e Alegações
O artigo posiciona o Tox21mer como uma representação de fundação reutilizável para dados de concentração-resposta do Tox21. Sua principal significância reside na sua capacidade de suportar a extrapolação para compostos não testados. Os autores alegam que isso pode ser alcançado através de dois caminhos principais:

1. Integração com Características Químicas: Combinar os embeddings de curva com descritores moleculares.
2. Destilação: Transferir o conhecimento aprendido para modelos estudantes focados apenas em química para facilitar triagens externas em larga escala.

O trabalho enfatiza que as capacidades do modelo derivam amplamente do aprendizado autossupervisionado de padrões de curva, oferecendo uma solução escalável para analisar dados de toxicologia de alto rendimento sem depender fortemente de desfechos rotulados para cada nova tarefa.