Benchmarking Artificial Intelligence Models for Predicting Nuclear Receptor Activity from Tox21 Assays

Este estudo apresenta um benchmark abrangente de modelos de aprendizado de máquina, aprendizado profundo e baseados em transformers para prever a atividade de receptores nucleares a partir dos ensaios Tox21, demonstrando que o desempenho do modelo depende do desequilíbrio de classes, que cerca de 40% dos erros ocorrem em regiões isoladas do espaço químico e que as abordagens propostas superam ou são comparáveis aos trabalhos existentes.

O essencial

Imagine que você é um detetive tentando descobrir quais substâncias químicas (como produtos de limpeza, plásticos ou pesticidas) podem causar danos ao corpo humano, especificamente interferindo no sistema hormonal. O corpo humano tem "chaves mestras" chamadas Receptores Nucleares que controlam coisas como o crescimento, a reprodução e o metabolismo. O problema é que existem milhares de produtos químicos no mundo, e testar cada um deles em animais é caro, demorado e eticamente questionável.

Então, os cientistas deste estudo decidiram usar a inteligência artificial (IA) como um "super-detetive" para prever quais químicos são perigosos antes mesmo de testá-los no mundo real.

Aqui está o resumo do que eles fizeram, explicado de forma simples:

1. A Biblioteca de Suspeitos (Os Dados)

Os pesquisadores pegaram uma lista gigantesca de quase 10.000 produtos químicos que já foram testados em laboratórios (o projeto Tox21). Eles focaram em 18 tipos específicos de "chaves mestras" (receptores nucleares) que são alvos comuns de poluentes.

• O Desafio: A maioria desses químicos é inofensiva (como encontrar uma agulha no palheiro). Apenas uma pequena porcentagem é "ativa" (perigosa). Isso cria um desequilíbrio: é como tentar encontrar 10 pessoas ruins em uma sala com 1.000 pessoas boas.

2. A Equipe de Detetives (Os Modelos de IA)

Para resolver esse mistério, eles não confiaram em apenas um tipo de inteligência. Eles reuniram uma equipe diversificada de "detetives" (modelos de IA) e deram a cada um uma ferramenta diferente para analisar os químicos:

• Os Clássicos (Machine Learning): Como detetives experientes que olham para a lista de ingredientes (descritores) e a forma da molécula (impressões digitais químicas). Eles são rápidos e eficientes.
• Os Profundos (Deep Learning): Como detetives que olham para a estrutura 3D da molécula, tentando entender como ela se conecta internamente.
• Os Modernos (Transformers): Como detetives que "leem" a fórmula química como se fosse um texto (usando a mesma tecnologia que faz o ChatGPT funcionar), tentando entender o contexto da molécula.

3. O Que Eles Descobriram?

A. O Tamanho da Agulha Importa
Eles descobriram que o sucesso do detetive dependia de quantas "agulhas" (químicos perigosos) havia na sala:

• Se havia muitos perigosos (mais de 10%): Os detetives clássicos (como Random Forest e XGBoost) usando listas de ingredientes funcionaram melhor. Eles eram precisos e rápidos.
• Se havia poucos perigosos (entre 5% e 10%): Os detetives profundos (Deep Learning) se saíram melhor. Eles conseguiam encontrar padrões sutis que os outros perdiam.
• Se havia muito poucos perigosos (menos de 5%): Ninguém foi perfeito. O caso era tão difícil que o resultado dependia mais do "clima" do dia (o conjunto de dados específico) do que da habilidade do detetive.

B. O Problema dos "Estranhos" (Químicos Isolados)
Um dos achados mais interessantes foi sobre os químicos que a IA errou. Cerca de 40% dos químicos perigosos que a IA classificou como "inofensivos" eram estranhos.

• A Analogia: Imagine que você está aprendendo a reconhecer gatos. Se você só viu gatos laranjas e pretos, e de repente aparece um gato azul, você pode não reconhecê-lo. Da mesma forma, muitos químicos perigosos tinham estruturas tão únicas que não tinham "vizinhos" parecidos no banco de dados. Como a IA aprende comparando coisas, ela falhou com esses "órfãos" estruturais.

C. Testando no Mundo Real (Validação Externa)
Eles pegaram os melhores detetives e os colocaram para trabalhar em dados reais de laboratórios e testes em animais (fora do banco de dados original).

• Resultado: Funcionou muito bem para prever certos tipos de hormônios (como os relacionados ao estresse e à reprodução), mostrando que a IA pode ser confiável. No entanto, falhou um pouco mais em casos complexos onde o corpo humano processa o químico de formas que os testes de laboratório não mostram (como quando o fígado transforma o químico em algo diferente).

4. A Conclusão Final

Este estudo é como um "teste de direção" massivo para diferentes tipos de carros (modelos de IA) em diferentes tipos de estrada (dados químicos).

• A lição principal: Não existe um "carro" único que seja o melhor para tudo. Se você tem muitos dados de perigos, use os modelos clássicos. Se os dados são escassos, tente os modelos mais profundos.
• O futuro: A IA não é perfeita ainda, especialmente com químicos muito estranhos e únicos. Mas, combinando diferentes tipos de inteligência artificial e entendendo onde elas falham, podemos criar ferramentas mais seguras e rápidas para proteger o meio ambiente e a saúde humana, evitando testes desnecessários em animais.

Em resumo: Eles criaram um mapa de como a inteligência artificial pode ajudar a prever perigos químicos, mostrando que, embora não seja infalível, é uma ferramenta poderosa que está ficando cada vez mais inteligente.

Resumo técnico

Resumo Técnico: Benchmarking de Modelos de Inteligência Artificial para Previsão de Atividade de Receptores Nucleares a partir de Ensaios Tox21

1. Problema e Contexto

Os receptores nucleares são fatores de transcrição ativados por ligantes essenciais na regulação do desenvolvimento, reprodução e metabolismo. Eles são alvos primários de desreguladores endócrinos (EDCs), químicos xenobióticos que podem causar toxicidade. A avaliação tradicional de toxicidade baseada em animais é cara, demorada e levanta questões éticas, criando uma necessidade urgente de abordagens in silico (computacionais) e in vitro confiáveis.

Embora o programa Tox21 (Toxicology in the 21st Century) tenha gerado grandes volumes de dados de triagem de alto rendimento (HTS) para quase 10.000 compostos, a maioria dos estudos anteriores de aprendizado de máquina (ML) focou em:

• Conjuntos de dados limitados (como o desafio de dados Tox21, que não distingue agonismo de antagonismo).
• Um conjunto restrito de arquiteturas de modelos e representações químicas.
• A falta de uma análise sistemática sobre como o desequilíbrio de classes e a representação de características afetam o desempenho em receptores nucleares específicos.

Havia uma lacuna no conhecimento sobre qual combinação de arquitetura de IA (ML, Deep Learning, Transformers) e representação de características (descritores, fingerprints, grafos) é mais robusta para prever a bioatividade de receptores nucleares em diferentes cenários de desequilíbrio de dados.

2. Metodologia

2.1. Curadoria de Dados

• Fonte: Dados extraídos do banco de dados ToxCast invitrodb v4.3.
• Seleção: Identificação de 30 ensaios Tox21 associados a 18 receptores nucleares únicos (incluindo AHR, PXR, RORC, RXRA, etc.).
• Compostos: 8.430 compostos químicos foram curados após remoção de sais, estruturas inválidas e duplicatas.
• Rotulagem: Classificação binária (ativo/inativo) baseada em valores de "hit-call" (≥ 0.9). Compostos "inconclusivos" foram excluídos. Para receptores com dados de agonista e antagonista, perfis de atividade combinados foram criados.
• Conjunto Final: 43 conjuntos de dados de bioatividade (combinações de receptores e tipos de atividade).

2.2. Representações Químicas
Foram geradas múltiplas representações para cada composto:

• Fingerprints (Impressões Digitais): MACCS, Morgan (ECFP4 e FCFP4) e Layered.
• Descritores: 1875 descritores 2D (PaDEL) e 231 descritores 3D (RDKit).
• Grafos: Representações baseadas em SMILES para modelos de grafos.

2.3. Modelos de IA Avaliados
O estudo realizou um benchmarking abrangente de 54 modelos por conjunto de dados, divididos em três categorias:

1. Aprendizado de Máquina (ML) Tradicional (7 algoritmos): Regressão Logística, Árvore de Decisão, Random Forest (RF), Gradient Boosting (GBT), XGBoost, SVM e MLP.
2. Deep Learning (DL) Baseado em Grafos: Dual-graph neural networks contrastive learning (DGCL), utilizando GAT e GIN.
3. Modelos Baseados em Transformers: ChemBERTa, MoLFORMER e MolRAG (usando Llama 3 com RAG - Geração Aumentada por Recuperação).

2.4. Estratégia de Treinamento e Validação

• Divisão de Dados: Divisão estratificada (80-10-10 ou 80-20) com três sementes aleatórias para garantir estabilidade.
• Tratamento de Desequilíbrio: Uso de SMOTE (Synthetic Minority Over-sampling Technique) e perda ponderada por classe (focal loss) para lidar com a baixa proporção de compostos ativos (muitos conjuntos tinham <10% de ativos).
• Métrica Principal: F1-Score (em vez de acurácia) devido ao desequilíbrio de classes.
• Análise de Domínio de Aplicabilidade (DA): Uso do índice DA baseado em k-NN para filtrar previsões não confiáveis fora do espaço químico de treinamento.
• Validação Externa: Teste dos melhores modelos em dados independentes do NTP ICE (in vivo e in vitro) para receptores AR, ERα e ERβ.

3. Resultados Principais

3.1. Impacto do Desequilíbrio de Classes e Representação
O desempenho do modelo foi fortemente dependente da proporção de compostos ativos no conjunto de dados:

• Alta Proporção de Ativos (>10%): Modelos de ML baseados em árvores (Random Forest e XGBoost) treinados com descritores (sozinhos ou combinados com fingerprints) superaram consistentemente os outros.
• Proporção Moderada (5-10%): Modelos de Deep Learning (DGCL) mostraram maior robustez e desempenho consistente.
• Baixa Proporção (<5%): Não houve tendência clara; o desempenho variou drasticamente dependendo do conjunto de dados específico, indicando que o desequilíbrio severo limita a generalização.
• Transformers: O MoLFORMER foi o melhor entre os transformers, superando o ChemBERTa e o MolRAG, provavelmente devido ao seu tokenização baseada em átomos e pré-treinamento massivo.

3.2. Análise do Espaço Químico e Erros de Classificação

• Nós Isolados: Aproximadamente 40% dos compostos ativos mal classificados (falsos negativos) ocupavam nós isolados na Rede de Similaridade Química (CSN). Isso significa que esses compostos não tinham análogos estruturais próximos no conjunto de treinamento, dificultando a aprendizagem de padrões gerais pelo modelo.
• Domínio de Aplicabilidade: Cerca de 3-8% dos compostos de teste estavam fora do domínio de aplicabilidade, onde a taxa de erro era significativamente maior.

3.3. Validação Externa

• Os modelos mostraram boa concordância para agonistas de AR (in vitro e in vivo) e agonistas de ERα (in vivo).
• O desempenho caiu para antagonistas de AR e agonistas de ERβ in vivo. Isso foi atribuído à complexidade biológica in vivo (metabolismo, toxicocinética) não capturada pelos dados de ensaio in vitro do Tox21.

3.4. Comparação com a Literatura
A revisão sistemática de 207 estudos mostrou que os modelos deste estudo cobrem uma gama mais ampla de arquiteturas e pontos finais de ensaio. Os resultados foram comparáveis ou superiores à maioria dos trabalhos existentes, especialmente quando se utilizam descritores em modelos de ML para conjuntos de dados menos desequilibrados.

4. Contribuições Chave

1. Benchmarking Abrangente: Primeira avaliação sistemática comparando ML tradicional, DL baseado em grafos e Transformers modernos em 43 conjuntos de dados de receptores nucleares do ToxCast v4.3.
2. Análise de Desequilíbrio: Estabelecimento de diretrizes claras sobre qual arquitetura e tipo de característica (descritor vs. fingerprint) funciona melhor dependendo da proporção de classes ativas.
3. Insight Estrutural: Demonstração de que a topologia do espaço químico (presença de nós isolados) é um fator crítico para falhas de previsão, independentemente do desequilíbrio de classes.
4. Validação Externa: Validação robusta usando dados in vivo e in vitro independentes, destacando as limitações atuais de modelos treinados apenas em dados in vitro para cenários in vivo complexos.

5. Significância e Conclusão

Este estudo fornece insights cruciais para o desenvolvimento de Novas Abordagens Metodológicas (NAMs) para avaliação de risco de desreguladores endócrinos.

• Para Praticantes: Recomenda-se o uso de XGBoost/Random Forest com descritores para receptores com dados abundantes e DGCL para dados moderadamente desequilibrados.
• Limitações Identificadas: A alta diversidade estrutural de compostos ativos (nós isolados) e a falta de dados in vivo de treinamento limitam a generalização para casos extremos.
• Futuro: A integração de informações de vias de desfecho adverso (AOP) e o uso de descritores ricos são essenciais para melhorar a interpretabilidade e a precisão dos modelos de IA em toxicologia.

Em suma, o trabalho demonstra que, embora modelos de IA avançados (como Transformers) sejam promissores, modelos de ML tradicionais com descritores bem escolhidos ainda são superiores em muitos cenários práticos de bioatividade nuclear, desde que o domínio de aplicabilidade e a similaridade estrutural sejam considerados.