Resumo Técnico: Podem os Aprendizes de Contexto Tabular Generalizar para a Predição de Propriedades Biomoleculares?

Declaração do Problema

A predição de propriedades biomoleculares a partir de dados rotulados limitados é um gargalo crítico na engenharia de proteínas e no design de pequenas moléculas. Embora grandes modelos de fundação biológica (ex: modelos de linguagem de proteínas) tenham sucessivamente gerado representações de sequência de comprimento fixo ricas, o desafio mudou para o design de preditores eficientes em dados, capazes de explorar esses embeddings em regimes de poucos disparos (few-shot), frequentemente com apenas $O(10)$ exemplos rotulados.

O artigo investiga se os Modelos de Fundação Tabular — especificamente TabPFN3 e TabICL — podem servir como preditores eficazes para tarefas biomoleculares. Estes modelos são aprendizes de contexto (in-context learners) pré-treinados em tabelas sintéticas derivadas de grafos causais aleatórios. A hipótese central é contraintuitiva: apesar de não possuírem conhecimento prévio inerente de sequências de proteínas ou grafos moleculares, estes modelos tabulares podem generalizar efetivamente se pareados com representações de características (features) específicas do domínio.

Metodologia

Os autores avaliam o aprendizado de contexto tabular (ICL) através de dois domínios distintos: regressão de fitness de proteínas e classificação de propriedades de pequenas moléculas. O design experimental trata o sistema como um par preditor–representação, mantendo os pipelines de características fixos para isolar o desempenho do preditor.

1. Regressão de Fitness de Proteínas

• Representação: As sequências são codificadas usando ESMC (um modelo de linguagem de proteína de 300 milhões de parâmetros), produzindo embeddings de comprimento fixo de 960 dimensões.
• Preditores: TabICL e TabPFN3 são comparados contra baselines supervisionados (Regressão Ridge, RBF Sampler, HistGradientBoostingRegressor e ESMC ajustado (fine-tuned) com uma cabeça MLP).
• Datasets:
  • ProteinGym: 217 ensaios de Escaneamento Mutacional Profundo (DMS). As avaliações incluem divisões aleatórias de 5-fold e esquemas de holdout oficiais mais difíceis ("modulo" e "contíguo").
  • PpEST: Um conjunto de dados diversificado da família das esterases com medições de taxas catalíticas e termoestabilidade.
• Métricas: Erro Quadrático Médio (MSE) e correlação de rank de Spearman. O desempenho de poucos disparos (few-shot) é avaliado em tamanhos de suporte de 8, 16, 32 e 64.

2. Classificação de Propriedades de Pequenas Moléculas

• Representações: Descritores moleculares fixos incluindo ECFP (impressões digitais Morgan), descritores físico-químicos RDKit e sua concatenação.
• Preditores: TabICL, TabPFN3 e XGBoost (todos usando descritores fixos) são comparados contra baselines baseados em grafos: ChemProp (treinado do zero) e ChemProp+CheMeleon (inicializado por modelo de fundação).
• Datasets:
  • TDC ADMET: 13 endpoints de absorção, distribuição, metabolismo, excreção e toxicidade.
  • MoleculeNet: 806 endpoints registrados (excluindo PCBA para TabPFN3 devido a restrições de recursos).
  • FS-Mol: 157 tarefas de propriedades moleculares de poucos disparos (few-shot).
  • DrugOOD: 3 tarefas especificamente desenhadas para testar a generalização fora da distribuição (OOD) através de mudanças de ensaio, arcabouço (scaffold) e tamanho molecular.
• Métricas: ROC-AUC. Para tarefas OOD, a lacuna entre o desempenho dentro da distribuição (ID) e fora da distribuição (OOD) é analisada.

Resultados Principais

Predição de Proteínas

• Desempenho: TabPFN3 e TabICL são consistentemente competitivos, frequentemente superando baselines clássicos e o ESMC ajustado.
  • No ProteinGym (divisão aleatória de 5-fold), o TabPFN3 alcançou a maior correlação de Spearman média (0,767) e o menor MSE (0,351), seguido de perto pelo TabICL (0,753).
  • No PpEST, ambos os modelos tabulares forneceram os resultados globais mais fortes, com o TabICL apresentando o menor MSE em três de cinco endpoints e o TabPFN3 nos outros dois.
• Capacidade Few-Shot: Ambos os modelos demonstraram forte preservação de rank e redução de erro à medida que os tamanhos do conjunto de suporte aumentavam de 8 para 64, explorando efetivamente a estrutura local no espaço de embedding do ESMC sem atualizações de gradiente.
• Generalização: O desempenho caiu significativamente nos esquemas de holdout mais difíceis (modulo e contíguo) em comparação com as divisões aleatórias, indicando que a escolha da divisão afeta materialmente as estimativas de generalização.

Predição de Pequenas Moléculas

• Ausência de um Dominante Único: Ao contrário do domínio de proteínas, nenhum par aprendiz–representação dominou uniformemente através de todos os benchmarks moleculares.
  • TDC ADMET: TabPFN3 com descritores RDKit foi o mais forte.
  • FS-Mol: TabPFN3 com ECFP+RDKit foi o mais forte.
  • MoleculeNet: TabPFN3 com RDKit liderou (no subconjunto disponível).
  • DrugOOD (OOD): ChemProp+CheMeleon (um modelo de fundação baseado em grafos) superou todos os pares tabulares em ROC-AUC OOD.
• Sensibilidade à Representação: A escolha do descritor molecular (ECFP vs. RDKit) foi frequentemente tão crítica quanto a escolha do preditor. TabPFN3 e TabICL não dominaram uniformemente um ao outro; seu desempenho relativo inverteu-se dependendo do benchmark e da representação.
• Generalização OOD: Os modelos tabulares mostraram lacunas positivas ID/OOD no DrugOOD, indicando que o desempenho dentro da distribuição não garante robustez sob mudanças de arcabouço (scaffold) ou de ensaio.

Principais Contribuições

1. Benchmark Empírico: O artigo fornece a primeira auditoria sistemática de modelos de fundação tabular (TabPFN3, TabICL) em tarefas de predição biomolecular, cobrindo tanto regressão de proteínas quanto classificação de pequenas moléculas.
2. Pareamento Aprendiz–Representação: Estabelece que estes modelos devem ser avaliados não como arquiteturas isoladas, mas como parte de um pareamento específico com representações de domínio (ex: ESMC para proteínas, RDKit/ECFP para moléculas).
3. Validação Few-Shot: O estudo demonstra que aprendizes de contexto tabular podem efetivamente alavancar embeddings biológicos pré-treinados em regimes de baixos dados, oferecendo uma alternativa prática ao ajuste fino (fine-tuning) específico de tarefas.
4. Protocolos de Avaliação Rigorosos: Os autores separam as conclusões de few-shot de full-training, testam explicitamente a generalização OOD e analisam a sensibilidade do conjunto de suporte para evitar afirmações excessivamente otimistas.

Significância e Alegações

O artigo conclui que modelos de fundação tabular são viáveis e fortes desempenhadores para a predição de propriedades biomoleculares, mas seu sucesso depende da qualidade da representação de entrada.

• Para Proteínas: Quando pareados com embeddings de alta qualidade como o ESMC, os modelos de ICL tabular são altamente competitivos, muitas vezes superando baselines tradicionais e modelos ajustados em cenários de poucos disparos (few-shot).
• Para Pequenas Moléculas: Os resultados são mais sutis. Embora os modelos tabulares sejam competitivos, eles não dominam universalmente os modelos de fundação baseados em grafos, particularmente em cenários fora da distribuição (OOD). A escolha do descritor molecular é um determinante primário de sucesso.

Os autores enfatizam que estes modelos não são "caixas pretas livres de representação". Sua utilidade reside na capacidade de agir como preditores eficientes em cenários de escassez de dados, quando as características de entrada já codificam as restrições estruturais e funcionais necessárias das biomoléculas. O artigo defende uma interpretação cautelosa dos resultados, observando que o desempenho em divisões aleatórias não garante robustez em holdouts estruturalmente distintos e mais difíceis.