Resumo Técnico: Decomposição da Lacuna de Generalização na Previsão de Atividade de PROTAC

Declaração do Problema

Os preditores de aprendizado de máquina para atividade bioquímica, especificamente para PROTACs (quimeras direcionadas à proteólise), exibem uma lacuna significativa de "generalização". Embora os modelos relatem altos valores de AUROC (0,85–0,91) sob validação cruzada com divisão aleatória, o desempenho cai precipitadamente para aproximadamente 0,67 sob protocolos de saída de um alvo (LOTO). Essa lacuna é bem documentada, mas anteriormente não decomposta. A questão central é saber se esse colapso de desempenho reflete uma incapacidade fundamental dos modelos de extrapolar para novos alvos (falha de aprendizado) ou se é impulsionado por ruído irreduzível nos dados, especificamente a variância de medição entre laboratórios e a heterogeneidade de rótulos.

Metodologia

Os autores introduzem o PROTAC-Bench, um benchmark curado de 10.748 medições de degradação em 173 alvos, priorizando a densidade de medição dentro do alvo e estruturas de replicação de múltiplas publicações em detrimento do tamanho bruto do corpus. O estudo emprega uma estrutura de decomposição de variância para atribuir a lacuna de generalização a componentes específicos:

1. Protocolos de Avaliação: O estudo compara validação cruzada com divisão aleatória, divisão por esqueleto (scaffold-split) e o protocolo LOTO canônico. Também introduz uma avaliação "dentro do alvo entre laboratórios", mantendo de fora os dados de uma publicação para alvos com múltiplas publicações, a fim de isolar a variância entre laboratórios.
2. Arquitetura e Invariância de Escala: Os autores avaliam oito arquiteturas distintas (incluindo DeepPROTACs, DegradeMaster, PROTAC-STAN e baselines padrão como Random Forest com fingerprints de Morgan) e escalonam modelos de linguagem de proteínas (PLMs) de 8M a 3B de parâmetros (ESM-2).
3. Otimização de Hiperparâmetros (HPO): Uma busca de HPO de 21 dimensões em 2.000 tentativas é conduzida para testar se a otimização agressiva pode romper o teto de desempenho. Os resultados são analisados em contraste com a previsão de forma fechada de Bailey-López de Prado para viés de seleção.
4. Decomposição de Variância: A lacuna é triangulada usando quatro limites independentes:
   • Variância de medição entre laboratórios (via cascata entre laboratórios).
   • Escolha do limiar de binarização em quatro esquemas de rotulagem.
   • Remoção de conflitos entre DOIs.
   • Deslocamento distribucional residual.
5. Calibração com Poucos Exemplos (Few-Shot): O estudo testa se o re-treinamento por alvo com dados de poucos exemplos ($k=5$) combinado com características ADMET pode recuperar o desempenho perdido devido ao ruído de medição.

Principais Resultados

1. O Teto Universal de Desempenho

Em todas as oito arquiteturas avaliadas e escalas de PLM ESM-2, o desempenho LOTO estabiliza em uma faixa estreita de 0,668 a 0,678 AUROC.

• Escalonamento de PLM: PLMs maiores (até 3B de parâmetros) não melhoram o desempenho LOTO; na verdade, o desempenho é não monotônico, atingindo o pico em 150M de parâmetros (0,691) e regredindo em escalas maiores. Isso sugere que modelos maiores atuam como "taxonomistas acidentais", identificando famílias de alvos que viram verbatim durante o pré-treinamento, em vez de aprender mecanismos de degradação generalizáveis.
• Regressão de HPO: A configuração de melhor classificação entre 2.000 tentativas de HPO (objetivo de semente única 0,764) regrediu para 0,603 sob validação de múltiplas sementes, uma queda de 0,161 AUROC. Isso corresponde à previsão teórica para viés de seleção (Bailey-López de Prado), indicando que o HPO de semente única superajusta ao ruído.

2. Atribuição de Variância

O estudo decompõe a lacuna de divisão aleatória para LOTO (aproximadamente 0,18–0,20 AUROC) e identifica a variância de medição entre laboratórios como o componente dominante:

• Limite entre Laboratórios: Uma cascata entre laboratórios dentro do alvo (CV Aleatório 0,802 $\to$ Entre Laboratórios 0,678 $\to$ LOTO 0,653) ancora a contribuição entre laboratórios em 0,124 AUROC.
• Âncora Empírica: Compostos idênticos medidos em diferentes publicações mostram uma variação mediana de 3,7 vezes no DC50, traduzindo-se em uma taxa equivalente de inversão de rótulos de ~23% sob calibração de ruído sintético.
• Outros Fatores: A escolha da binarização contribui com ~0,05 AUROC, enquanto outros fatores (remoção de conflitos, deslocamento residual) são negligenciáveis. A lacuna é primariamente uma questão de variância de medição, não de falha de aprendizado.

3. Recuperação via Calibração com Poucos Exemplos

Embora o "teto" seja fixo para previsão zero-shot, o estudo demonstra que o re-treinamento por alvo com poucos exemplos pode recuperar uma parte do desempenho perdido:

• Combinar fingerprints de Morgan, características ADMET e re-treinamento estratificado $k=5$ eleva o AUROC LOTO de 65 alvos de 0,668 para 0,7050.
• Essa abordagem supera as bases de meta-aprendizado (MAML, ProtoNet) e sugere que o componente de variância entre laboratórios é recuperável se um pequeno número de medições específicas do alvo estiver disponível.
• Calibração: A escala de Platt post-hoc recupera o Erro de Calibração Esperado (ECE) de saída bruta de 0,150 para 0,031, trazendo-o abaixo do limite bem calibrado de 0,05.

4. Abordagens Estruturais e Geométricas

A avaliação de características estruturais 3D (EGNN, Boltz-2, bolsos previstos pelo AlphaFold) mostra que elas contribuem com no máximo 0,013 AUROC além dos fingerprints 2D de Morgan. Controles de embaralhamento de bolso (permutação aleatória de resíduos do bolso) degradam o desempenho em menos de 0,013 AUROC, indicando que as ferramentas atuais de previsão estrutural não fornecem um sinal forte o suficiente para superar o piso de ruído entre laboratórios.

Significado e Alegações

O artigo afirma que a aparente lacuna de generalização na previsão de atividade de PROTAC não é uma falha da arquitetura ou capacidade do modelo, mas um reflexo do piso de reprodutibilidade entre laboratórios dos dados experimentais subjacentes.

• Contribuição Metodológica: O trabalho fornece uma estrutura de decomposição de variância e um benchmark (PROTAC-Bench) que desloca o foco de "melhores modelos" para "melhor avaliação do ruído de medição". Argumenta-se que o teto operacional para previsão de alvos mantidos de fora é atualmente limitado pela qualidade dos dados (0,668–0,678 AUROC) e não por limitações algorítmicas.
• Implicação Prática: Para implantação, o artigo recomenda um protocolo de três níveis: uma baseline de Morgan (0,668), aumentada por características ADMET (0,687) e further melhorada por re-treinamento por alvo com poucos exemplos (0,705). Enfatiza-se que os preditores devem ser usados para "enriquecimento ativo versus inativo" em vez de classificação fina de potência, pois o ruído dos dados impede uma classificação precisa.
• Generalização: Os autores postulam que essa metodologia de decomposição — atribuir lacunas de generalização à variância de medição em vez de falha de aprendizado — serve como um modelo para outros cenários terapêuticos com poucos dados, onde a variância entre laboratórios ou entre locais é uma fonte dominante de ruído.

Os autores afirmam explicitamente que nenhum modelo neste trabalho excede a precisão preditiva alcançável por especialistas de domínio usando ferramentas padrão de quimioinformática sob as atuais restrições de dados, e que a contribuição primária é a transparência metodológica regarding protocolos de avaliação e atribuição de variância.