Resumo Técnico: A Pesquisa de Modelos Genômicos Deve Ir Além da Avaliação Anecdótica de Métodos de Interpretabilidade

Declaração do Problema

Embora os modelos de aprendizagem profunda tenham alcançado um sucesso preditivo significativo na genômica (por exemplo, prevendo a ligação de fatores de transcrição, expressão gênica e atividade de enhancers), sua natureza de "caixa preta" impede a elucidação dos mecanismos biológicos subjacentes. Para preencher essa lacuna, pesquisadores utilizam cada vez mais técnicas de Aprendizagem de Máquina Interpretável (IML). No entanto, o campo sofre de uma dependência generalizada de avaliação anecdótica. As práticas atuais são caracterizadas por:

1. Dependência de método único: A vasta maioria dos estudos utiliza apenas um método de IML sem justificativa ou comparação.
2. Validação subjetiva: As avaliações frequentemente dependem de inspeção visual ou casos "bem-sucedidos" selecionados a dedo que se alinham ao conhecimento prévio, enquanto omitem falhas.
3. Falta de rigor: Não há consenso sobre como avaliar sistematicamente a consistência, a fidelidade ou a validade biológica das explicações.

Essa falta de avaliação rigorosa corre o risco de fomentar uma confiança infundada nos resultados de IML, podendo levar à alocação errônea de recursos experimentais e conclusões biológicas equivocadas.

Metodologia

Os autores empregam uma abordagem de duas vertentes para quantificar e demonstrar as deficiências das práticas atuais:

1. Estudo de Mapeamento em Larga Escala

Os autores realizaram um mapeamento sistemático de 3.575 artigos publicados entre 2010 e 2025 que utilizam IML em genômica.

• Extração de Dados: Utilizando um grande modelo de linguagem (Gemini-3-flash-preview) com aprendizado em contexto de poucos disparos (few-shot in-context learning) e prompts de autorreflexão, eles extraíram dados estruturados sobre o número de métodos de IML utilizados, estratégias de validação, o número de instâncias "bem-sucedidas" relatadas e o relato de modos de falha.
• Validação: Uma revisão manual de 100 artigos amostrados aleatoriamente confirmou uma taxa de concordância de extração global de 98%.

2. Auditoria Empírica via Benchmarking

Para ir além da crítica abstrata, os autores desenharam um estudo de benchmarking controlado sobre a predição de ligação de fatores de transcrição (TF).

• Modelos: Três modelos de fundação genômica divergentes foram avaliados: DNABERT-2 (Transformer), HyenaDNA (Convolution/SSM) e Nucleotide Transformer v3 (Híbrido).
• Métodos de IML: Cinco métodos comuns foram testados: DeepLIFT, Integrated Gradients (IG), In Silico Mutagenesis (ISM), LIME e Categorical Jacobian (CJ).
• Datasets: Um conjunto de dados de larga escala (~289k sequências de treinamento, 11,5k de teste) foi construído para cinco TFs (CTCF, MAX, SP1, TBP, GATA1) com características distintas (ex: motivos de alto sinal, vieses composicionais, motivos curtos/degenerados). O ground truth foi estabelecido usando o banco de dados UniBind.
• Métricas de Avaliação:
  • Consistência: Correlação de rank de Spearman e similaridade de Jaccard das top-20 posições importantes entre pares de métodos.
  • Fidelidade (Faithfulness): Análise de perturbação (Deleção Sequencial/MoRF e Inserção Sequencial) medindo quão bem as explicações refletem o processo de decisão do modelo via Área Sob a Curva (AUC).
  • Validade Biológica: Pontuação de "Percepção", medindo a sobreposição entre as regiões de atribuição mais altas e as coordenadas de motivos validadas experimentalmente.

Principais Contribuições

1. Evidência Sistemática de Dependência Anecdótica: O estudo de mapeamento revela que 86% dos estudos usam um único método de IML, quase 50% dependem de inspeção visual subjetiva e 90% não relatam modos de falha.
2. Demonstração de Três Modos de Falha: A auditoria empírica fornece evidências concretas de que as práticas atuais falham em detectar:
   • Inconsistência: Diferentes métodos de IML geram explicações contraditórias para a mesma predição.
   • Inautenticidade (Unfaithfulness): As explicações frequentemente falham em refletir a lógica de decisão interna real do modelo.
   • Desalinhamento Biológico: Explicações "plausíveis" frequentemente não correspondem ao ground truth causal, particularmente em tarefas desafiadoras envolvendo vieses composicionais ou motivos curtos.
3. Proposta de Estrutura em Camadas: Os autores propõem uma estrutura prática e em camadas para avaliação rigorosa, variando de verificações computacionais de baixo esforço a validação em laboratório (wet-lab) de alto esforço, para guiar pesquisas futuras.

Principais Resultados

1. Achados do Estudo de Mapeamento

• Uso de Métodos: 86% dos estudos empregaram apenas um método de IML.
• Validação: 49,36% dependeram de inspeção visual; apenas 2,81% realizaram experimentos de bancada (wet-lab).
• Relato: 90,24% dos artigos não relataram modos de falha. A maioria dos artigos relatou apenas 1 a 3 instâncias "bem-sucedidas", sugerindo seleção a dedo (cherry-picking).

2. Achados da Auditoria Empírica

• Inconsistência: Diferentes métodos de IML produziram explicações drasticamente diferentes. A correlação média de rank de Spearman entre pares de métodos foi consistentemente inferior a 0,4. Mesmo para as posições mais críticas (top-20), a similaridade máxima de Jaccard foi inferior a 0,5, indicando que os métodos concordam em menos da metade das características mais importantes.
• Inautenticidade (Unfaithfulness): A fidelidade variou significamente entre métodos e tarefas. Embora alguns métodos (ex: ISM, IG) tenham mostrado melhor desempenho em contextos específicos, nenhum método se destacou de forma consistente. Notavelmente, em tarefas com vieses composicionais (SP1, TBP), todos os métodos mostraram valores de AUC elevados próximos a 1,0 em experimentos de deleção, indicando que falharam em identificar as características que impulsionam as predições.
• Desalinhamento Biológico:
  • Controles Positivos: Para CTCF (alto sinal), os métodos alcançaram um alinhamento razoável (mediana de Percepção > 0,5).
  • Tarefas Desafiadoras: Para GATA1 (desafio de resolução) e MAX, as pontuações medianas caíram para 0,2–0,4.
  • Testes de Estresse de Viés: Para SP1 e TBP, a vasta maioria das sequências rendeu pontuações de Percepção próximas de zero, indicando que as explicações foram confundidas pela composição de nucleotídeos de fundo em vez de capturar motivos regulatórios específicos.
  • Seleção a Dedo (Cherry-Picking): O estudo destaca que, embora existam casos de alinhamento "bem-sucedidos" (como na Fig 4b) que são frequentemente relatados, os casos de falha (como na Fig 4c) são muito mais comuns, mas raramente divulgados.

Significância e Alegações

O artigo argumenta que a credibilidade do aprendizado profundo genômico é atualmente prejudicada pela dependência de evidências anecdóticas. Os autores afirmam que:

• Garantias teóricas são insuficientes: Métodos que satisfazem axiomas matemáticos (ex: IG, SHAP) não garantem validade biológica ou fidelidade do modelo.
• A inspeção visual é falha: É propensa ao viés de confirmação e não consegue detectar falhas sutis ou avaliar a fidelidade.
• Precisão preditiva não implica interpretabilidade: Modelos podem alcançar alta precisão via correlações espúrias (ex: conteúdo GC) que os métodos de IML podem destacar em vez de sinais biológicos reais.
• Uma mudança de paradigma é necessária: O campo deve passar da "plausibilidade" subjetiva para a avaliação sistemática de consistência, fidelidade e validade biológica.

Os autores propõem que a adoção de sua estrutura em camadas — começando com padrões mínimos como o uso de múltiplos métodos e o relato de estatísticas holísticas — é essencial para evitar a alocação errônea de recursos e garantir que os insights derivados de IML sejam confiáveis o suficiente para guiar o design experimental e a descoberta de alvos terapêuticos.