ISAAC: Auditing Causal Reasoning in Deep Models for Drug-Target Interaction

Resumo Técnico: ISAAC – Auditoria do Raciocínio Causal em Modelos Profundos para Previsão de Interação Fármaco-Alvo

1. Declaração do Problema

Modelos de aprendizado profundo frequentemente alcançam alta precisão preditiva em benchmarks científicos, contudo, esse desempenho não implica necessariamente que os modelos tenham aprendido um raciocínio fundamentado mecanicamente. Em vez disso, os modelos podem depender de correlações espúrias, artefatos específicos do conjunto de dados ou recursos de "atalho" que correlacionam com o alvo na distribuição interna, mas carecem de validade causal. Essa questão é particularmente crítica em domínios científicos como a previsão de Interação Fármaco-Alvo (DTI), onde saídas válidas devem depender de mecanismos moleculares subjacentes (por exemplo, interações localizadas proteína-ligante) e não de padrões estatísticos superficiais.

Os paradigmas de avaliação atuais dependem fortemente da precisão preditiva, uma métrica observacional que avalia a concordância com os rótulos em uma distribuição de dados fixa. A precisão isolada não consegue distinguir entre dependência causal e associação espúria. Embora os métodos existentes de interpretabilidade (por exemplo, mapas de saliência) ofereçam explicações correlacionais, eles não garantem validade causal, e as abordagens baseadas em robustez frequentemente focam em objetivos de treinamento em vez de auditar o comportamento de raciocínio de modelos congelados e treinados. Consequentemente, há uma falta de um quadro padrão para testar explicitamente se as previsões são impulsionadas por componentes de entrada estruturalmente significativos.

2. Metodologia: O Quadro ISAAC

Para abordar essa lacuna, os autores introduzem o ISAAC (Abordagem de Auditoria Estrutural Baseada em Intervenção para Raciocínio Causal). O ISAAC é um quadro de auditoria estrutural post-hoc que avalia o raciocínio de um modelo como uma propriedade comportamental condicional ao seu regime preditivo, utilizando intervenções controladas ao nível da entrada.

Conceitos Centrais:

• Comportamento Intervencional: O raciocínio é sondado aplicando operadores determinísticos $I$ às entradas $x$, criando entradas intervencionadas $x^I$. O modelo $f_\theta$ é tratado como um sistema fixo; variações na saída são induzidas exclusivamente pela intervenção.
• Entradas Estruturadas: As entradas são decompostas em componentes identificáveis (por exemplo, resíduos de aminoácidos em uma sequência proteica).
• Classes de Intervenção Correspondentes: O quadro define duas classes de intervenções baseadas em um prior estrutural especificado externamente (por exemplo, bolsos de ligação conhecidos):
  • Intervenções Mecanísticas ($I_{mech}$): Perturbações aplicadas a componentes identificados como relevantes pelo prior estrutural ($S \subseteq S_{prior}$).
  • Intervenções Espúrias ($I_{spur}$): Perturbações aplicadas a componentes fora da região definida pelo prior ($S' \subseteq S_{comp}$), correspondidas em cardinalidade e operador ao conjunto mecanístico.
• Diferença de Resposta Intervencional: Definida como $\delta_\theta(x, I) = f_\theta(x^I) - f_\theta(x)$, capturando a mudança relativa na saída do modelo.

Métricas:
O ISAAC quantifica a consistência do raciocínio através de três métricas:

1. Pontuação de Raciocínio (RS): Uma medida por entrada definida como $RS(x) = \frac{|m_{mech}(x)|}{|m_{mech}(x)| + |m_{spur}(x)|}$, onde $m$ representa a mediana das respostas intervencionais assinadas. A RS quantifica a preferência relativa por perturbações alinhadas mecanicamente em relação às desalinhadas.
2. Coeficiente de Separação ($C_{sep}$): Mede a separação geométrica entre as distribuições das respostas mecanísticas e espúrias, normalizada pela variabilidade intrínseca dos efeitos mecanísticos.
3. Taxa de Sobreposição: A fração de respostas espúrias que caem dentro da faixa interquartil das respostas mecanísticas.

3. Configuração Experimental

O quadro foi instanciado no contexto da previsão de Interação Fármaco-Alvo (DTI) utilizando o benchmark Davis (interações de inibidores de quinase).

• Modelos: Três arquiteturas baseadas em sequência com vieses indutivos variados foram auditadas: DeepDTA, DeepConvDTI e TAPB (Target-Aware Prediction Benchmark).
• Design de Intervenção: As intervenções foram aplicadas exclusivamente à sequência do alvo proteico ($t$), enquanto o fármaco ($d$) permaneceu fixo.
  • Prior Estrutural: Derivado das anotações de bolso de ligação do KLIFS para identificar resíduos mecanisticamente relevantes.
  • Intervenções: Incluíram mascaramento e substituições constrangidas fisicoquimicamente. Os escopos mecanísticos foram amostrados a partir de bolsos do KLIFS; os escopos espúrios foram amostrados a partir de resíduos fora do bolso com cardinalidade correspondida.
• Protocolo: Os modelos foram treinados e validados usando procedimentos padrão. O desempenho preditivo (AUROC) foi verificado para garantir que todos os modelos operassem dentro de um regime comparável. A auditoria foi realizada post-hoc em um subconjunto estruturalmente válido dos dados de teste (208 alvos) sem retreinamento.

4. Resultados Principais

Os experimentos revelaram uma dissociação significativa entre a precisão preditiva e o comportamento de raciocínio:

• Desempenho Preditivo: Todos os três modelos alcançaram pontuações de AUROC quase indistinguíveis no subconjunto de auditoria (variando de 0,876 a 0,907), confirmando que operaram em um regime preditivo comparável.
• Pontuações de Raciocínio (RS): Apesar da precisão similar, os modelos exibiram diferenças substanciais e reproduzíveis em suas pontuações de raciocínio:
  • TAPB: Alcançou a maior RS (0,521) e um alto Coeficiente de Separação (0,458), indicando uma separação coerente entre respostas mecanísticas e espúrias.
  • DeepDTA: Mostrou RS intermediária (0,441) mas baixa separação.
  • DeepConvDTI: Exibiu a menor RS (0,414) e separação próxima de zero (0,061), indicando baixa sensibilidade a perturbações mecanísticas e uma falta de preferência coerente por estruturas alinhadas.
• Conclusão sobre Precisão: A diferença de ~3% no AUROC não correlacionou com a magnitude das diferenças nas pontuações de raciocínio (que variaram de 0,414 a 0,521). Isso demonstra que a avaliação baseada em precisão falha em detectar diferenças na organização estrutural das respostas do modelo.

5. Significado e Afirmativas

O artigo afirma que a precisão preditiva isolada é insuficiente para caracterizar o raciocínio do modelo em aprendizado de máquina científico. As contribuições principais são:

• Quadro ISAAC: Um protocolo de auditoria baseado em intervenção e principiado que avalia a sensibilidade estrutural relativa ao prior independentemente da precisão preditiva.
• Distinção Comportamental: A capacidade de revelar diferenças sistemáticas no comportamento de raciocínio (por exemplo, dependência de sítios de ligação localizados versus estatísticas de sequência globais) que permanecem invisíveis sob avaliação padrão baseada em precisão.
• Auditoria Agnóstica ao Modelo: O método opera post-hoc em modelos congelados, não exigindo retreinamento, acesso interno ao modelo ou supervisão ao nível da intervenção, tornando-o aplicável em diversas arquiteturas e domínios com entradas estruturadas.

Os autores enfatizam que suas descobertas destacam uma distinção entre "sucesso preditivo" e a "organização do raciocínio". Ao contrastar respostas a perturbações estruturalmente alinhadas versus desalinhadas, o ISAAC fornece uma base para distinguir modelos que são indistinguíveis sob benchmarks convencionais, oferecendo uma avaliação mais transparente para aplicações científicas onde a validade mecanística é crítica.

Limitações Reconhecidas:

• O prior estrutural (KLIFS) pode não capturar todos os resíduos determinantes da afinidade; assim, as métricas refletem sensibilidade relativa ao prior em vez de validade causal absoluta.
• Os controles espúrios foram correspondidos em cardinalidade, mas não em contiguidade espacial, introduzindo uma assimetria geométrica.
• O estudo atual está restrito a intervenções no lado do alvo em um único conjunto de dados e três arquiteturas específicas.