I-SAFE: Wasserstein Coherence Metrics for Structural Auditing of Scientific AI Models

Resumo Técnico: I-SAFE – Intervencionista, Seguro, Preciso, Justo e Explicável

1. Declaração do Problema

No aprendizado de máquina científico, modelos de aprendizado profundo são frequentemente avaliados com base no desempenho preditivo em dados retidos (por exemplo, precisão, AUROC). No entanto, um alto desempenho em benchmarks é um indicador frágil de comportamento cientificamente significativo. Os modelos podem alcançar fortes pontuações preditivas explorando características de "atalho", regularidades específicas do conjunto de dados ou viéses distribucionais (como viés de alvo ou efeitos de estrutura), em vez de aprender as propriedades estruturais subjacentes do domínio.

Os métodos de avaliação padrão falham em distinguir entre um modelo que aprendeu a estrutura científica relevante e aquele que meramente memorizou correlações estatísticas. Além disso, os métodos existentes de auditoria post-hoc frequentemente dependem de resumos escalares (por exemplo, sensibilidade média ou atribuição de ponto único), que podem não capturar como a distribuição completa de saída se reorganiza quando estruturas de entrada cientificamente relevantes são perturbadas. Há uma necessidade de um framework que avance da avaliação observacional para a avaliação intervencionista, avaliando não apenas se um modelo prevê corretamente, mas como suas previsões mudam sob perturbações controladas e guiadas estruturalmente.

2. Metodologia: O Framework I-SAFE

Os autores introduzem o I-SAFE (Intervencionista, Seguro, Preciso, Justo e Explicável), um framework de auditoria post-hoc, agnóstico ao modelo, para preditores científicos de caixa-preta. O framework avalia a coerência da distribuição de saída de um modelo sob intervenções guiadas por um priori estrutural externo.

Componentes Principais:

• Preditores de Caixa-Preta ($f_{BB}$): Um modelo treinado acessado apenas por meio de seu mapeamento entrada-saída.
• Priori Estrutural ($P$): Um mapa externo derivado de conhecimento de domínio (independente do modelo) que identifica quais componentes de entrada são cientificamente relevantes para uma dada tarefa. Por exemplo, na interação fármaco-alvo (DTI), este priori identifica resíduos específicos de aminoácidos em um bolso de ligação de proteína.
• Design de Intervenção: O framework constrói pares de perturbação combinados:
  • Perturbações Mecanísticas ($\phi_{mech}$): Modificações aplicadas aos componentes selecionados pelo priori estrutural ($P(x)$).
  • Perturbações Espúrias ($\phi_{spur}$): Modificações aplicadas a componentes fora do priori ($S_{spur} \subset P(x)^c$), utilizando o mesmo operador de perturbação e cardinalidade.
• Perfil de Resposta Intervencionista: O framework compara as distribuições de saída brutas do modelo antes e depois dessas perturbações em um conjunto de auditoria fixo.

As Três Métricas de Coerência:
O I-SAFE quantifica a "coerência de classificação" da distribuição de saída usando três métricas complementares. Diferentemente de resumos escalares, essas métricas capturam a geometria da mudança distribucional.

1. Métrica Baseada em Quantis (QBM): Mede a coerência ao nível de localização. Compara o deslocamento de quantis empíricos (por exemplo, quartis) entre as saídas originais e perturbadas contra o erro quadrático médio total. Valores mais baixos indicam um deslocamento maior na localização distribucional.
2. Métrica de Coerência de Wasserstein (WCM): Mede a coerência ordinal. Baseada na teoria do transporte ótimo, avalia quão bem o pareamento natural de entradas e saídas é preservado após a perturbação. Compara o deslocamento sob a correspondência natural versus o reordenamento ótimo (permutação) das saídas. É invariante à escala e normalizada.
3. WCM Invariante à Translação (TI-WCM): Mede a coerência de forma. Esta variante remove o efeito de deslocamentos globais da média (translação), isolando mudanças na forma da distribuição (variância e momentos de ordem superior).

Lógica de Auditoria:
A auditoria calcula um contraste relativo ao priori ($\Delta M = M_{espúrio} - M_{mecanístico}$) para cada métrica. Um contraste positivo indica que as perturbações dos componentes selecionados pelo priori induzem uma reorganização mais coerente (ou seja, mais estruturada e previsível) da distribuição de saída do que as perturbações de componentes não selecionados pelo priori.

3. Contribuições Principais

• Introdução do Framework: A proposta do I-SAFE como uma ferramenta de auditoria post-hoc que desloca o objeto de avaliação de resumos escalares para mudanças completas na distribuição de saída sob intervenção.
• Definição de Métricas: A formalização de três métricas específicas (QBM, WCM, TI-WCM) que decompõem a resposta distribucional em localização, estrutura ordinal e forma. Essas métricas são fundamentadas na teoria do transporte ótimo e são projetadas para serem agnósticas ao modelo.
• Contraste Relativo ao Priori: A introdução de uma estratégia de avaliação contrastiva que isola o efeito de priores estruturais comparando perturbações mecanísticas contra controles espúrios combinados, controlando regras de perturbação e cardinalidade.
• Propriedades Teóricas: Provas que estabelecem que as métricas são limitadas dentro de $[0, 1]$, invariáveis à escala (para WCM) e capazes de distinguir entre diferentes tipos de reorganização distribucional.

4. Resultados Experimentais

O framework foi instanciado no benchmark de quinases Davis para previsão de Interação Fármaco-Alvo (DTI).

• Configuração: Três modelos de DTI baseados em sequência foram auditados: DeepDTA, DeepConvDTI e TAPB. O priori estrutural foi derivado das anotações de bolso de ligação do KLIFS (Impressões Digitais e Estruturas de Interação Quinase-Ligante).
• Regime Preditivo: Todos os três modelos demonstraram desempenho preditivo comparável (AUROC) no conjunto de teste Davis, operando dentro de um regime preditivo similar.
• Descobertas:
  • TAPB: Mostrou contrastes positivos significativos relativos ao priori tanto para QBM quanto para WCM ($\Delta QBM \approx +0,093$, $\Delta WCM \approx +0,063$). Isso indica que, quando os resíduos do bolso de ligação do KLIFS foram perturbados, a distribuição de saída do TAPB se reorganizou de maneira altamente coerente (preservando localização e classificação) em comparação com quando resíduos fora do bolso foram perturbados.
  • DeepDTA e DeepConvDTI: Mostraram contrastes negligenciáveis ou negativos. O DeepDTA não mostrou vantagem alinhada ao priori, e o DeepConvDTI mostrou um contraste ordinal negativo, sugerindo que suas respostas coerentes não estavam especificamente ligadas à estrutura do bolso de ligação.
  • Análise de Forma: Os contrastes do TI-WCM foram negativos ou próximos de zero para todos os modelos, indicando que os sinais coerentes detectados no TAPB foram impulsionados por deslocamentos de localização e classificação, e não por preservação residual de forma.

Conclusão dos Experimentos: Apesar da precisão similar, os modelos exibiram comportamentos intervencionistas fundamentalmente diferentes. Apenas o TAPB demonstrou que suas previsões estavam organizadas em torno da estrutura cientificamente relevante do bolso de ligação, uma distinção invisível para a avaliação padrão baseada em precisão.

5. Significado e Alegações

O artigo afirma que o I-SAFE fornece um teste estatisticamente fundamentado e relativo ao priori para avaliar como preditores científicos treinados operam sob perturbações estruturalmente significativas.

• Distinção de Alegações Causais: Os autores afirmam explicitamente que o I-SAFE não estabelece a validade causal de um modelo, nem prova que o modelo recuperou o verdadeiro mecanismo causal. Em vez disso, fornece métricas reutilizáveis para avaliar se a distribuição de saída de um modelo está coerentemente organizada em relação a um priori externo e específico de domínio.
• Além da Auditoria Escalar: O framework aborda a limitação da auditoria escalar capturando a geometria de deslocamentos distribucionais (localização, ordem, forma) que são invisíveis para métricas de desempenho agregado.
• Utilidade Agnóstica ao Modelo: O método é aplicável a qualquer domínio onde as entradas admitam uma decomposição estruturada e um priori estrutural externo esteja disponível, tornando-o uma ferramenta geral para a auditoria estrutural de IA científica de caixa-preta.
• Escopo Modesto: Os autores enfatizam que a auditoria é uma ferramenta diagnóstica para modelos existentes, não um procedimento de treinamento. Ela ajuda a identificar se o sucesso de um modelo é impulsionado por características estruturais relevantes ou correlações espúrias, apoiando alegações avaliativas mais precisas na IA científica.