Residue-Level Attributions in Protein Language Models Do Not Recover Allergen Epitopes

Resumo Técnico: Atribuições em Nível de Resíduo em Modelos de Linguagem de Proteínas Não Recuperam Epítopos Alergênicos

Definição do Problema
Modelos de aprendizado profundo, particularmente modelos de linguagem de proteínas (PLMs), melhoraram significativamente a precisão da predição de alergenicidade em nível de proteína, auxiliando na triagem de segurança de novos alimentos. No entanto, uma lacuna crítica permanece em entender se as explicações geradas por esses modelos (atribuições em nível de resíduo) capturam informações biologicamente significativas. Especificamente, não está claro se pontuações de atribuição elevadas correspondem a sítios de reconhecimento imunológico validados experimentalmente (epítopos). Embora os modelos frequentemente produzam mapas de calor que parecem qualitativamente alinhar-se com motivos conhecidos, seu alinhamento quantitativo com epítopos de verdade fundamental é desconhecido. O artigo distingue entre fidelidade ao modelo (se uma explicação destaca resíduos que causalmente influenciam a saída do modelo) e fidelidade imunológica (se esses resíduos se alinham com sítios de reconhecimento imunológico observados experimentalmente).

Metodologia
Os autores construíram um benchmark fundamentado em epítopos para avaliar quantitativamente os sinais de atribuição em nível de resíduo de classificadores de alergenicidade.

• Curadoria de Dados: Um conjunto de dados foi curado a partir do Immune Epitope Database (IEDB), focando em epítopos de MHC classe II associados a alergias e validados experimentalmente (tanto células B quanto células T). Sequências positivas foram mapeadas para proteínas completas de origem via UniProt e NCBI. Sequências negativas foram extraídas de entradas revisadas do UniKB/Swiss-Prot, excluindo proteínas virais/humanas e alérgenos. O conjunto de dados foi dividido em conjuntos de treinamento e avaliação usando agrupamento (clustering) consciente de homologia para evitar vazamento de dados (data leakage).
• Modelos Avaliados: Três classificadores foram testados:
  1. ESM-2 Congelado: Um PLM padrão com uma estrutura (backbone) congelada e uma cabeça de classificação treinada.
  2. MTL ESM-2: Uma variante de aprendizado multitarefa (MTL) que compartilha a estrutura congelada do ESM-2, mas adiciona uma cabeça auxiliar de predição de epítopo em nível de resíduo para testar se a supervisão explícita de epítopos melhora o alinhamento.
  3. DeepPlantAllergy: Uma arquitetura publicada, treinada novamente no conjunto de dados curado para comparação controlada.
• Métodos de Atribuição: O estudo avaliou Gradientes Integrados (IG), oclusão, pesos de atenção, Gradiente×Input e a cabeça de resíduo auxiliar de MTL.
• Métricas de Avaliação: O desempenho em nível de resíduo foi avaliado usando AUROC, AUPRC e Precisão@k, comparando as pontuações de atribuição com máscaras binárias de epítopos anotados. Baselines aleatórios foram gerados para estabelecer significância estatística.
• Validação Funcional:
  • Mascaramento: Para testar a fidelidade do modelo, resíduos classificados por IG foram mascarados para medir a diminuição na alergenicidade prevista.
  • Mutagênese de Saturação: Substituições sistemáticas de resíduo único foram realizadas para determinar se a sensibilidade do modelo era impulsionada por identidades específicas de epítopos ou por propriedades físico-químicas mais amplas.

Resultos Principais

1. Classificação Forte, Atribuição Fraca: Todos os três modelos alcançaram alto desempenho de classificação em nível de proteína (AUROC > 0,96). No entanto, nenhum dos sinais de atribuição em nível de resíduo (IG, oclusão, etc.) excedeu significativamente os baselines aleatórios no alinhamento com epítopos anotados em termos de AUROC, AUPRC ou Precisão@k. Vários sinais performaram significativamente pior do que o acaso.
2. Falha do Aprendizado Multitarefa: O modelo MTL ESM-2, que incluía uma cabeça auxiliar treinada diretamente em máscaras de epítopos, falhou em melhorar o alinhamento das atribuições da cabeça de classificação primária com os epítopos. Isso sugere que a classificação de alergenicidade em nível de proteína pode ser alcançada sem depender de características localizadas de epítopos.
3. Dissociação de Fidelidade:
   • Fidelidade ao Modelo: Descobriu-se que os Gradientes Integrados são fiéis ao modelo. O mascaramento de resíduos identificados por IG reduziu significativamente a alergenicidade prevista do modelo mais do que o mascaramento aleatório, confirmando que o IG identifica resíduos causalmente importantes para a decisão do modelo.
   • Desalinhamento Imunológico: Apesar de serem fiéis ao modelo, esses resíduos não se sobrepõem aos epítopos anotados.
4. Especificidade Físico-Química vs. Epítopo: A mutagênese de saturação revelou que os modelos eram sensíveis a características físico-químicas e composicionais globais (ex: carga, hidrofobicidade, aromaticidade) em vez de sequências específicas de epítopos. Os efeitos da mutagênese foram frequentemente maiores fora das regiões de epítopos anotados do que dentro delas.

Contribuições

1. Benchmark Fundamentado em Epítopos: Os autores fornecem um benchmark quantitativo usando AUROC, AUPRC e Precisão@k para avaliar a fidelidade imunológica das explicações de modelos de alergenicidade.
2. Evidência de Desalinhamento: O estudo demonstra que fortes classificadores de alergenicidade consistentemente falham em produzir sinais de atribuição em nível de resíduo que se alinhem com epítopos experimentais melhor do que o acaso.
3. Dissociação de Critérios de Fidelidade: O trabalho estabelece uma clara dissociação entre fidelidade ao modelo (IG identifica resíduos causais) e fidelidade imunológica (esses resíduos não são epítopos), sugerindo que os modelos dependem de características físico-químicas globais em vez de mecanismos específicos de epítopos.

Significância e Alegações
O artigo conclui que sinais de importância em nível de resíduo de atuais modelos de linguagem de proteínas não devem ser interpretados como explicações imunológicas para triagem de segurança ou design de hipoalérgenos sem validação quantitativa. As descobertas implicam que:

• Modificar resíduos destacados por métodos de atribuição pode não reduzir a alergenicidade se esses sinais não estiverem alinhados com os epítopos.
• Visualizações de atribuição podem servir para auditoria de modelos, mas não constituem evidência de compreensão ao nível de epítopos.
• Trabalhos futuros devem focar em preditores biologicamente restritos que incorporem vieses estruturais e imunológicos, e a comunidade carece de benchmarks padronizados e fundamentados em epítopos para avaliar se as explicações dos modelos capturam mecanismos biologicamente significativos.

Os autores reconhecem limitações, incluindo a incompletude e o viés das anotações do IEDB, a restrição a máscaras de resíduos lineares de MHC-II e o uso de perturbações in silico como proxies para o reconhecimento imunológico experimental.