Residue-Level Attributions in Protein Language Models Do Not Recover Allergen Epitopes

Resumen Técnico: Las atribuciones a nivel de residuo en los modelos de lenguaje de proteínas no recuperan los epítopos de alérgenos

Planteamiento del problema
Los modelos de aprendizaje profundo, particularmente los modelos de lenguaje de proteínas (PLM), han mejorado significativamente la precisión de la predicción de la alergenicidad a nivel de proteína, ayudando en el cribado de seguridad de nuevos alimentos. Sin embargo, persiste una brecha crítica en comprender si las explicaciones generadas por estos modelos (atribuciones a nivel de residuo) capturan información biológicamente significativa. Específicamente, no está claro si las puntuaciones de atribución elevadas corresponden a sitios de reconocimiento inmunológico validados experimentalmente (epítopos). Aunque los modelos suelen producir mapas de calor que cualitativamente parecen alinearse con motivos conocidos, su alineación cuantitativa con los epítopos de referencia es desconocida. El artículo distingue entre fidelidad del modelo (si una explicación resalta residuos que influyen causalmente en la salida del modelo) y fidelidad inmunológica (si esos residuos se alinean con los sitios de reconocimiento inmunológico observados experimentalmente).

Metodología
Los autores construyeron un banco de pruebas basado en epítopos para evaluar cuantitativamente las señales de atribución a nivel de residuo de los clasificadores de alergenicidad.

• Curación de datos: Se curó un conjunto de datos a partir de la Base de Datos de Epítopos Inmunes (IEDB), centrándose en epítopos de MHC clase II asociados a alergias y validados experimentalmente (tanto de células B como de células T). Las secuencias positivas se mapearon a las proteínas parentales de longitud completa de UniProt y NCBI. Las secuencias negativas se extrajeron de entradas revisadas de UniProtKB/Swiss-Prot, excluyendo proteínas virales/humanas y alérgenos. El conjunto de datos se dividió en conjuntos de entrenamiento y evaluación utilizando agrupamiento consciente de la homología para evitar la fuga de datos.
• Modelos evaluados: Se probaron tres clasificadores:
  1. ESM-2 Congelado: Un PLM estándar con una arquitectura congelada y una cabeza de clasificación entrenada.
  2. MTL ESM-2: Una variante de aprendizaje multitarea que comparte la arquitectura congelada de ESM-2 pero añade una cabeza auxiliar de predicción de epítopos a nivel de residuo para probar si la supervisión explícita de los epítopos mejora la alineación.
  3. DeepPlantAllergy: Una arquitectura publicada reentrenada en el conjunto de datos curado para una comparación controlada.
• Métodos de atribución: El estudio evaluó Gradientes Integrados (IG), oclusión, pesos de atención, Gradiente×Input y la cabeza de residuo auxiliar de MTL.
• Métricas de evaluación: El rendimiento a nivel de residuo se evaluó mediante AUROC, AUPRC y Precisión@k, comparando las puntuaciones de atribución con máscaras binarias de epítopos anotados. Se generaron líneas de base aleatorias para establecer la significancia estadística.
• Validación funcional:
  • Enmascaramiento: Para probar la fidelidad del modelo, se enmascararon los residuos clasificados por IG para medir la disminución en la alergenicidad predicha.
  • Mutagénesis de saturación: Se realizaron sustituciones sistemáticas de un solo residuo para determinar si la sensibilidad del modelo era impulsada por identidades de epítopos específicos o por propiedades fisicoquímicas más amplias.

Resultos clave

1. Clasificación fuerte, atribución débil: Los tres modelos lograron un alto rendimiento de clasificación a nivel de proteína (AUROC > 0.96). Sin embargo, ninguna de las señales de atribución a nivel de residuo (IG, oclusión, etc.) superó significativamente las líneas de base aleatorias en la alineación con los epítopos anotados a través de AUROC, AUPRC o Precisión@k. Varias señales funcionaron significativamente peor que el azar.
2. Fallo del aprendizaje multitarea: El modelo MTL ESM-2, que incluía una cabeza auxiliar entrenada directamente sobre las máscaras de epítopos, no logró mejorar la alineación de las atribuciones de la cabeza de clasificación primaria con los epítopos. Esto sugiere que la clasificación de la alergenicidad a nivel de proteína puede lograrse sin depender de características localizadas de los epítopos.
3. Disociación de la fidelidad:
   • Fidelidad del modelo: Se encontró que los Gradientes Integrados eran fieles al modelo. El enmascaramiento de los residuos identificados por IG redujo significativamente la alergenicidad predicha del modelo más que el enmascaramiento aleatorio, confirmando que IG identifica residuos causalmente importantes para la decisión del modelo.
   • Desalineación inmunológica: A pesar de ser fieles al modelo, estos residuos no se superponían con los epítopos anotados.
4. Especificidad fisicoquímica vs. de epítopo: La mutagénesis de saturación reveló que los modelos eran sensibles a características fisicoquímicas y composicionales globales (ej. carga, hidrofobicidad, aromaticidad) en lugar de secuencias de epítopos específicas. Los efectos de la mutagénesis fueron a menudo mayores fuera de las regiones de los epítopos anotados que dentro de ellos.

Contribuciones

1. Banco de pruebas basado en epítopos: Los autores proporcionan un banco de pruebas cuantitativo utilizando AUROC, AUPRC y Precisión@k para evaluar la fidelidad inmunológica de las explicaciones de los modelos de alergenicidad.
2. Evidencia de desalineación: El estudio demuestra que los clasificadores de alergenicidad fuertes fallan consistentemente en producir señales de atribución a nivel de residuo que se alineen con los epítopos experimentales mejor que el azar.
3. Disociación de los criterios de fidelidad: El trabajo establece una clara disociación entre la fidelidad del modelo (IG identifica residuos causales) y la fidelidad inmunológica (esos residuos no son epítopos), sugiriendo que los modelos dependen de características fisicoquímicas globales en lugar de mecanismos específicos de los epítopos.

Significado y afirmaciones
El artículo concluye que las señales de importancia a nivel de residuo de los modelos de lenguaje de proteínas actuales no deben interpretarse como explicaciones inmunológicas para el cribado de seguridad o el diseño de hipoalérgenos sin validación cuantitativa. Los hallazgos implican que:

• Modificar los residuos resaltados por los métodos de atribución puede no reducir la alergenicidad si esas señales no están alineadas con los epítopos.
• Las visualizaciones de atribución pueden servir para la auditoría de modelos, pero no constituyen evidencia de comprensión a nivel de epítopo.
• El trabajo futuro debería centrarse en predictores biológicamente restringidos que incorporen estructuras y prioridades inmunológicas, y la comunidad requiere bancos de pruebas estandarizados y basados en epítopos para evaluar si las explicaciones de los modelos capturan mecanismos biológicamente significativos.

Los autores reconocen las limitaciones, incluyendo la incompletitud y el sesgo de las anotaciones de IEDB, la restricción a máscaras de residuos lineales de MHC-II y el uso de perturbaciones in silico como proxies del reconocimiento inmunitario experimental.