Quantifying Cross-Attention Interaction in Transformers for Interpreting TCR-pMHC Binding

Deze paper introduceert QCAI, een nieuwe post-hoc methode die cross-attention interacties in transformer-decoders kwantificeert om de interpretatie van TCR-pMHC-binding te verbeteren en presteert hierin beter dan bestaande methoden op de nieuwe TCR-XAI-benchmark.

De kern

De TCR-ontdekkingsagent: Hoe we de 'zwarte doos' van het immuunsysteem openen

Stel je voor dat je lichaam een enorm leger heeft: de T-cellen. Deze soldaten (de T-cellen) moeten constant op zoek gaan naar indringers, zoals virussen of kankercellen. Maar hoe weten ze wie de vijand is? Ze kijken naar een soort "identiteitskaart" die door het lichaam wordt getoond: het pMHC. Dit is een klein stukje van de indringer (het peptide) dat vastzit aan een presentatiebord (het MHC).

De T-cellen hebben een speciale antenne, de TCR (T-cel receptor), die moet checken of die identiteitskaart wel echt is. Als de antenne past bij de kaart, slaat het alarm en valt het lichaam de indringer aan.

Het probleem: De magische zwarte doos

Om te voorspellen of een T-cel een bepaalde indringer zal aanvallen, gebruiken wetenschappers nu superkrachtige computermodellen, gebaseerd op Transformers (dezelfde technologie die ook ChatGPT aandrijft). Een bekend model heet TULIP.

Het probleem is dat deze modellen een "zwarte doos" zijn. Ze geven een antwoord ("Ja, dit is een aanval" of "Nee, dit niet"), maar ze vertellen niet waarom. Ze kijken naar de hele tekst van de T-cel en de indringer, maar we weten niet welke specifieke letters (aminozuren) in die tekst het belangrijkst waren. Voor artsen en onderzoekers is dat erg lastig: je wilt niet alleen weten dat het werkt, maar ook hoe het werkt, zodat je betere medicijnen kunt ontwerpen.

De oplossing: QCAI (De vertaler)

De auteurs van dit paper hebben een nieuwe methode bedacht, genaamd QCAI (Quantifying Cross-Attention Interaction).

Om dit uit te leggen, gebruiken we een analogie:

Stel je voor dat je een gesprek hebt tussen twee mensen in een druk café:

1. Persoon A (de T-cel) luistert naar Persoon B (de indringer).
2. In een gewone computer (een "encoder-only" model) luistert Persoon A alleen naar zichzelf.
3. Maar in de geavanceerde modellen (zoals TULIP) is er een Decoder. Dit is als een tolk die tussen A en B staat. De tolk kijkt naar wat A zegt, maar vooral naar wat B zegt, en probeert de relatie te begrijpen. Dit noemen we "Cross-Attention".

Het probleem met de bestaande "vertalers" (oude uitleg-methodes) is dat ze alleen keken naar wat Persoon A tegen zichzelf zei. Ze keken niet naar de tolk die de boodschap van B naar A bracht. Daardoor misten ze de belangrijkste informatie: welke woorden van B deed A echt reageren?

QCAI is de nieuwe tolk. Hij kijkt specifiek naar die "Cross-Attention" momenten. Hij zegt: "Kijk, toen Persoon B dit specifieke woord zei, keek Persoon A direct hiernaar en werd daardoor alert."

Hoe hebben ze bewezen dat het werkt?

Je kunt niet zomaar zeggen "dit werkt" zonder bewijs. In de wereld van AI is het vaak lastig om te weten of een uitleg eerlijk is.

De auteurs hebben een gigantische testset samengesteld, genaamd TCR-XAI.

• Ze hebben 274 echte foto's van T-cellen die vastzitten aan indringers verzameld (uit kristalstructuren).
• Op deze foto's kunnen ze precies zien welke deeltjes van de T-cel en de indringer elkaar aanraken. Het is alsof je een meetlat hebt: als twee deeltjes binnen een bepaalde afstand zitten, raken ze elkaar echt.

Vervolgens hebben ze QCAI en alle andere oude methodes laten "gokken" welke deeltjes belangrijk zijn.

• De oude methodes gokten vaak op de verkeerde plekken. Ze zagen niet dat de tolk (de cross-attention) het belangrijkst was.
• QCAI wees precies op de plekken die op de foto's ook daadwerkelijk elkaar aanraakten. Het was alsof QCAI de foto kon "lezen" en de andere methodes blind waren.

Waarom is dit belangrijk?

1. Betere medicijnen: Als we precies weten welke deeltjes van een T-cel een virus aanpakken, kunnen we medicijnen ontwerpen die die specifieke deeltjes versterken.
2. Veiligheid: We kunnen beter voorspellen of een T-cel per ongeluk een gezond cel gaat aanvallen (wat auto-immuunziekten veroorzaakt).
3. Vertrouwen: Het haalt de "magie" uit de AI. We begrijpen nu dat de AI niet zomaar raadt, maar dat het kijkt naar de fysieke contactpunten tussen de cellen.

Kortom: De auteurs hebben een nieuwe bril (QCAI) ontworpen die ons laat zien hoe de slimste computermodellen voor het immuunsysteem eigenlijk werken. Ze kijken niet meer alleen naar de T-cel zelf, maar naar de interactie met de indringer, en dat helpt ons om de taal van ons eigen afweersysteem beter te begrijpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Quantifying Cross-Attention Interaction in Transformers for Interpreting TCR-pMHC Binding", gepubliceerd bij ICLR 2026.

1. Probleemstelling

T-cellen spelen een cruciale rol in het adaptieve immuunsysteem door antigenen te herkennen die worden gepresenteerd door Major Histocompatibility Complex (pMHC) moleculen via T-celreceptoren (TCR). Het modelleren van de binding tussen TCR en pMHC is essentieel voor het ontwikkelen van therapieën en het begrijpen van immuunresponsen. Hoewel transformer-modellen (zoals TULIP) uitstekende prestaties leveren in deze domein, functioneren ze als "black boxes".

De belangrijkste uitdagingen zijn:

• Gebrek aan interpretatie: Bestaande post-hoc uitlegmethode (XAI) zoals AttnLRP, TokenTM en GradCAM zijn voornamelijk ontworpen voor encoder-only modellen of modellen met alleen zelf-attention (self-attention).
• Architecturale beperking: State-of-the-art modellen voor TCR-pMHC binding (zoals TULIP) gebruiken vaak encoder-decoder architecturen. Deze bevatten cross-attention lagen, waar de query (Q) uit de decoder komt en de keys (K) en values (V) uit de encoder. Bestaande methoden kunnen deze asymmetrische interactie niet correct interpreteren, waardoor het onmogelijk is om te begrijpen welke specifieke aminozuurresten in de TCR en het peptide de binding bepalen.
• Kwalitatieve evaluatie: Er ontbreekt een robuuste, kwantitatieve benchmark om de kwaliteit van XAI-methoden voor immunologie te evalueren, aangezien interpretaties vaak alleen visueel of intuïtief worden beoordeeld.

2. Methodologie: QCAI (Quantifying Cross-Attention Interaction)

De auteurs stellen QCAI voor, een nieuwe post-hoc methode die specifiek is ontworpen om cross-attention mechanismen in transformer-decoders te interpreteren. De methode volgt drie hoofdstappen:

A. Kwantificering van de Attention Matrix

Inspiratie getrokken uit GradCAM, berekent QCAI de belangrijkheid van de attention matrix $A_l$ op laag $l$ door de gradient van de verliesfunctie ($L_c$) te combineren met de attention weights zelf:
$$S(A_l) = E_H \left( \text{ReLU} \left( \frac{\partial L_c}{\partial A_l} \odot A_l \right) \right) + I$$
Hierbij is $E_H$ het gemiddelde over alle attention heads, $\odot$ element-wijze vermenigvuldiging, en $I$ de identiteitsmatrix voor residu-connecties.

B. Decompositie in Query en Key Bijdragen

Omdat de attention matrix in cross-attention niet vierkant is (dimensies $N \times N'$), moet de belangrijkheid worden toegewezen aan de invoer-tokens van beide modaliteiten (bijv. CDR3 en peptide).

• Query Import (Q): De auteurs gebruiken de Moore-Penrose pseudoinverse om de invloed van de query-matrix te isoleren van de attention matrix, aangezien $K$ niet noodzakelijk inverteerbaar is. De query-import wordt gecombineerd met de intrinsieke query-import.
• Key Import (K): De key-import wordt direct afgeleid uit de attention matrix, omdat attention expliciet queries naar key-ruimte mapt. Ook hier wordt een combinatie gemaakt van intrinsieke key-import en attention-geconditioneerde import.

C. Aggregatie over Lagen

Om te begrijpen hoe relevantie zich door het hele model voortplant (van decoder naar encoder), worden de token-level belangrijkheidsscores recursief geaggregeerd. De auteurs gebruiken een element-wijze maximum-functie om het sterkste signaal te behouden wanneer paden divergeren of convergeren in meerdere decoder blokken.

3. Kernbijdragen

1. QCAI Methode: Een nieuwe post-hoc techniek die cross-attention in encoder-decoder transformers interpreteert, waardoor het mogelijk wordt om de interactie tussen TCR en pMHC op aminozuurniveau te analyseren.
2. TCR-XAI Benchmark: De auteurs hebben een nieuwe benchmark samengesteld bestaande uit 274 experimenteel bepaalde TCR-pMHC structuren (uit STCRDab en TCR3d 2.0).
   • Ground Truth: In plaats van alleen sequentie-gegevens, gebruiken ze X-ray kristallografie-data. De "ground truth" voor binding wordt bepaald door de fysieke afstand (in Ångström) tussen aminozuren in de CDR3-regio's van de TCR en de peptide.
   • Metriek: Ze introduceren de Binding Region Hit Rate (BRHR), die meet welk percentage van de werkelijk interactieve residuen (op basis van afstand) wordt geïdentificeerd door de XAI-methode.
3. Uitgebreide Evaluatie: Een systematische vergelijking van QCAI met bestaande methoden (AttnLRP, TokenTM, Rollout, GradCAM, etc.) op zowel ROC-AUC, perturbatiemetrics (LOdds, AOPC) als BRHR.

4. Resultaten

De evaluatie toont aan dat QCAI state-of-the-art prestaties levert:

• ROC-AUC: QCAI behaalde de hoogste scores voor het identificeren van bindingsplaatsen in CDR3a, CDR3b en peptide sequenties (bijv. 0.6024 voor peptide), wat significant hoger is dan concurrenten.
• Perturbatie-experimenten: Bij het verwijderen van de belangrijkste residuen (k=4 voor CDR, k=7 voor peptide) vertoonde QCAI de grootste daling in modelvertrouwen (meest negatieve LOdds en hoogste AOPC), wat aangeeft dat het de meest kritieke residuen correct identificeert.
• Binding Region Hit Rate (BRHR): QCAI presteerde consistent beter dan andere methoden, vooral bij lagere percentielen (top 25-50% van de scores), wat betekent dat het de fysiek interactieve gebieden nauwkeuriger lokaliseert.
• Case Studies:
  • In een studie van influenza T-cellen identificeerde QCAI de cruciale "notch-binding" residuen die in de kristalstructuren zichtbaar zijn, terwijl andere methoden zwakkere scores gaven.
  • Bij auto-immuunziekte (reumatoïde artritis) kon QCAI de entropische kosten van langere CDR3-lussen verklaren die leiden tot lagere bindingsaffiniteit.
  • QCAI was gevoelig voor kleine sequentieveranderingen (twee aminozuren) in gerelateerde complexen, wat de nauwkeurigheid van de methode onderstreept.

5. Betekenis en Toekomstperspectief

• Wetenschappelijke Impact: QCAI opent de "black box" van moderne immunologische AI-modellen. Het stelt onderzoekers in staat om mechanistische inzichten te krijgen in waarom een T-cel een specifiek antigeen herkent, wat essentieel is voor het ontwerpen van nieuwe vaccins en immunotherapieën.
• Generaliseerbaarheid: Hoewel de focus ligt op immunologie, is de methode breed toepasbaar op elk encoder-decoder model met cross-attention, inclusief vision-language modellen (zoals CLIP, zoals getest in de appendix).
• Toekomst: De auteurs plannen om QCAI uit te breiden met energie-gebaseerde modellen (in plaats van alleen afstand) en te werken aan "explain-by-design" modellen die deze inzichten direct in de voorspelling integreren.

Kortom, dit paper biedt een oplossing voor een fundamenteel gat in de interpretatie van transformer-modellen in de bio-informatica en levert een robuust, structureel onderbouwd raamwerk voor de evaluatie van uitlegbare AI in de immunologie.