Mechanistic Interpretability of Antibody Language Models Using SAEs

Technische Samenvatting: Mechanistische Interpreteerbaarheid van Antilichaam-taalmodellen met behulp van SAEs

1. Probleemstelling

Hoewel taalmodellen voor eiwitten (en specifiek antilichamen) veelbelovend zijn voor de ontdekking van geneesmiddelen, lijden ze aan een gebrek aan interpreteerbaarheid. Dit "black box"-karakter vormt een barrière voor het vertrouwen in modelvoorspellingen, het detecteren van overfitting en het begrijpen of biologisch relevante kenmerken daadwerkelijk worden gebruikt. In de context van antilichamen is het cruciaal om te begrijpen hoe modellen concepten zoals de Complementarity-Determining Regions (CDR's) en germline-genidentiteit coderen, en of deze kenmerken manipuleerbaar zijn om de generatie van specifieke antilichaamsequenties te sturen (steering).

2. Methodologie

De auteurs onderzoeken de interne mechanismen van autoregressieve antilichaam-taalmodellen (voornamelijk p-IgGen, maar ook IgLM en ProGen2-OAS) met behulp van Sparse Autoencoders (SAEs). SAEs worden ingezet om de dichte activaties van neuronen te ontleden in een ijlere (sparse) latente ruimte, waardoor menselijk interpreteerbare "features" (kenmerken) zichtbaar worden.

De studie vergelijkt twee specifieke SAE-architecturen:

• TopK SAEs: Deze beperken het aantal actieve latente dimensies tot een vaste waarde $k$. Dit is effectief voor het identificeren van specifieke, lokale kenmerken.
• Ordered SAEs (O-SAEs): Deze maken gebruik van een hiërarchische, geneste structuur. Hierdoor worden abstracte, globale kenmerken in de lagere indices van de latente ruimte gedwongen, terwijl fijnmazige details later volgen.

Evaluatiemethoden:

• Lineaire Probes: Om te testen of de latente activaties biologische concepten (zoals CDR-identiteit of J-genidentiteit) voorspellen.
• Steering (Sturing): Het manipuleren van de generatie door de decoder-vector van een specifieke latent toe te voegen aan de verborgen toestand van het model ($h^*_l \leftarrow h_l + \alpha \cdot d^{(i)}$).
• Validatie: De gegenereerde sequenties werden getoetst op nieuwheid (novelty), diversiteit en "eiwit-achtigheid" (protein-likeness via ESM-2 likelihood).

3. Belangrijkste Bijdragen

• Eerste toepassing op autoregressieve antilichaammodellen: De auteurs laten zien dat SAEs effectief kunnen worden toegepast op domeinspecifieke modellen voor antilichamen.
• Ontkoppeling van interpretatie en sturingsvermogen: Het onderzoek toont aan dat een hoge correlatie tussen een latent en een biologisch concept (interpreteerbaarheid) niet automatisch betekent dat dit kenmerk ook gebruikt kan worden om de generatie te beïnvloeden (sturingsvermogen).
• Validatie van O-SAEs voor generatieve sturing: De studie bewijst dat de hiërarchische structuur van Ordered SAEs superieur is wanneer het doel niet alleen het begrijpen is, maar ook het precies sturen van de modeloutput.

4. Resultaten

• TopK SAEs: Deze zijn uitstekend in het identificeren van biologische informatie. De latente activaties zijn visueel zeer interpreteerbaar en lokaliseren zich nauwkeurig op specifieke residuen (zoals de CDRH3-regio). Echter, de auteurs slaagden er niet in om de generatie succesvol te sturen met TopK-latents, waarschijnlijk door problemen zoals feature splitting of absorption.
• Ordered SAEs (O-SAEs): Hoewel de activatiepatronen van O-SAEs minder intuïtief en breder verspreid zijn over de sequentie, zijn ze zeer effectief voor steering. Door de activatie van een specifieke latent (bijv. latent 12 voor IGHJ4) te verhogen, kon de proportie van specifieke germline-genen in de gegenereerde bibliotheek voorspelbaar worden verhoogd.
• Generalisatie: De resultaten (zowel de identificatie van gen-identiteit als de effectiviteit van sturing) bleken robuust over verschillende architecturen en schalen (IgLM en ProGen2-OAS), wat de algemene bruikbaarheid van de methode bevestigt.
• Kwaliteit van generatie: De gestuurde sequenties behielden hun biologische plausibiliteit (hoge ESM-2 likelihood) en vertoonden een gezonde mate van nieuwheid en diversiteit.

5. Betekenis en Conclusie

Dit werk legt een fundamentele link tussen mechanistische interpreteerbaarheid en rationeel ontwerp in de biotechnologie. De conclusie is dat er een trade-off bestaat: TopK SAEs zijn ideaal voor het in kaart brengen van de biologische concepten die een model heeft geleerd, terwijl Ordered SAEs de voorkeur verdienen wanneer men de generatie van antilichamen gericht wil manipuleren (bijvoorbeeld voor het ontwerpen van bibliotheken met specifieke eigenschappen). Dit biedt een krachtig nieuw instrumentarium voor de optimalisatie van de antilichaam-ontwikkelingspijplijn.