Riassunto Tecnico: Interpretabilità Meccanicistica di Modelli Linguistici di Anticorpi tramite SAE

1. Il Problema (Problem Statement)

Nonostante l'efficacia dei modelli linguistici proteici (PLM) e specificamente degli anticorpi (come p-IgGen) nel processo di drug discovery, questi modelli rimangono "black box". La mancanza di interpretabilità solleva diverse criticità:

• Mancanza di fiducia: Difficoltà nel comprendere se il modello utilizzi caratteristiche biologicamente rilevanti per le sue previsioni.
• Rischio di overfitting: Difficoltà nel rilevare se il modello sta imparando pattern biologici reali o semplici correlazioni statistiche.
• Controllo limitato: L'impossibilità di guidare (steering) la generazione di sequenze verso proprietà specifiche (es. determinati geni germinali o regioni CDR) in modo preciso e prevedibile.

2. Metodologia (Methodology)

Il lavoro esplora l'uso degli Sparse Autoencoders (SAEs) per decomporre le attivazioni dense dei neuroni dei modelli linguistici in uno spazio latente sparso e interpretabile. Gli autori confrontano due architetture di SAE:

• TopK SAEs: Limitano il numero di latenti attivi a un valore $k$ predefinito. Questo approccio mira a risolvere il problema della sovrapposizione delle caratteristiche (feature superposition), dove un singolo neurone codifica più concetti non correlati.
• Ordered SAEs (O-SAEs): Introducono una struttura gerarchica nidificata. Utilizzano un meccanismo di raggruppamento per indice e pesi di troncamento decrescenti per forzare i latenti iniziali a modellare strutture globali/astratte, mentre quelli successivi catturano dettagli più fini.

Pipeline sperimentale:

1. Estrazione attivazioni: Estratte dai livelli nascosti di p-IgGen (modello principale), IgLM e ProGen2-OAS (per test di generalizzazione).
2. Identificazione delle caratteristiche: Utilizzo di linear probe (regressore logistico) per correlare i latenti a concetti biologici (identità delle regioni CDR e identità dei geni germinali V/J).
3. Steering (Guida): Intervento diretto sullo stato nascosto del modello aggiungendo il vettore del decoder del latente scelto ($\alpha \cdot d^{(i)}$) per osservare se la generazione della sequenza cambia in modo coerente con il concetto target.

3. Contributi Chiave (Key Contributions)

• Prima applicazione su modelli autoregressivi di anticorpi: Il lavoro estende l'uso degli SAE dai modelli di linguaggio generali (testo) e dai PLM standard ai modelli specifici per anticorpi autoregressivi.
• Distinzione tra Interpretabilità e Steerability: Dimostrano che la capacità di un latente di "spiegare" un concetto (alta correlazione) non implica la capacità di "controllare" quel concetto durante la generazione.
• Validazione della gerarchia con O-SAEs: Dimostrano che l'architettura ordinata è superiore per il controllo generativo, pur essendo meno intuitiva visivamente.

4. Risultati (Results)

• TopK SAEs:
  • Interpretabilità: Eccellente. I latenti identificano con alta precisione le regioni CDR e le identità dei geni J (es. F1-score elevati per le classi IGHJ). Le attivazioni sono visivamente localizzate e sparse, a differenza dei neuroni standard che sono polisemantici e diffusi.
  • Steerability: Scarsa. Nonostante l'alta correlazione con i concetti, l'incremento dei latenti TopK non produce un controllo affidabile sulla generazione delle sequenze.
• Ordered SAEs (O-SAEs):
  • Steerability: Eccellente. L'intervento sui latenti gerarchici (es. latente 12 per IGHJ4) ha guidato la generazione verso la specifica identità genica con alta correlazione (Pearson $R = 0.939$).
  • Qualità delle sequenze: Le sequenze generate tramite steering mantengono proprietà biologiche plausibili (simili alla distribuzione naturale in termini di diversità e likelihood secondo ESM-2), pur mostrando una maggiore novità (Hamming distance).
• Generalizzazione: I risultati sono stati replicati con successo su IgLM e ProGen2-OAS, confermando che l'approccio SAE è robusto rispetto a diverse scale e architetture di modelli.

5. Significato e Conclusioni (Significance)

Il paper conclude che esiste un trade-off fondamentale tra la facilità di interpretazione visiva e la capacità di controllo:

1. Se l'obiettivo è la mappatura dei concetti (capire cosa il modello "sa"), i TopK SAEs sono sufficienti e offrono mappe di attivazione molto chiare.
2. Se l'obiettivo è il design razionale (guidare la generazione di nuovi anticorpi con proprietà specifiche), gli Ordered SAEs sono preferibili perché catturano i concetti astratti necessari per influenzare il processo decisionale del modello.

Questi risultati aprono la strada a un design di anticorpi più preciso, permettendo di manipolare direttamente i modelli linguistici per generare librerie di anticorpi con proprietà di "developability" (solubilità, stabilità, ecc.) predefinite.