Mechanistic Interpretability of Antibody Language Models Using SAEs

Resumo Técnico: Interpretabilidade Mecanística de Modelos de Linguagem de Anticorpos usando SAEs

1. O Problema

O desenvolvimento de fármacos baseados em anticorpos depende da capacidade de prever e gerar sequências com alta afinidade, especificidade e "desenvolvibilidade" (solubilidade, estabilidade, etc.). Embora modelos de linguagem de anticorpos (como o p-IgGen) tenham avançado na otimização dessas etapas, eles operam como "caixas pretas". A falta de interpretabilidade dificulta a confiança nas previsões, impede a verificação de se o modelo está usando características biológicas relevantes e torna a detecção de overfitting extremamente difícil. O desafio central é: como decompor as ativações densas desses modelos em conceitos biológicos humanos e interpretáveis que possam ser manipulados?

2. Metodologia

Os autores utilizam Autoencoders Esparsos (SAEs) para investigar modelos de linguagem de anticorpos autoregressivos. O foco é resolver o problema da "superposição de características" (feature superposition), onde um único neurônio codifica múltiplos conceitos não relacionados.

A metodologia compara duas arquiteturas de SAE:

• TopK SAEs: Limitam o número de latentes ativas a um valor $k$ fixo. São projetados para encontrar características esparsas e localizadas.
• Ordered SAEs (O-SAEs): Utilizam uma arquitetura de SAE aninhada (nested) que impõe uma hierarquia estrita. As características de baixo índice capturam estruturas globais/abstratas, enquanto as de índices maiores capturam detalhes finos.

O pipeline experimental consistiu em:

1. Extração de Ativações: Coleta de estados ocultos de modelos como p-IgGen (17M parâmetros), IgLM (13M) e ProGen2-OAS (764M).
2. Identificação de Características: Uso de sondas lineares (linear probes) para correlacionar latentes com conceitos biológicos (identidade de regiões CDR e identidade de genes germinais V/J).
3. Direcionamento (Steering): Intervenção direta no processo de geração, adicionando o vetor do decodificador da latente escolhida ao estado oculto ($h^*_l \leftarrow h_l + \alpha \cdot d^{(i)}$) para observar se a geração de sequências é alterada conforme o esperado.

3. Principais Contribuições

• Demonstração de Aplicabilidade: É um dos primeiros trabalhos a aplicar SAEs para interrogar modelos de linguagem de anticorpos autoregressivos.
• Diferenciação entre Interpretabilidade e Direcionabilidade: O estudo revela que uma alta correlação entre uma característica latente e um conceito biológico (interpretabilidade) não garante que essa característica possa ser usada para controlar a geração (direcionabilidade).
• Validação de Arquitetura: Demonstra que as descobertas sobre SAEs não são exclusivas de um único modelo, mas generalizam através de diferentes escalas e arquiteturas de modelos de anticorpos.

4. Resultados

• TopK SAEs: Conseguiram identificar características altamente interpretáveis e visualmente localizadas (ex: latentes que ativam especificamente nas regiões CDRH3 ou domínios J). No entanto, falharam em permitir o direcionamento (steering) eficaz da geração, possivelmente devido a problemas de fragmentação de características (feature splitting).
• Ordered SAEs (O-SAEs): Embora apresentem padrões de ativação menos intuitivos (mais espalhados pela sequência), os O-SAEs permitiram um direcionamento preciso e previsível. Ao aumentar a ativação de uma latente hierárquica, os autores conseguiram aumentar ou diminuir a proporção de genes germinais específicos (como IGHJ4 ou IGHJ6) nas sequências geradas.
• Qualidade das Sequências: O direcionamento via O-SAEs produziu sequências com maior novidade (distância de Hamming) e diversidade, mas que permaneceram dentro do "manifold" de anticorpos plausíveis (mantendo alta probabilidade de modelos como ESM-2).

5. Significância

Este trabalho avança a interpretabilidade mecanística aplicada à biotecnologia. Ao provar que os O-SAEs podem servir como ferramentas de controle, os autores sugerem um caminho para o design racional de anticorpos via IA. Em vez de apenas gerar sequências aleatórias, pesquisadores poderão "ajustar" latentes específicas para produzir bibliotecas de anticorpos com propriedades de engenharia pré-definidas (como tipos específicos de genes germinais), otimizando o pipeline de descoberta de fármacos.