Mechanistic Interpretability of Biological Foundation Models: An Empirical Analysis of scGPT Gene-Embedding Geometry

Resumo Técnico: Interpretabilidade Mecanística de Modelos de Fundação Biológica

Definição do Problema
Embora os modelos de fundação biológica (como o scGPT) sejam amplamente alegados como aprendizes de conhecimento biológico estruturado, a pesquisa de interpretabilidade frequentemente depende de exemplos qualitativos ou pontuações de desempenho em tarefas de jusante, em vez de uma análise direta de representações internas. Existe uma lacuna crítica na compreensão de se esses modelos codificam estruturas biológicas específicas e conhecidas — como interações físicas proteína-proteína — dentro de seus parâmetros internos estáticos antes que ocorra qualquer contextualização específica da célula. Este artigo aborda uma questão empírica estreita: o espaço de incorporação (embedding) de tokens gênicos aprendido pelo scGPT codifica estruturas de interação física conhecidas entre produtos gênicos humanos?

Metodologia
O estudo realiza uma análise empírica do checkpoint humano público do scGPT, isolando especificamente a matriz estática de incorporação de tokens gênicos de entrada (60.694 genes, 512 dimensões) antes de qualquer computação de camada de transformer ou valores de expressão específicos da célula.

1. Fontes de Dados:
   • Modelo: checkpoint humano scGPT (Cui et al., 2024a).
   • Verdade Fundamental de Interação: Duas bases de dados independentes foram utilizadas:
     • STRING v12.0: Ligações físicas humanas mapeadas para símbolos de genes, resultando em 726.387 pares únicos em 18.441 genes.
     • BioGRID 5.0.259: Interações físicas humanas, resultando em 89.187 pares únicos em 11.250 genes.
2. Desenho Experimental:
   • Análise de Similaridade de Cosseno: Os autores computaram similaridades de cosseno pareadas entre vetores de parceiros de interação física conhecidos versus pares não interagentes.
   • Amostragem Negativa: Para controlar o viés de "hub" (onde genes altamente conectados podem inflar artificialmente a similaridade), pares negativos foram amostrados do mesmo universo de genes com correspondência de frequência de extremidade (endpoint-frequency matching) ao conjunto positivo.
   • Baselines: Baselines de permutação de rótulos de genes foram estabelecidos ao embaralhar aleatoriamente as linhas de incorporação para garantir que o sinal não fosse um artefato do procedimento de amostragem ou da geometria global.
   • Estratificação: As interações STRING foram analisadas através de bins de pontuação de confiança (≥400, ≥700, ≥900) para testar um relacionamento de dose-resposta.
   • Enriquecimento de Vizinhos Mais Próximos: O estudo calculou a Precisão@k (k=10, 50, 100) para parceiros de interação conhecidos entre os vizinhos mais próximos no espaço de incorporação, comparando a precisão observada contra a expectativa aleatória baseada no grau do gene.

Resultados Principais
A análise revela um sinal consistente, embora moderado, indicando que as incorporações estáticas do scGPT contêm informação de interação física:

• Recuperação de Arestas (AUROC): Parceiros de interação física conhecidos tiveram similaridade de cosseno significativamente maior do que não-arestas correspondentes.
  • STRING: O AUROC aumentou com a confiança, variando de 0,622 (pontuação ≥400) a 0,704 (pontuação ≥900).
  • BioGRID: O AUROC foi de 0,589.
  • Baselines: Os baselines de permutação retornaram consistentemente a ~0,50, confirmando que o sinal depende da identidade do gene dentro do espaço aprendido.
• Monotonicidade: Observou-se um aumento monotônico na média da similaridade de cosseno das incorporações conforme as pontuações de confiança da STRING subiam (de 0,011 para não-arestas a 0,111 para arestas de 900–1000), sugerindo que a geometria rastreia a confiança da interação em vez de apenas o status binário da aresta.
• Enriquecimento de Vizinhos Mais Próximos: A estrutura de vizinhança local é enriquecida para parceiros físicos.
  • Para STRING pontuação ≥700, a Precisão@10 mostrou um enriquecimento de 52,9 vezes sobre a expectativa aleatória.
  • Para BioGRID, a Precisão@10 mostrou um enriquecimento de 17,3 vezes.
  • Apesar das altas taxas de enriquecimento, a precisão absoluta permanece baixa (por exemplo, <5% dos 10 vizinhos mais próximos são parceiros de interação registrados para STRING ≥700).

Principais Contribuições

• Evidência Empírica Direta: O artigo fornece evidência quantitativa de que a camada de incorporação de tokens gênicos de entrada estática de um modelo de fundação de célula única (scGPT) já codifica uma estrutura de interação física detectável, independente de ativações contextualizadas pela célula.
• Validação Convergente: O sinal é validado através de dois recursos de interação independentes (STRING e BioGRID), sobrevive à correspondência rigorosa de frequência de extremidade e demonstra um relacionamento de dose-resposta com a confiança da interação.
• Escopo de Interpretabilidade Refinado: O estudo delineia a fronteira entre "organização biológica" e "mecanismo causal", mostrando que, embora o modelo organize genes por interação física, isso não equivale a aprender a lógica regulatória causal.

Significância e Alegações
Os autores formulam suas conclusões com modéstia deliberada. O artigo sustenta uma alegação mecanística limitada: a geometria do token gênico de entrada do scGPT já está biologicamente organizada antes do processamento contextual. Isso sugere que as camadas de transformer subsequentes não partem de identificadores de genes arbitrários, mas de vetores já fracamente estruturados por dados de interação molecular.

No entanto, os autores afirmam explicitamente o que os resultados não provam:

• O sinal é insuficiente para a predição autônoma de interação física (AUROCs de 0,59–0,70 não são preditores fortes).
• A presença de sinais de interação física nas incorporações estáticas não implica que o modelo tenha aprendido mecanismos regulatórios causais ou direcionalidade.
• O estudo não afirma que o scGPT utiliza essas incorporações causalmente para a predição de perturbação.

A significância reside em estabelecer uma linha de base para a interpretabilidade mecanística em modelos de fundação biológica: a própria "tabela de consulta" (lookup table) contém estrutura biológica. Trabalhos futuros, sugerem os autores, devem focar em intervenções causais e análise de circuitos ao nível de características para entender como este sinal de entrada é utilizado.