Tracing Pharmacological Knowledge In Large Language Models

Este estudo utiliza métodos de interpretabilidade baseados em causalidade e sondas para demonstrar que o conhecimento farmacológico em modelos de linguagem é representado de forma distribuída nas camadas iniciais e em tokens intermediários, em vez de estar localizado em um único token.

O essencial

Imagine que os Modelos de Linguagem Grandes (LLMs), como o Llama ou o OpenBioLLM, são como bibliotecas gigantes e mágicas. Elas leram quase tudo o que existe sobre medicina e farmacologia na internet. Quando você pergunta a elas "Qual é o grupo de medicamentos para este remédio?", elas respondem com incrível precisão.

Mas aqui está o mistério: como elas sabem isso? Onde, exatamente, dentro daquela "cabeça" digital de bilhões de parâmetros, está guardada essa informação? É como se soubéssemos que a biblioteca tem o livro, mas não sabemos em qual prateleira, em qual página ou em qual linha ele está escrito.

Este artigo é como um raio-X ou um detetive que entra nessa biblioteca para descobrir exatamente onde a informação sobre "grupos de medicamentos" (como "antibióticos" ou "analgésicos") está escondida.

Aqui está a explicação simples do que eles descobriram, usando analogias do dia a dia:

1. O Grande Mistério: Onde está o conhecimento?

Os cientistas queriam saber: quando o modelo pensa em "medicamentos para pressão alta", ele guarda essa ideia em um único lugar (como um arquivo específico) ou ela está espalhada por toda a biblioteca?

Para descobrir, eles usaram duas técnicas principais:

• O "Patch" de Ativação (A Cirurgia): Imagine que você tem um robô que responde perguntas. Eles "desligaram" temporariamente uma parte do cérebro do robô e colocaram a memória de outra parte no lugar. Se a resposta do robô mudar, significa que aquela parte do cérebro era crucial para aquela informação. É como trocar o motor de um carro para ver se ele ainda anda.
• As "Sondas" Lineares (O Detetive): Eles tentaram ler a "mente" do robô em diferentes momentos para ver se conseguiam identificar a ideia de "grupo de remédio" apenas olhando para os dados brutos.

2. A Descoberta Surpreendente: Não é no final, é no meio!

Em estudos anteriores sobre fatos gerais (como "quem foi o primeiro presidente dos EUA"), descobriu-se que a informação fica guardada no último token (a última palavra da frase). Era como se a resposta só fosse escrita no final da carta.

Mas com os remédios, foi diferente!
Os pesquisadores descobriram que a informação sobre o grupo do medicamento está mais forte nas camadas iniciais do modelo (o começo do processamento) e, mais importante, está concentrada nas palavras do meio da frase, não na última.

• A Analogia: Imagine que você está lendo uma receita de bolo.
  • Se fosse um fato comum, a informação estaria escrita apenas na assinatura no final da página.
  • Com os remédios, a informação está espalhada como ingredientes espalhados pela receita inteira. O "sabor" de que isso é um "antibiótico" já começa a ser formado assim que você lê as primeiras palavras da descrição, e fica mais forte no meio da explicação.

3. A Informação é Espalhada (Distribuída)

Outra descoberta importante é que a informação não está em um único "gaveta" ou "palavra". Ela é distribuída.

• A Analogia: Pense em uma orquestra. Se você quiser saber se a música é "alegre", você não olha apenas para o violinista (uma única palavra/token). Você precisa ouvir a soma de todos os instrumentos juntos.
• No modelo, se os cientistas olhavam para uma única palavra isolada, eles não conseguiam entender o grupo do remédio (era como tentar adivinhar o clima olhando apenas para uma gota de chuva). Mas, quando eles somavam todas as palavras da frase juntas (a "soma dos tokens"), a informação ficava cristalina e perfeita.

4. O Segredo está no Início

Eles também descobriram que essa informação sobre grupos de remédios já existe antes mesmo do modelo começar a "pensar" profundamente. Ela já está presente no momento em que a palavra é digitada (no espaço de "embedding").

• A Analogia: É como se, ao entrar em uma sala de aula, o aluno já soubesse a matéria que vai estudar, antes mesmo do professor começar a aula. A informação não precisa ser "aprendida" do zero nas camadas profundas; ela já nasce com a palavra.

Resumo da Ópera (Conclusão)

Este estudo nos ensina que, quando esses modelos de IA falam sobre medicina:

1. Eles não guardam a informação em um único lugar secreto no final da frase.
2. Eles constroem o significado juntando peças ao longo de toda a frase, especialmente no começo e no meio.
3. Para entender o que o modelo sabe, não podemos olhar apenas para uma palavra; precisamos olhar para o conjunto delas.

Isso é muito importante porque, se quisermos usar essas IAs para salvar vidas (descobrir novos remédios ou diagnosticar doenças), precisamos entender como elas pensam para garantir que não estão "alucinando" ou fazendo erros por não entenderem a lógica por trás das palavras. É um passo gigante para tornar a IA médica mais transparente e confiável.

Resumo técnico

Título: Rastreamento de Conhecimento Farmacológico em Modelos de Linguagem de Grande Escala (LLMs)

1. Problema e Motivação

Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram alto desempenho empírico em tarefas de farmacologia e descoberta de medicamentos. No entanto, os mecanismos internos pelos quais esses modelos codificam e recuperam conhecimento farmacológico (como classes de drogas, grupos funcionais e ações terapêuticas) permanecem pouco compreendidos. A falta de interpretabilidade mecânica dificulta a confiança nesses modelos em domínios de alto risco, como a biomedicina. O objetivo deste trabalho é localizar e caracterizar mecanicamente onde e como o conhecimento sobre grupos de drogas é representado em modelos baseados na arquitetura Llama.

2. Metodologia

Os autores empregaram uma abordagem combinada de interpretabilidade causal e análise de sondagem (probing):

• Construção do Dataset: Criaram um dataset de perguntas de múltipla escolha (duas opções) baseado em categorias de ações farmacológicas curadas pela Biblioteca Nacional de Medicina dos EUA (NLM). O formato de duas opções foi escolhido para contornar problemas de tokenização e a não unicidade de respostas (várias drogas pertencem à mesma classe).
• Patching de Ativação (Activation Patching):
  • Técnica usada para identificar causalmente quais componentes do modelo são responsáveis por uma saída específica.
  • Envolve três passes: (1) prompt limpo (resposta correta), (2) prompt corrompido (resposta invertida/contraditória), e (3) prompt corrompido com ativações substituídas pelo cache do prompt limpo.
  • Mediram o efeito da intervenção usando a diferença de logits normalizada.
  • Testaram intervenções no residual stream (fluxo residual) e nas camadas MLP (Perceptron de Camada Única) em diferentes posições de tokens e camadas do modelo.
• Sondagem Linear (Linear Probing):
  • Treinaram classificadores lineares (regressão logística) nas ativações dos modelos para prever se um token pertence a um grupo farmacológico específico (ex: agonistas vs. antagonistas).
  • Compararam o desempenho de sondas treinadas em tokens individuais versus representações somadas (sum-pooled) de todos os tokens dentro do span do grupo de drogas.
  • Testaram se a informação semântica já estava presente no espaço de embeddings (antes da camada 0).

3. Principais Contribuições e Resultados

• Codificação Precoce do Conhecimento:

  • As camadas iniciais do modelo (especificamente as primeiras 10 camadas) desempenham um papel crucial no armazenamento e propagação do conhecimento sobre grupos de drogas.
  • Intervenções nestas camadas iniciais têm efeitos causais significativos na saída do modelo.

• Localização da Informação: Tokens Intermediários vs. Finais:

  • Diferentemente de descobertas anteriores sobre conhecimento factual geral (onde o token final do sujeito é o mais crítico), neste estudo farmacológico, os tokens intermediários dentro do span do grupo de drogas geraram os efeitos causais mais fortes.
  • O token final do grupo de drogas não foi o principal responsável pela representação do conceito.

• Representação Distribuída (Distributed Representations):

  • As sondas lineares treinadas em tokens individuais tiveram desempenho próximo ao acaso (chance), indicando que a semântica farmacológica não está alinhada a um único token.
  • Em contraste, as sondas treinadas em representações somadas (sum-pooled) alcançaram precisão máxima. Isso demonstra que a semântica é uma propriedade emergente da agregação de informações através de múltiplos tokens.

• Presença no Espaço de Embeddings:

  • A informação semântica sobre grupos de drogas já estava presente e linearmente separável no espaço de embeddings (antes mesmo da primeira camada de transformação), sugerindo que a informação é codificada desde o início do processamento.

• Comparação de Modelos:

  • Modelos baseados em Llama (incluindo versões instruídas e ajustadas para biomedicina, como OpenBioLLM) demonstraram desempenho superior e padrões de representação consistentes, enquanto o BioGPT teve desempenho inferior.

4. Significância e Conclusão

Este trabalho fornece a primeira análise mecânica sistemática do conhecimento farmacológico em LLMs. Os resultados desafiam a noção de que o conhecimento é armazenado em tokens finais ou em camadas profundas isoladas. Em vez disso, sugerem que:

1. A farmacologia é codificada de forma distribuída e precoce na rede.
2. A compreensão de conceitos complexos em biomedicina surge da integração de informações através de múltiplos tokens, e não de representações localizadas.

Essas descobertas são fundamentais para desenvolver ferramentas de IA mais transparentes e confiáveis para a descoberta de medicamentos, permitindo intervenções mais precisas e uma melhor compreensão de como os modelos "pensam" sobre conceitos biológicos.