Resumo Técnico: Atalhos Morfológicos por LLMs em Farmacologia

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) frequentemente generalizam a partir da estrutura morfológica das palavras (prefixos, sufixos e radicais) para inferir significados. Embora essa capacidade espelhe o processamento linguístico humano, ela impõe riscos significativos de segurança em domínios de alto risco, como a farmacologia. Na medicina, a nomenclatura de fármacos é altamente sistemática; o sistema de Nomes Internacionais Não Proprietários (INN) da Organização Mundial da Saúde padroniza afixos para sinalizar classes farmacológicas ou químicas específicas. Este artigo investiga se os LLMs dependem desses "atalhos" morfológicos para gerar conteúdo clínico confiável e plausível para fármacos fictícios, o que pode levar a uma perigosa sobregeneralização e alucinação. Diferente de trabalhos anteriores focados em produtividade linguística, este estudo examina as consequências no mundo real de tais inferências em ambientes médicos sensíveis à segurança.

Metodologia

1. Estímulos e Construção do Conjunto de Dados

Os autores construíram um conjunto de dados controlado utilizando 655 afixos médicos da lista da American Medical Association (AMA). Eles criaram três condições de estímulo paralelas para cada afixo:

• Fármacos Reais: Medicamentos atestados (ex: ampicilina).
• Fármacos Falsos: Radicais nonce (inventados) combinados com afixos farmacológicos reais (ex: dimicilina, onde "dimi-" é um radical nonce e "-cilin" é um afixo antibiótico real).
• Palavras Nonce: Radicais nonce combinados com afixos nonce de mesmo comprimento (ex: dimiglimto), servindo como um controle sem morfologia farmacológica.

2. Análise Comportamental

O estudo avaliou nove LLMs (incluindo Llama-3.1, Gemini, GPT-5-mini, OLMo, Qwen2.5 e variantes especializadas em medicina) através de duas tarefas:

• Múltipla Escolha (MC): Os modelos selecionam entre uma definição consistente com o afixo, distratores e uma opção de "fármaco inexistente".
• Aberta (OE): Os modelos respondem a consultas naturais de usuários (ex: "O {fármaco} é eficaz para tratar {condição}?"). Um juiz LLM (Claude-Sonnet-4.5) avaliou se as respostas trataram os fármacos fictícios como reais.

3. Estrutura de Diagnóstico

Para determinar a origem do conhecimento de um modelo (afixo, radical ou holístico), os autores introduziram uma estrutura baseada em perturbação. Para cada fármaco real ($RR$), eles geraram variantes substituindo o radical ($NR$), o afixo ($RN$) ou ambos ($NN$) por formas nonce. Eles definiram três pontuações normalizadas:

• Pontuação do Afixo: A contribuição do afixo isoladamente para a previsão do modelo.
• Pontuação do Radical: A contribuição do radical isoladamente.
• Pontuação Holística: O efeito de interação (sinergia) entre o radical e o afixo corretos.

4. Análise Mecanística

Utilizando activation patching e Distributed Alignment Search (DAS) no OLMo-3-7B-Instruct e Qwen2.5-7B-Instruct, os autores localizaram os mecanismos causais que impulsionam o comportamento dependente de afixos. Eles mediram como a restauração de sinais morfológicos em entradas corrompidas afetava as probabilidades dos tokens alvo e identificaram direções direcionáveis nas representações internas do modelo.

Principais Resultados

Descobertas Comportamentais

• Generalização Impulsionada pelo Afixo: Os modelos trataram consistentemente fármacos fictícios (Falsos) como reais, selecionando definições consistentes com o afixo e gerando conteúdo clínico confiante. Esse comportamento foi significativamente mais forte do que as respostas a palavras nonce, confirmando que estruturas de afixos válidas impulsionam a aceitação.
• Variância de Modelo: Modelos especializados em medicina (ex: Meditron3-7B, HuatuoGPT) exibiram a sobregeneralização mais forte, muitas vezes tratando entradas Falsas, Reais e até nonce de forma semelhante como medicamentos válidos. Modelos maiores (ex: Llama-3.1-70B) mostraram maior generalização em tarefas de múltipla escolha.
• Raciocínio Silencioso: Na tarefa de múltipla escolha (MC), os modelos frequentemente selecionaram definições consistentes com o afixo sem mencionar explicitamente o afixo em suas explicações. Isso sugere que pistas morfológicas operam implicitamente, com explicações de superfície servindo como racionalizações post-hoc.
• Conflito Factual: Nas tarefas de resposta aberta (OE), os modelos frequentemente confundiram propriedades entre diferentes fármacos que compartilham o mesmo afixo (ex: atribuindo os mecanismos de um fármaco "-ciclib" a outro), levando a conselhos médicos plausíveis, mas factualmente incorretos.

Descobertas da Estrutura de Diagnóstico

• Prevalência da Dependência de Afixos: Em 653 fármacos, uma grande proporção do comportamento do modelo foi impulsionada principalmente por pistas de afixos, em vez de conhecimento específico do fármaco de forma holística.
• Dependência de Tarefa: Nas tarefas de MC, os modelos confiaram fortemente na semântica do afixo para categorização. Nas tarefas de OE, a dependência mudou para o conhecimento holístico, embora os erros impulsionados pelo afixo tenham persistido.
• Correlação de Treinamento: Sinais holísticos correlacionaram-se positivamente com a frequência do fármaco no corpus de treinamento, enquanto sinais morfológicos (afixo/radical) mostraram correlações negativas, sugerindo que fármacos de baixa frequência são mais suscetíveis a atalhos morfológicos.

Descobertas Mecanísticas

• Localização: O activation patching revelou que heurísticas impulsionadas por afixos estão localizadas nas camadas iniciais a intermediárias (aproximadamente camadas 2 a 10) do transformer.
• Mecanismo de Dois Estágios: A informação do afixo é primeiro integrada na representação do sujeito nas camadas iniciais e, posteriormente, propagada para o token de previsão final.
• Controle Causal: O DAS identificou direções de baixo posto nessas camadas iniciais-intermediárias que poderiam modular bidirecionalmente a dependência do afixo. Direcionar essas direções poderia inverter as previsões do modelo de "consistente com o afixo" para "inexistente" e vice-versa, confirmando um elo causal.
• Dinâmica de Treinamento: Sinais de classe impulsionados por afixos surgiram cedo durante o treinamento e generalizaram robustamente para fármacos falsos, enquanto representações holísticas surgiram mais tarde e permaneceram ligadas a identidades específicas de fármacos.

Significância e Alegações

O artigo argumenta que atalhos morfológicos representam um risco sutil, mas mensurável, para a confiabilidade de LLMs em contextos médicos. As principais alegações incluem:

1. Natureza Sistemática: Atalhos impulsionados por afixos não são erros aleatórios, mas comportamentos sistemáticos onde os modelos induzem o significado do fármaco principalmente através de pistas morfológicas, muitas vezes sem indicação explícita.
2. Implicações de Segurança: Esses atalhos permitem que os modelos gerem conteúdo clínico confiável e de aparência plausível para fármacos inexistentes, potencialmente levando a desinformação perigosa. A dependência da morfologia é frequentemente invisível ao nível da saída, tornando difícil a detecção através de auditorias de saída padrão.
3. Transparência Mecanística: O estudo demonstra que esses comportamentos podem ser mecanicamente localizados e controlados causalmente usando os internos do modelo, oferecendo um alvo para futuras intervenções de segurança e ferramentas de auditoria.
4. Limitações: Os autores observam que sua estrutura de diagnóstico requer acesso às probabilidades de tokens (logits), limitando a análise a modelos de código aberto ou transparentes. Além disso, experimentos mecanísticos foram realizados em modelos de escala 7B, e a generalização para arquiteturas maiores permanece uma questão aberta.

O trabalho fornece uma estrutura para auditar o comportamento de LLMs médicos e destaca a necessidade de distinguir entre o conhecimento farmacológico genuíno e a extrapolação de forma superficial em aplicações críticas de segurança.