Surrogate modeling for interpreting black-box LLMs in medical predictions

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são treinados em conjuntos de dados massivos e codificam um conhecimento extenso do mundo real em seus parâmetros. No entanto, sua natureza de "caixa preta" torna o mecanismo de codificação desse conhecimento inacessível, dificultando a explicabilidade e a compreensão de como o modelo chega a certas conclusões.

• Desafios Críticos: Em domínios de alto risco, como a saúde, a falta de transparência impede a confiança e a responsabilidade. Além disso, há preocupações de que os LLMs perpetuem alucinações e vieses sociais (como racismo ou preconceito de gênero) presentes em seus dados de treinamento.
• Limitação Atual: Métodos existentes de explicação (como prompting direto) muitas vezes produzem respostas inconsistentes e não conseguem quantificar sistematicamente a extensão dos vieses ou a precisão do conhecimento médico codificado no modelo.

2. Metodologia: Framework de Modelagem de Substituição (Surrogate Modeling)

Os autores propõem um framework inovador para quantificar e explicar o conhecimento codificado em LLMs através de modelagem de substituição. A ideia central é aproximar o espaço de conhecimento complexo e ininteligível do LLM usando um modelo estatístico simples e interpretável, treinado nas respostas do próprio LLM.

O processo é dividido em três etapas principais:

1. Geração de Conjunto de Dados Simulado:

   • Define-se uma hipótese-alvo baseada em conhecimento de domínio (ex: "Quais fatores predizem risco cardiovascular?").
   • Selecionam-se variáveis de entrada relevantes (ex: idade, sexo, creatinina, raça) e atribuem-se distribuições de probabilidade (ex: log-normal) para cobrir estados fisiológicos normais e anormais.
   • Gera-se um conjunto de dados simulado extenso (ex: 20.000 casos) via amostragem aleatória.

2. Obtenção de Respostas do LLM:

   • Cada amostra simulada é convertida em um prompt estruturado para o LLM.
   • O LLM é consultado extensivamente (zero-shot) para gerar previsões ou estimativas (ex: risco de doença cardiovascular em 10 anos, taxa de filtração glomerular - eGFR).
   • Para cada amostra, coletam-se múltiplas respostas para garantir robustez.

3. Modelagem Estatística (O Modelo de Substituição):

   • Os pares de (Entrada Simulada, Resposta do LLM) são usados para treinar um modelo estatístico simples (ex: regressão linear ou regressão linear log-transformada).
   • O modelo estatístico resultante atua como o "surrogate" (substituto), onde os coeficientes de regressão quantificam como o LLM "percebe" a relação entre cada variável de entrada e a saída.
   • Técnicas como SHAP (SHapley Additive exPlanations) são aplicadas para explicar a contribuição de cada variável em nível individual.

3. Contribuições Principais

• Framework Quantitativo de Interpretação: Introduz uma metodologia sistemática para transformar o comportamento de caixa preta de LLMs em fórmulas estatísticas explicáveis.
• Detecção de Vieses e Inconsistências: Demonstra que a modelagem de substituição pode revelar vieses raciais e inconsistências médicas que passariam despercebidas em consultas pontuais ao modelo.
• Estabilidade e Eficiência: O modelo de substituição oferece saídas determinísticas (resolvendo a inconsistência de respostas do LLM) e é 900 a 2100 vezes mais rápido na inferência do que chamar a API do LLM diretamente.
• Ferramenta Acessível: Os autores disponibilizaram uma ferramenta online (llm-surrogate.com) para que outros pesquisadores possam aplicar esse framework.

4. Resultados dos Experimentos (Prova de Conceito)

O framework foi testado em quatro cenários médicos:

• Experimento 1: Predição de Risco Cardiovascular (CVD)

  • O modelo de substituição para GPT-4, Claude-3.5-Sonnet e Gemini-1.5-Pro superou as ferramentas tradicionais (PCE e Framingham) na predição de eventos cardiovasculares maiores (MACE) no UK Biobank (C-index de 0.736 a 0.740 vs. 0.726 do PCE).
  • Inconsistências Detectadas: Houve variações significativas entre os modelos. Por exemplo, o coeficiente para a relação cintura-quadril foi positivo em GPT-4 e Claude, mas negativo e estatisticamente insignificante no Gemini, indicando conhecimento codificado incorreto ou inconsistente.

• Experimento 2: Estimativa de Taxa de Filtração Glomerular (eGFR)

  • O estudo investigou se os LLMs ainda utilizavam equações baseadas em raça (cientificamente refutadas).
  • Viés Racial Quantificado: O GPT-4 e o Claude-3.5-Sonnet mostraram coeficientes para "Raça Negra" que aumentavam a estimativa de eGFR em 15,3% e 22,7%, respectivamente, em comparação com brancos. O coeficiente do Claude foi até maior do que o da antiga equação CKD-EPI de 2009 (que foi descontinuada). O Gemini-1.5-Pro mostrou um viés muito menor (1,008).
  • Isso confirma que o viés racial persiste no conhecimento codificado, mesmo após atualizações de diretrizes médicas.

• Experimentos 3 & 4: Risco de AVC e Função Pulmonar

  • Resultados consistentes com os anteriores: o framework quantificou associações e revelou que os LLMs continuam a aplicar ajustes baseados em raça na estimativa de função pulmonar (FVC, FEV1), subestimando a capacidade pulmonar de indivíduos negros, uma prática já condenada por sociedades médicas.

5. Significado e Conclusão

O estudo demonstra que a modelagem de substituição é uma ferramenta poderosa para "abrir a caixa preta" dos LLMs na medicina.

• Sinalizador de Alerta (Red-Flag): O framework serve como um mecanismo de verificação para identificar vieses perigosos e conhecimentos médicos incorretos antes da implantação de modelos em cenários clínicos.
• Superioridade sobre Consultas Diretas: Diferente de prompts diretos que sofrem de inconsistência ("streaking") e dependem da formulação da pergunta, o modelo de substituição oferece uma representação determinística, rápida e estatisticamente robusta do conhecimento do LLM.
• Implicações Éticas: A descoberta de que modelos avançados ainda codificam racismo científico (como ajustes de raça na função renal e pulmonar) sublinha a necessidade urgente de mitigação (ex: Reinforcement Learning with Human Feedback) e de auditoria contínua dos dados de treinamento.

Em resumo, o artigo oferece um método prático e escalável para transformar LLMs de caixas pretas em sistemas mais transparentes, seguros e confiáveis para aplicações de saúde.