Eliciting associations between clinical variables from LLMs via comparison questions across populations

Resumo Técnico: Elicitação de Associações entre Variáveis Clínicas a partir de LLMs via Perguntas de Comparação

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) são treinados em vasta literatura biomédica que abrange diversas populações de pacientes, potencialmente codificando estruturas complexas de correlação e causalidade entre variáveis clínicas. No entanto, consultar diretamente LLMs por relações estatísticas específicas (por exemplo, "Qual é a correlação entre X e Y na população Z?") está repleto de armadilhas. A elicitação direta frequentemente produz respostas baseadas em recordação específica em vez de conhecimento agregado, sofre de sycophancy (ajuste às crenças percebidas do usuário), é sensível à ordem do prompt e pode produzir saídas alucinadas ou racionalizadas post hoc. Além disso, os LLMs não podem ser tratados como agentes autorreflexivos; devem ser tratados como sujeitos experimentais cujas representações internas são inferidas através do comportamento. O desafio é recuperar estruturas de associação significativas e potenciais links causais a partir de LLMs sem acesso às suas ativações internas ou pesos, ao mesmo tempo que se considera variações específicas da população.

Metodologia
Os autores propõem um framework que trata o LLM como um sujeito experimental, utilizando perguntas de comparação estruturadas para inferir correlações implícitas e aplicando Predição Causal Invariante (ICP) para identificar candidatos causais robustos.

1. Perguntas de Comparação de Tripleto:
   Em vez de solicitar uma correlação numérica, o método consulta o LLM com perguntas de triplo envolvendo três pacientes artificiais (1, 2 e 3).

   • Configuração: Para um par de variáveis $X_j$ e $X_k$, os valores de $X_j$ são especificados para todos os três pacientes. O valor de $X_k$ é especificado apenas para o Paciente 3.
   • Tarefa: O LLM é questionado se o Paciente 3 é mais semelhante ao Paciente 1 ou ao Paciente 2, levando em consideração o valor de $X_k$.
   • Mecanismo: Ao variar sistematicamente os valores de $X_k$ para o Paciente 3 enquanto mantém os pacientes de referência constantes, o método observa como o "equilíbrio" da decisão de similaridade se desloca. Se $X_j$ e $X_k$ estiverem fortemente correlacionados na representação do LLM, o valor de $X_k$ influenciará significativamente a decisão.

2. Modelo de Decisão Surrogado:
   As respostas binárias (Paciente 1 vs. Paciente 2) são modeladas usando um surrogado estatístico. Os autores assumem uma representação "racional" do LLM onde o modelo realiza uma estimativa de variância inversa para prever o estado verdadeiro de um paciente com base em medições ruidosas e pistas indiretas.

   • A probabilidade de escolher o Paciente 2 é modelada como uma função logística da diferença entre o estado estimado do Paciente 3 e um ponto médio de referência.
   • Os coeficientes logísticos ajustados ($\beta$) estão matematicamente relacionados à correlação populacional subjacente ($\rho$).
   • Estimador Simétrico: Para eliminar termos de incômodo relacionados ao escalonamento de variáveis e ao peso relativo das pistas, o método inverte os papéis de $X_j$ e $X_k$ em um segundo conjunto de consultas. A correlação é recuperada a partir do produto das razões de inclinação das duas consultas direcionais, produzindo uma estimativa simétrica $\hat{\rho}$.

3. Deslocamentos de Ambiente Prompts e ICP:
   Para avançar da correlação para a inferência causal, o método emprega Predição Causal Invariante (ICP).

   • Ambientes Sintéticos: Os autores criam diferentes "ambientes" variando o texto do prompt para especificar subpopulações distintas (por exemplo, diferentes valores médios para variáveis específicas como histórico de tabagismo ou exposição à poluição do ar).
   • Aplicação do ICP: Matrizes de correlação são estimadas para cada ambiente solicitado. O ICP testa subconjuntos de preditores candidatos para ver se suas inclinações de regressão sobre uma variável alvo permanecem invariantes através desses ambientes. Correlações espúrias geralmente quebram sob deslocamentos de distribuição, enquanto verdadeiros links causais permanecem estáveis.
   • Filtragem Conservadora: Uma variável é mantida como um candidato a pai apenas se não puder ser excluída de nenhum conjunto invariante, garantindo um conjunto conservador de candidatos causais.

Principais Contribuições

• Extração Baseada em Tripleto: Um framework inovador para recuperar correlações pares a partir de julgamentos de similaridade de LLMs sem exigir acesso aos internos do modelo (ativações ou pesos).
• Ambientes Prompts para Avaliação Causal: Um método para estimar correlações específicas do ambiente manipulando descrições de prompts de subpopulações, permitindo a aplicação do ICP a dados derivados de LLMs.
• Demonstração Clínica: Validação em dois domínios clínicos distintos: Doença Pulmonar Obstrutiva Crônica (DPOC) e Esclerose Múltipla (EM).

Resultados
O método foi avaliado utilizando os modelos gpt-oss-120b e gpt-oss-20b da OpenAI em conjuntos de dados de DPOC (marcadores de função pulmonar) e EM (biomarcadores e escalas clínicas).

• Ajuste do Modelo e Estabilidade: O modelo de decisão surrogado ajustou-se bem às respostas binárias de triplo. As superfícies de decisão foram suaves e monotônicas, com fronteiras de decisão consistentes com os sinais de correlação esperados (por exemplo, inclinações negativas para pares positivamente correlacionados).
• Plausibilidade Clínica:
  • DPOC: As correlações extraídas mostraram uma estrutura forte e coerente. Variáveis de espirometria (FEV1, FEV1/FVC) formaram um bloco compacto, e relações fisiológicas conhecidas (por exemplo, associação negativa entre FEV1/FVC e métricas de aprisionamento de ar) foram recuperadas.
  • EM: As correlações foram geralmente mais fracas do que na DPOC, provavelmente devido a literatura mais esparsa ou mais heterogênea nos dados de treinamento. No entanto, pares estabelecidos (por exemplo, T25FW e T2-LV) foram recuperados.
• Comparação com Consultas Diretas: As estimativas baseadas em triplo foram significativamente menos ruidosas e mais estáveis do que consultas numéricas diretas. Consultas diretas produziram distribuições dispersas (desvios padrão de 0,1 a 0,3) e foram menos sensíveis a deslocamentos de ambiente, enquanto as estimativas de triplo variaram adequadamente entre ambientes, um pré-requisito para o ICP.
• Inferência Causal (ICP):
  • DPOC: O ICP identificou um pequeno conjunto de pais candidatos conservadores: anos-pacote $\to$ DLCO, PM2.5 $\to$ TLC e IMC $\to$ R5-R20. Estes alinham-se com o conhecimento clínico estabelecido (por exemplo, tabagismo reduzindo a capacidade de difusão).
  • EM: O ICP identificou o volume de buracos negros T1 como um pai do EDSS e sGFAP como um pai do 9HPT, consistente com evidências meta-analíticas sobre carga de lesões e incapacidade.
• Robustez: As estimativas foram estáveis entre diferentes escolhas de valores de referência e mostraram estrutura relativa consistente entre tamanhos de modelo (120b vs. 20b), embora o modelo menor tenha produzido magnitudes de correlação absoluta ligeiramente menores.

Significância e Alegações
O artigo afirma que a elicitação indireta via comparações de triplo oferece uma "rota cautelosa" das correlações implícitas em LLMs para declarações causais que são congruentes com os padrões de resposta do modelo. A significância reside em:

1. Superando Limitações de Consultas Diretas: O método evita a alucinação e a sycophancy associadas a consultas numéricas diretas, confiando em julgamentos de similaridade relativa.
2. Sondagem Comportamental: Trata LLMs como sujeitos experimentais, inferindo sua representação interna de relações clínicas através de experimentos comportamentais controlados, em vez de assumir que podem auto-relatar a verdade.
3. Descoberta Causal sem Dados: Demonstra um caminho para realizar predição causal invariante usando apenas ambientes "sintéticos" engenheirados por prompts, contornando a necessidade de múltiplos conjuntos de dados clínicos em nível individual, que muitas vezes são difíceis de obter.

Os autores permanecem modestos, observando que o método recupera associações implícitas ao modelo em vez de verdades clínicas empíricas. A tradução de inclinações ajustadas para correlações depende de suposições relacionais específicas, e o estudo limita-se a dois domínios e a um conjunto específico de modelos. Não obstante, o framework fornece uma ferramenta exploratória viável para sondar a estrutura de associação representada dentro de LLMs.