Optimizing Large Language Models for Causality Assessment in Pharmacovigilance: Developing a Performance Metric as Objective for Bayesian Hyperparameter Optimization

Resumo Técnico: Otimização de Grandes Modelos de Linguagem para Avaliação de Causalidade em Farmacovigilância

Definição do Problema
O volume de Relatórios de Casos Individuais de Segurança (ICSRs) no sistema de Relato de Eventos Adversos do FDA (FAERS) aumentou drasticamente, criando uma necessidade urgente de avaliação de causalidade escalável e automatizada. Embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa, seu desempenho em tarefas clinicamente exigentes — especificamente o algoritmo de Naranjo na avaliação de plausibilidade temporal, causas alternativas e evidência objetiva — permanece subótimo para uso rotineiro. Estudos anteriores utilizando LLMs biomédicos alcançaram concordância moderada com especialistas humanos, mas falharam em resolver desafios específicos, como a detecção de listagem ou o julgamento clínico complexo. Além disso, o potencial da otimização de hiperparâmetros em tempo de inferência, especificamente o ajuste de temperatura, para melhorar o desempenho dos LLMs neste domínio, não havia sido investigado. Uma barreira crítica para tal otimização é a falta de uma métrica de desempenho compatível com Processos Gaussianos (GP): as medidas existentes (concordância binária, classificações ordinais ou similaridade de cosseno bruta) ou falham em capturar as nuances da qualidade da saída do LLM ou introduzem vieses estruturais específicos da natureza esparsa e baseada em modelos dos dados de relatos espontâneos.

Metodologia
O estudo empregou uma abordagem de múltiplos estágios para desenvolver um framework de otimização e avaliar sua eficácia:

1. Curadoria de Dados: Um subconjunto estratificado de 723 casos do FAERS foi selecionado de um pool maior de 55.177 casos (derivados de dados de Q1-Q2 2025). Os casos foram mapeados para classificações de Código Anatômico, Terapêutico e Químico (ATC) e Termos de Alto Nível de Grupo MedDRA (HLGTs) para garantir diversidade.
2. Padrão-Ouro de Especialistas: Quatro avaliadores (três candidatos de mestrado e um médico) avaliaram os 723 casos usando o Algoritmo de Naranjo, fornecendo tanto pontuações numéricas quanto texto de raciocínio. As divergências foram resolvidas via consenso para estabelecer um padrão-ouro humano.
3. Avaliação Automatizada: O GPT-5.2 da OpenAI foi avaliado utilizando prompting de Cadeia de Pensamento (Chain-of-Thought - CoT). O modelo gerou pontuações e raciocínios para todas as questões de Naranjo.
4. Desenvolvimento de Métricas: Quatro métricas compostas e compatíveis com GP foram projetadas para servir como objetivos de otimização:
   • Similaridade de Cosseno Ponderada (WCS): Combina similaridade de raciocínio e concordância de pontuação com peso igual.
   • Pontuação de Concordância Ponderada por Informação (IWAS): Pondera a concordância de pontuação binária pela entropia de Shannon normalizada, reduzindo o peso de questões sem variabilidade de pontuação.
   • Pontuação de Concordância e Similaridade de Cosseno Ponderada por Entropia (EWACS): Integra a similaridade de raciocínio com ponderação baseada em entropia, mantendo o componente de cosseno para questões informativas.
   • Similaridade de Cosseno Ponderada por Consenso (CWCS): Uma métrica multiplicativa limitada, projetada especificamente para a estabilidade do GP, combinando concordância de pontuação suave com similaridade de raciocínio reescalonada.
5. Otimização Bayesiana: Um modelo substituto de Processo Gaussiano com um kernel Matérn 5/2 e função de aquisição de Probabilidade de Melhoria (PoI) foi utilizado para buscar o espaço de temperatura ($T \in [0, 2]$). Os experimentos incluíram varreduras de grade (grid sweeps), otimização dentro do caso e validação cruzada usando um Estimador de Parzen Estruturado em Árvore (TPE).

Principais Contribuições

• Formulação de Métricas: O artigo introduz quatro métricas inovadoras adaptadas às restrições dos dados de farmacovigilância. Identifica o EWACS como a métrica ideal para este contexto, demonstrando que a ponderação por entropia é necessária para evitar que os objetivos de otimização sejam dominados por questões com zero variabilidade de pontuação dos especialistas (questões 6–9).
• Investigação de Hiperparâmetros: É o primeiro estudo a investigar a otimização da temperatura em tempo de inferência para a avaliação de causalidade baseada em LLM, indo além das configurações de linha de base estáticas.
• Benchmarking de Desempenho: O estudo estabelece uma nova linha de base para o GPT-5.2, mostrando que ele supera LLMs biomédicos anteriores (ex: MedLlama3-8B) no algoritmo de Naranjo, mesmo antes da otimização.

Resultos

• Desempenho de Linha de Base: Na linha de base ($T=0$), o GPT-5.2 alcançou 74,1% de concordância na Questão 5 (causas alternativas) e 65,4% na Questão 10 (evidência objetiva), superando modelos biomédicos anteriores. No entanto, a concordância geral de classificação foi de 45,0%.
• Análise de Entropia: A análise dos 723 casos revelou que as Questões 7–9 tiveram entropia zero dos especialistas (pontuações uniformes), e as Questões 6–9 tiveram templates de raciocínio de especialistas quase idênticos. Consequentemente, as Questões 5 e 10 foram os únicos alvos informativos para otimização.
• Efeitos da Temperatura:
  • Nível Populacional: Não foi encontrado nenhum efeito sistemático da temperatura no nível populacional sobre a concordância ($\beta \approx 0, p > 0,9$). A relação entre temperatura e qualidade de saída não é universal; uma única temperatura ótima não existe para todos os casos.
  • Otimização Específica por Caso: Apesar da ausência de um ótimo universal, a otimização guiada por EWACS melhorou a concordância geral de classificação de causalidade de 45,0% para 72,0% (+27 pontos percentuais).
  • Ganhos Direcionados: A melhoria foi mais pronunciada para casos "Duvidosos" (+42,9 pp) e casos "Possíveis" (+18,5 pp), corrigindo efetivamente vieses sistemáticos onde o modelo de linha de base ($T=0$) classificava excessivamente os casos como "Prováveis".
• Comparação de Métricas: Embora a CWCS tenha fornecido uma superfície de resposta mais suave para o GP, a EWACS apresentou resultados de classificação superiores porque se alinhou melhor com o endpoint específico da classificação de Naranjo ao utilizar a entropia para focar em questões informativas.

Significância e Alegações
Os autores alegam que o estudo demonstra a viabilidade da otimização de temperatura específica por caso como uma estratégia para aumentar a avaliação de causalidade assistida por LLM, mesmo na ausência de um ótimo de temperatura universal. Os achados sugerem que o desempenho do LLM neste domínio é impulsionado principalmente pelo conteúdo da narrativa do caso, e não pela estocasticidade da geração. Ao direcionar a busca de otimização ao nível do caso individual, o framework pode corrigir vieses sistemáticos de raciocínio (ex: superestimar a plausibilidade temporal ou subestimar a evidência objetiva) que assolam as linhas de base determinísticas.

O artigo postula que a lacuna de desempenho anteriormente atribuída à necessidade de treinamento específico de domínio foi amplamente fechada pelos avanços nos LLMs de propósito geral (o GPT-5.2 superou modelos biomédicos especializados). O framework proposto é apresentado como uma abordagem agnóstica ao modelo que pode ser estendida a outros hiperparâmetros e fontes de dados mais ricas (como dados de ensaios clínicos onde cronogramas de terapia e registros de descontinuação estão presentes), oferecendo um caminho para fluxos de trabalho híbridos de suporte à decisão, onde ferramentas automatizadas lidam com casos claros e sinalizam aqueles ambíguos para revisão humana.