Optimizing Large Language Models for Causality Assessment in Pharmacovigilance: Developing a Performance Metric as Objective for Bayesian Hyperparameter Optimization

Resumen Técnico: Optimización de Modelos de Lenguaje de Gran Escala para la Evaluación de Causalidad en Farmacovigilancia

Planteamiento del Problema
El volumen de Informes de Seguridad de Casos Individuales (ICSR, por sus siglas en inglés) en el Sistema de Reporte de Eventos Adversos de la FDA (FAFRS) ha aumentado drásticamente, creando una necesidad urgente de una evaluación de causalidad automatizada y escalable. Si bien los Modelos de Lenguaje de Gran Escala (LLM) muestran potencial, su rendimiento en tareas clínicamente exigentes —específicamente en la evaluación de la plausibilidad temporal, causas alternativas y evidencia objetiva del algoritmo de Naranjo— sigue siendo subóptimo para el uso rutinario. Estudios previos que utilizaron LLM biomédicos lograron una concordancia moderada con expertos humanos, pero no lograron resolver desafíos específicos como la detección de la "lista" (listedness) o el juicio clínico complejo. Además, el potencial de la optimización de hiperparámetros en el tiempo de inferencia, específicamente el ajuste de la temperatura, para mejorar el rendimiento de los LLM en este dominio no había sido investigado. Una barrera crítica para dicha optimización es la falta de una métrica de rendimiento compatible con Procesos Gaussianos (GP): las medidas existentes (acuerdo binario, calificaciones ordinales o similitud de coseno bruta) no logran capturar los matices de la calidad de la salida de los LLM o introducen sesgos estructurales específicos de la naturaleza dispersa y basada en plantillas de los datos de reporte espontáneo.

Metodología
El estudio empleó un enfoque de múltiples etapas para desarrollar un marco de optimización y evaluar su eficacia:

1. Curación de Datos: Se seleccionó un subconjunto estratificado de 723 casos de FAERS de un grupo mayor de 55,177 casos (derivados de datos de Q1-Q2 2025). Los casos se mapearon a clasificaciones de la Clasificación Anatómica Terapéutica Química (ATC) y términos de Alto Nivel de Grupo (HLGT) de MedDRA para asegurar la diversidad.
2. Estándar de Oro de Expertos: Cuatro evaluadores (tres candidatos de maestría y un médico) evaluaron los 723 casos utilizando el Algoritmo de Naranjo, proporcionando tanto puntuaciones numéricas como texto de razonamiento. Los desacuerdos se resolvieron mediante consenso para establecer un estándar de oro humano.
3. Evaluación Automatizada: Se evaluó GPT-5.2 de OpenAI utilizando el prompting de Cadena de Pensamiento (CoT). El modelo generó puntuaciones y razonamientos para todas las preguntas de Naranjo.
4. Desarrollo de Métricas: Se diseñaron cuatro métricas compuestas compatibles con GP para servir como objetivos de optimización:
   • Similitud de Coseno Ponderada (WCS): Combina la similitud de razonamiento y el acuerdo de puntuación con una ponderación igual.
   • Puntuación de Acuerdo Ponderada por Información (IWAS): Pondera el acuerdo de puntuación binaria mediante la entropía de Shannon normalizada, reduciendo el peso de las preguntas sin variabilidad de puntuación.
   • Puntuación de Similitud de Coseno y Acuerdo Ponderada por Entropía (EWACS): Integra la similitud de razonamiento con la ponderación basada en la entropía, reteniendo el componente de coseno para preguntas informativas.
   • Similitud de Coseno Ponderada por Consenso (CWCS): Una métrica multiplicativa acotada diseñada específicamente para la estabilidad de los GP, que combina el acuerdo de puntuación suave con la similitud de razonamiento reescalada.
5. Optimización Bayesiana: Se utilizó un modelo sustituto de Proceso Gaussiano con un núcleo Matérn 5/2 y una función de adquisición de Probabilidad de Mejora (PoI) para buscar en el espacio de temperatura ($T \in [0, 2]$). Los experimentos incluyeron barridos de cuadrícula (grid sweeps), optimización dentro del caso y validación cruzada utilizando un Estimador de Parzen Estructurado en Árbol (TPE).

Contribuciones Clave

• Formulación de Métricas: El artículo introduce cuatro métricas novedosas adaptadas a las restricciones de los datos de farmacovigilancia. Identifica a EWACS como la métrica óptima para este contexto, demostrando que la ponderación por entropía es necesaria para evitar que los objetivos de optimización sean dominados por preguntas con cero variabilidad de puntuación de los expertos (preguntas 6–9).
• Investigación de Hiperparámetros: Es el primer estudio que investiga la optimización de la temperatura en el tiempo de inferencia para la evaluación de causalidad basada en LLM, yendo más allá de las configuraciones base estáticas.
• Benchmarking de Rendimiento: El estudio establece una nueva línea base para GPT-5.2, mostrando que supera a los LLM biomédicos previos (ej. MedLlama3-8B) en el algoritmo de Naranjo, incluso antes de la optimización.

Resultados

• Rendimiento Base: En la base ($T=0$), GPT-5.2 alcanzó un 74.1% de acuerdo en la Pregunta 5 (causas alternativas) y un 65.4% en la Pregunta 10 (evidencia objetiva), superando a modelos biomédicos anteriores. Sin embargo, el acuerdo de clasificación general fue del 45.0%.
• Análisis de Entropía: El análisis de los 723 casos reveló que las Preguntas 7–9 tenían cero entropía de experto (puntuaciones uniformes), y las Preguntas 6–9 tenían plantillas de razonamiento de expertos casi idénticas. En consecuencia, las Preguntas 5 y 10 fueron los únicos objetivos informativos para la optimización.
• Efectos de la Temperatura:
  • Nivel de Población: No se encontró un efecto sistemático de la temperatura en el acuerdo a nivel de población ($\beta \approx 0, p > 0.9$). La relación entre la temperatura y la calidad de la salida no es universal; no existe una temperatura óptima única para todos los casos.
  • Optimización Específica de Caso: A pesar de la falta de un óptimo universal, la optimización de la temperatura guiada por EWACS mejoró el acuerdo de clasificación de causalidad general del 45.0% al 72.0% (+27 puntos porcentuales).
  • Ganancias Dirigidas: La mejora fue más pronunciada para los casos "Dudosos" (+42.9 pp) y "Posibles" (+18.5 pp), corrigiendo eficazmente los sesgos sistemáticos donde el modelo base ($T=0$) sobreclasificaba los casos como "Probables".
• Comparación de Métricas: Mientras que CWCS proporcionó una superficie de respuesta más suave para el GP, EWACS produjo resultados de clasificación superiores porque se alineó mejor con el punto final específico de la clasificación de Naranjo al aprovechar la entropía para centrarse en las preguntas informativas.

Significado y Reivindicaciones
Los autores afirman que el estudio demuestra la viabilidad de la optimización de la temperatura específica de cada caso como una estrategia para mejorar la farmacovigilancia asistida por LLM, incluso ante la ausencia de un óptimo de temperatura universal. Los hallazgos sugieren que el rendimiento de los LLM en este dominio está impulsado principalmente por el contenido de la narrativa del caso más que por la estocasticidad de la generación. Al dirigir la búsqueda de optimización al nivel de caso individual, el marco puede corregir los sesgos de razonamiento sistemáticos (ej. sobreestimar la plausibilidad temporal o subestimar la evidencia objetiva) que afectan a las bases deterministas.

El documento postula que la brecha de rendimiento atribuida anteriormente a la necesidad de un entrenamiento específico del dominio ha sido cerrada en gran medida por los avances en los LLM de propósito general (GPT-5.2 superó a los modelos biomédicos especializados). El marco propuesto se presenta como un enfoque agnóstico al modelo que puede extenderse a otros hiperparámetros y fuentes de datos más ricas (como los datos de ensayos clínicos donde están presentes las líneas de tiempo de la terapia y los registros de interrupción), ofreciendo una vía hacia flujos de trabajo híbridos de soporte a la decisión donde las herramientas automatizadas manejan los casos claros y marcan los ambiguos para la revisión humana.