Eliciting associations between clinical variables from LLMs via comparison questions across populations

Resumen Técnico: Obtención de Asociaciones entre Variables Clínicas a partir de Modelos de Lenguaje Grande (LLM) mediante Preguntas de Comparación

Enunciado del Problema
Los Modelos de Lenguaje Grande (LLM) se entrenan sobre una vasta literatura biomédica que abarca poblaciones de pacientes diversas, codificando potencialmente estructuras complejas de correlación y causalidad entre variables clínicas. Sin embargo, consultar directamente a los LLM para obtener relaciones estadísticas específicas (por ejemplo, "¿Cuál es la correlación entre X e Y en la población Z?") está lleno de riesgos. La obtención directa a menudo produce respuestas basadas en un recuerdo específico en lugar de conocimiento agregado, sufre de adulación (ajuste a las creencias percibidas del usuario), es sensible al orden de las indicaciones (prompts) y puede generar salidas alucinatorias o racionalizadas a posteriori. Además, los LLM no pueden tratarse como agentes autoreflectivos; deben considerarse sujetos experimentales cuyas representaciones internas se infieren a través de su comportamiento. El desafío consiste en recuperar estructuras de asociación significativas y posibles vínculos causales de los LLM sin acceso a sus activaciones internas o pesos, mientras se tienen en cuenta las variaciones específicas de la población.

Metodología
Los autores proponen un marco que trata al LLM como un sujeto experimental, utilizando preguntas de comparación estructuradas para inferir correlaciones implícitas y aplicando la Predicción Causal Invariante (ICP) para identificar candidatos causales robustos.

1. Preguntas de Comparación de Tripletes:
   En lugar de solicitar una correlación numérica, el método consulta al LLM con preguntas de triplete que involucran a tres pacientes artificiales (1, 2 y 3).

   • Configuración: Para un par de variables $X_j$ y $X_k$, los valores de $X_j$ se especifican para los tres pacientes. El valor de $X_k$ se especifica solo para el Paciente 3.
   • Tarea: Se le pide al LLM determinar si el Paciente 3 es más similar al Paciente 1 o al Paciente 2, teniendo en cuenta el valor de $X_k$.
   • Mecanismo: Al variar sistemáticamente los valores de $X_k$ para el Paciente 3 mientras se mantienen constantes los pacientes de referencia, el método observa cómo cambia el "equilibrio" de la decisión de similitud. Si $X_j$ y $X_k$ están fuertemente correlacionados en la representación del LLM, el valor de $X_k$ influirá significativamente en la decisión.

2. Modelo de Decisión Sustituto:
   Las respuestas binarias (Paciente 1 vs. Paciente 2) se modelan utilizando un sustituto estadístico. Los autores asumen una representación "racional" del LLM donde el modelo realiza una estimación de varianza inversa para predecir el estado real de un paciente basándose en mediciones ruidosas y pistas indirectas.

   • La probabilidad de elegir al Paciente 2 se modela como una función logística de la diferencia entre el estado estimado del Paciente 3 y un punto medio de referencia.
   • Los coeficientes logísticos ajustados ($\beta$) están matemáticamente relacionados con la correlación poblacional subyacente ($\rho$).
   • Estimador Simétrico: Para eliminar términos de molestia relacionados con la escala de las variables y el peso relativo de las pistas, el método invierte los roles de $X_j$ y $X_k$ en un segundo conjunto de consultas. La correlación se recupera a partir del producto de las razones de las pendientes de las dos consultas direccionales, generando una estimación simétrica $\hat{\rho}$.

3. Desplazamientos de Entorno Inducidos por Prompts y ICP:
   Para avanzar de la correlación a la inferencia causal, el método emplea la Predicción Causal Invariante (ICP).

   • Entornos Sintéticos: Los autores crean diferentes "entornos" variando el texto del prompt para especificar subpoblaciones distintas (por ejemplo, diferentes valores medios para variables específicas como historial de tabaquismo o exposición a la contaminación del aire).
   • Aplicación de ICP: Se estiman matrices de correlación para cada entorno inducido por el prompt. ICP prueba subconjuntos de predictores candidatos para ver si sus pendientes de regresión sobre una variable objetivo permanecen invariantes a través de estos entornos. Las correlaciones espurias suelen romperse bajo desplazamientos de distribución, mientras que los vínculos causales verdaderos permanecen estables.
   • Filtrado Conservador: Una variable se retiene como candidato padre solo si no puede ser excluida de ningún conjunto invariante, asegurando un conjunto conservador de candidatos causales.

Contribuciones Clave

• Extracción basada en Tripletes: Un marco novedoso para recuperar correlaciones par de pares a partir de juicios de similitud de LLM sin requerir acceso a los componentes internos del modelo (activaciones o pesos).
• Entornos Inducidos por Prompts para Evaluación Causal: Un método para estimar correlaciones específicas del entorno manipulando las descripciones de subpoblaciones en los prompts, lo que permite aplicar ICP a datos derivados de LLM.
• Demostración Clínica: Validación en dos dominios clínicos distintos: Enfermedad Pulmonar Obstructiva Crónica (EPOC) y Esclerosis Múltiple (EM).

Resultados
El método se evaluó utilizando los modelos gpt-oss-120b y gpt-oss-20b de OpenAI en conjuntos de datos de EPOC (marcadores de función pulmonar) y EM (biomarcadores y escalas clínicas).

• Ajuste del Modelo y Estabilidad: El modelo de decisión sustituto se ajustó bien a las respuestas binarias de tripletes. Las superficies de decisión fueron suaves y monótonas, con límites de decisión consistentes con los signos de correlación esperados (por ejemplo, pendientes negativas para pares correlacionados positivamente).
• Plausibilidad Clínica:
  • EPOC: Las correlaciones extraídas mostraron una estructura fuerte y coherente. Las variables de espirometría (FEV1, FEV1/FVC) formaron un bloque compacto, y se recuperaron relaciones fisiológicas conocidas (por ejemplo, asociación negativa entre FEV1/FVC y métricas de atrapamiento de aire).
  • EM: Las correlaciones fueron generalmente más débiles que en la EPOC, probablemente debido a una literatura más dispersa o heterogénea en los datos de entrenamiento. Sin embargo, se recuperaron pares establecidos (por ejemplo, T25FW y T2-LV).
• Comparación con Consultas Directas: Las estimaciones basadas en tripletes fueron significativamente menos ruidosas y más estables que las consultas numéricas directas. Las consultas directas produjeron distribuciones dispersas (desviaciones estándar de 0.1 a 0.3) y fueron menos sensibles a los desplazamientos de entorno, mientras que las estimaciones de tripletes variaron apropiadamente a través de los entornos, un prerrequisito para ICP.
• Inferencia Causal (ICP):
  • EPOC: ICP identificó un pequeño conjunto de candidatos padres conservadores: años-paquete $\to$ DLCO, PM2.5 $\to$ TLC, e IMC $\to$ R5-R20. Estos se alinean con el conocimiento clínico establecido (por ejemplo, el tabaquismo reduce la capacidad de difusión).
  • EM: ICP identificó el volumen de agujeros negros en T1 como padre de EDSS y sGFAP como padre de 9HPT, consistente con la evidencia meta-analítica sobre la carga de lesiones y la discapacidad.
• Robustez: Las estimaciones fueron estables a través de diferentes elecciones de valores de referencia y mostraron una estructura relativa consistente a través de tamaños de modelo (120b vs. 20b), aunque el modelo más pequeño arrojó magnitudes de correlación absolutas ligeramente inferiores.

Significado y Afirmaciones
El artículo afirma que la obtención indirecta mediante comparaciones de tripletes ofrece una "ruta cautelosa" desde las correlaciones implícitas en los LLM hasta afirmaciones causales que son congruentes con los patrones de respuesta del modelo. El significado radica en:

1. Superar las Limitaciones de las Consultas Directas: El método evita la alucinación y la adulación asociadas con las consultas numéricas directas al basarse en juicios de similitud relativa.
2. Sondeo Conductual: Trata a los LLM como sujetos experimentales, inferiendo su representación interna de las relaciones clínicas a través de experimentos conductuales controlados en lugar de asumir que pueden autoinformar la verdad.
3. Descubrimiento Causal sin Datos: Demuestra una vía para realizar predicción causal invariante utilizando únicamente entornos "sintéticos" diseñados mediante ingeniería de prompts, evitando la necesidad de múltiples conjuntos de datos clínicos a nivel individual que a menudo son difíciles de obtener.

Los autores permanecen modestos, señalando que el método recupera asociaciones implicadas por el modelo en lugar de verdades clínicas empíricas. La traducción de pendientes ajustadas a correlaciones depende de suposiciones relacionales específicas, y el estudio se limita a dos dominios y un conjunto específico de modelos. No obstante, el marco proporciona una herramienta exploratoria viable para sondear la estructura de asociación representada dentro de los LLM.