Resumen Técnico: Patrones de Ponderación de Evidencia en la Detección Psiquiátrica mediante Modelos de Lenguaje Grande

Declaración del Problema

La demanda global de atención en salud mental supera significativamente la disponibilidad de evaluaciones realizadas por clínicos, creando una necesidad crítica de herramientas de detección escalables. Si bien los Modelos de Lenguaje Grande (LLM) ofrecen potencial para extraer señales de riesgo psiquiátrico de las narrativas de los pacientes, su fiabilidad sigue siendo incierta. La literatura existente se centra a menudo en la precisión final de la clasificación o en tareas de un solo trastorno utilizando etiquetas autoinformadas, dejando tres brechas críticas para la traducción clínica:

1. Falta de Referencias Ancladas al SCID: Pocos estudios evalúan los LLM utilizando entrevistas experimentales semiestructuradas emparejadas con etiquetas de referencia diagnóstica de oro del Entrevista Clínica Estructurada para el DSM (SCID).
2. Caracterización Insuficiente de Subgrupos: Las variaciones en el rendimiento a través de estratos demográficos (sexo, edad, raza) no se comprenden bien.
3. Mecanismos de Error Opacos: No está claro si los errores de falsos negativos se deben a una falla en la detección de síntomas o a cómo los modelos ponderan diferencialmente la evidencia de los síntomas frente a la evidencia de deterioro funcional y señales de contexto protector (por ejemplo, capacidad de afrontamiento, apoyo social).

Metodología

Los autores introdujeron una referencia que comprende 555 entrevistas experimentales semiestructuradas recopiladas de participantes (edad media = 39.4; 50.1% mujeres; 77.8% blancos). Los participantes se sometieron a entrevistas clínicas estructuradas (SCID) para establecer etiquetas de referencia para cuatro categorías diagnósticas: Trastorno de Ansiedad, Trastorno Depresivo Mayor (TDM), Trastorno de Estrés Postraumático (TEPT) y Cualquier Trastorno de Salud Mental Actual (MHD).

Diseño Experimental:

• Modelos Evaluados: Cinco LLM de última generación (LLaMA 3, DeepSeek, GPT-4o Mini, GPT-4.1 Mini, GPT-5 Mini).
• Estrategia de Prompting: Prompting específico de la tarea sin ejemplos (zero-shot). Se instruyó a los modelos para evaluar una condición a la vez, generar una justificación de inferencia estilo clínico y proporcionar una predicción binaria de detección ("Sí"/"No").
• Métricas de Rendimiento: Precisión, Exactitud, Sensibilidad, Especificidad, Puntuación F1 y Coeficiente de Correlación de Matthews (MCC). La significancia estadística se evaluó utilizando pruebas Q de Cochran y pruebas de McNemar con corrección de Bonferroni.
• Análisis de Integración de Evidencia: Un análisis post-hoc de las justificaciones de inferencia de GPT-4.1 Mini (seleccionado por su estructura y rendimiento consistentes) categorizó el texto en tres dominios de evidencia utilizando expresiones regulares basadas en reglas:
  1. Evidencia de Síntomas: Síntomas psiquiátricos específicos de la tarea (derivados de PHQ-9, GAD-7, PCL-5).
  2. Deterioro Funcional: Disrupción en el funcionamiento ocupacional, social o diario.
  3. Contexto Protector: Funcionamiento preservado, afrontamiento activo y apoyo social.
• Modelado Estadístico: Las pruebas U de Mann–Whitney compararon las cuentas de evidencia entre Verdaderos Positivos (VP) y Falsos Negativos (FN). Modelos de regresión logística estandarizados determinaron cómo estas características de evidencia predecían las salidas del modelo frente a las etiquetas derivadas del SCID.

Resultados Clave

1. Rendimiento de Detección

El rendimiento del modelo varió sustancialmente entre tareas y familias (Precisión: 0.49–0.86; MCC: 0.16–0.38).

• Mejores Rendimientos: GPT-4.1 Mini y GPT-5 Mini demostraron la mayor precisión específica del trastorno consistente. GPT-4.1 Mini logró la mayor precisión para Ansiedad (0.72), Depresión (0.86) y TEPT (0.81).
• Variabilidad: GPT-4o Mini mostró la precisión más baja para la detección de ansiedad (0.49).

2. Disparidades Demográficas

• Sexo: Surgió un patrón consistente donde la precisión de clasificación de la depresión fue mayor para participantes masculinos que para participantes femeninas en todos los modelos (por ejemplo, GPT-4.1 Mini: Masculino 0.91 vs. Femenino 0.82).
• Edad y Raza: No se observó un patrón consistente relacionado con la edad ni una degradación uniforme a través de estratos raciales, aunque existían variaciones dependientes del modelo.

3. Patrones de Ponderación de Evidencia (El Hallazgo Central)

El análisis de errores de falsos negativos reveló que los modelos no simplemente omitieron síntomas; los subponderaron activamente en presencia de señales protectoras.

• Presencia de Síntomas en Errores: Los casos de falsos negativos para Ansiedad y TEPT a menudo contenían mayores conteos de evidencia de síntomas que los casos de verdaderos positivos.
• El Papel del Contexto:
  • Contexto Protector: La presencia de señales de funcionamiento preservado, capacidad de afrontamiento o apoyo social se asoció negativamente con salidas positivas del modelo. En Ansiedad y TEPT, los falsos negativos incluían frecuentemente estas señales protectoras junto con síntomas.
  • Deterioro Funcional: La evidencia de deterioro funcional se asoció positivamente con clasificaciones positivas.
• Modelo vs. Verdad Terrena: La regresión logística mostró que las características de evidencia (especialmente el deterioro funcional y el contexto protector) fueron predictores más fuertes de las decisiones del LLM que de las etiquetas diagnósticas derivadas del SCID. Esto sugiere que los modelos aplican un heurístico de ponderación más estricto o diferente que el estándar de referencia clínico, requiriendo particularmente una convergencia de síntomas y deterioro antes de asignar una etiqueta positiva.

Significado y Afirmaciones

El artículo afirma que los LLM pueden apoyar la detección psiquiátrica escalable, pero destaca un mecanismo específico de falla que requiere una validación cuidadosa antes del despliegue clínico.

• Más Allá de la Precisión: El estudio argumenta que la precisión agregada es insuficiente para la evaluación clínica. El hallazgo principal es que los falsos negativos a menudo surgen no por una falta de detección de síntomas, sino por la tendencia del modelo a descartar la evidencia de síntomas cuando la narrativa incluye funcionamiento preservado o contextos protectores.
• Implicación Clínica: Este comportamiento de "ponderación de evidencia" sugiere que los LLM pueden subdiagnosticar condiciones en las que los pacientes reportan síntomas pero también describen un afrontamiento efectivo o apoyo social, perdiendo potencialmente a individuos que aún requieren evaluación clínica.
• Dirección Futura: Los autores concluyen que los sistemas futuros deben ir más allá de la inferencia de un solo paso hacia marcos calibrados, de múltiples turnos o de múltiples agentes capaces de resolver explícitamente la incertidumbre e integrar evidencia clínica en competencia (síntomas vs. funcionamiento) para reducir errores de falsos negativos.

El estudio enfatiza que, aunque GPT-4.1 Mini y GPT-5 Mini muestran promesa, su lógica de toma de decisiones respecto al equilibrio entre la sintomatología y el contexto funcional difiere de los criterios diagnósticos clínicos estándar, lo que hace necesaria una mayor investigación sobre la equidad y los mecanismos de error.