Resumen Técnico: MENTALBENCH

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) han demostrado potencial en el análisis de la salud mental, sin embargo, las pruebas de referencia existentes para evaluar sus capacidades de diagnóstico psiquiátrico adolecen de limitaciones significativas. La mayoría de los conjuntos de datos actuales dependen de datos de redes sociales o entornos de diálogo de apoyo, los cuales carecen de la estructura rigurosa necesaria para evaluar si los modelos pueden aplicar criterios diagnósticos formales (como los del DSM-5) y navegar por reglas complejas de diagnóstico diferencial. En consecuencia, sigue sin estar claro si los LLM pueden resolver de manera fiable los límites clínicos entre diagnósticos competidores bajo la ambigüedad clínica inherente, un requisito crítico para el apoyo a la toma de decisiones clínicas de alto riesgo. La construcción de datos diagnósticos de alta calidad y validados por expertos se ve además obstaculizada por estrictas regulaciones de privacidad, la ausencia de biomarcadores objetivos y la complejidad de la lógica diagnóstica formal.

Metodología

Para abordar estas brechas, los autores introducen MENTALBENCH, una prueba de referencia fundamentada en un grafo de conocimiento construido por psiquiatras llamado MENTALKG.

1. MENTALKG: Un Grafo de Conocimiento Fundamentado en el DSM

MENTALKG sirve como columna vertebral lógica para la prueba de referencia. Es un grafo de conocimiento estructurado que codifica los criterios diagnósticos del DSM-5 y las reglas de diagnóstico diferencial para 23 trastornos psiquiátricos.

• Estructura: El grafo comprende 23 nodos de Trastorno, 23 nodos de Grupo de Síntomas, 84 nodos de Síntoma y 87 nodos de Diagnóstico Diferencial.
• Formalización: Transforma el texto no estructurado del DSM-5 en entidades estructuradas, codificando explícitamente síntomas obligatorios, restricciones de duración, umbrales mínimos de síntomas y lógica de exclusión.
• Lógica Diferencial: Los nodos de diagnóstico diferencial capturan la lógica direccional requerida para distinguir entre trastornos superpuestos (por ejemplo, Trastorno Depresivo Mayor vs. Trastorno Bipolar I), definiendo condiciones desencadenantes, diferencias clave y reglas discriminatorias específicas.
• Diversidad: Para evitar una redacción rígida y de estilo de libro de texto, el esquema integra subtipos de síntomas, permitiendo manifestaciones lingüísticas y sintomáticas variadas de los síntomas centrales.
• Validación: La construcción del grafo involucró a dos expertos (un psiquiatra certificado por la junta y un psicólogo clínico licenciado) que validaron los subtipos de síntomas, la alineación de los criterios con el DSM-5 y la validez clínica de la lógica de diagnóstico diferencial.

2. MENTALBENCH: Construcción de la Prueba de Referencia

Aprovechando MENTALKG, los autores generaron 24.750 casos clínicos sintéticos organizados en una tubería de múltiples etapas. La prueba de referencia evalúa los modelos en dos desafíos principales: Incompletitud de la Información y Complejidad Diagnóstica.

Los casos se categorizan en cuatro tipos:

• Tipo 1 (Resumen Profesional): Resúmenes estructurados de historias clínicas en tercera persona donde toda la evidencia diagnóstica es explícita y completa.
• Tipo 2 (Autoreporte del Paciente): Narrativas fragmentadas, coloquiales y en primera persona que reflejan una divulgación selectiva y diversidad de expresión, donde los modelos deben recuperar pistas diagnósticas a partir de información incompleta.
• Tipo 3 (Ambigüedad Controlada): Escenarios de diagnóstico diferencial donde los síntomas compartidos satisfacen múltiples trastornos, pero la evidencia discriminatoria requerida para descartar candidatos se omite intencionalmente. La respuesta correcta es un conjunto de diagnósticos plausibles.
• Tipo 4 (Diagnóstico Definitivo): Escenarios de diagnóstico diferencial donde se incluye la evidencia discriminatoria, requiriendo que el modelo reduzca el conjunto de candidatos a un único diagnóstico definitivo basado en criterios de gran detalle.

El proceso de generación implica la generación de semillas (muestreo desde MENTALKG), la ampliación de perfiles (asignación de datos demográficos y subtipos de síntomas) y la síntesis de datos utilizando un conjunto de tres LLM distintos para mitigar el sesgo del generador. Todas las salidas pasaron por una validación rigurosa por expertos en naturalidad lingüística, validez diagnóstica y realismo clínico.

Contribuciones Clave

1. MENTALKG: Un grafo de conocimiento construido por expertos que formaliza los criterios diagnósticos del DSM-5 y las reglas de diagnóstico diferencial para 23 trastornos, proporcionando una columna vertebral lógica estructurada para la evaluación clínica.
2. MENTALBENCH: Una prueba de referencia a gran escala que comprende 24.750 casos sintéticos que varían sistemáticamente la completitud de la información y la complejidad diagnóstica para evaluar LLM bajo ambigüedad clínica.
3. Evaluación Integral: Un marco de evaluación sistemático que va más allá del reconocimiento de patrones a nivel superficial para probar la aplicación rigurosa de la lógica diagnóstica, incluida la capacidad de manejar narrativas fragmentadas y resolver perfiles de síntomas superpuestos.

Resultados Experimentales

Los autores evaluaron una diversa gama de modelos de código abierto (Qwen, Gemma, Llama, MentaLLaMA) y de código cerrado (GPT, Gemini, Claude) en MENTALBENCH.

• Rendimiento General: Incluso los modelos más avanzados alcanzaron una precisión general máxima de solo el 62,69 %, lo que resalta la dificultad de la prueba de referencia.
• Incompletitud de la Información: Los modelos funcionaron bien en el Tipo 1 (resúmenes estructurados) pero mostraron una degradación sustancial del rendimiento en el Tipo 2 (autoreportes narrativos). Los modelos más pequeños (<30 mil millones de parámetros) sufrieron una caída promedio significativa (10,58 puntos), mientras que los modelos más grandes fueron más resilientes, lo que sugiere que la escala ayuda en la inferencia semántica a partir de datos fragmentados.
• Complejidad Diagnóstica: El rendimiento cayó precipitadamente en las tareas de diagnóstico diferencial (Tipo 3 y Tipo 4), con muchos modelos puntuando por debajo del 20 %.
  • Los modelos de código abierto tendieron a exhibir sobrediagnóstico en casos inequívocos (Tipo 4), fallando en aplicar reglas de exclusión y seleccionando múltiples distractores plausibles.
  • Los modelos de código cerrado tendieron a exhibir subdiagnóstico en casos ambiguos (Tipo 3), forzando predicciones de etiqueta única incluso cuando la evidencia clínica apoyaba múltiples condiciones.
• Hallazgos Específicos por Enfermedad: Los modelos lucharon significativamente con trastornos subrepresentados en investigaciones anteriores (por ejemplo, Trastorno Esquizoafectivo) y aquellos que requieren distinciones temporales de gran detalle (por ejemplo, Trastorno Depresivo Persistente vs. Trastorno Depresivo Mayor).
• Fallo de Calibración: El análisis reveló que los modelos carecen de conciencia intrínseca de las restricciones. Les cuesta calibrar autónomamente su alcance diagnóstico (decidir entre diagnósticos únicos vs. múltiples) sin instrucciones de indicación explícitas.

Significado y Afirmaciones

El artículo afirma que MENTALBENCH expone limitaciones críticas en las capacidades actuales de los LLM para el apoyo a la toma de decisiones psiquiátricas. Si bien los modelos poseen conocimiento latente de los criterios del DSM-5, fallan en aplicar rigurosamente este conocimiento en escenarios ambiguos, similares al mundo real. Específicamente:

• Los modelos luchan por mapear expresiones de pacientes fragmentadas y del mundo real a criterios diagnósticos formales.
• Los modelos fallan en calibrar el compromiso diagnóstico, oscilando entre tendencias excesivamente expansivas y excesivamente restrictivas dependiendo de la arquitectura del modelo y la ambigüedad del escenario.
• Los modelos actuales carecen de la capacidad intrínseca para definir límites de decisión sin orientación externa, lo que plantea preocupaciones sobre su fiabilidad en entornos del mundo real donde el número de diagnósticos plausibles es inherentemente incierto.

Los autores concluyen que MENTALBENCH aboga por que la investigación futura priorice la toma de decisiones adaptativa y robusta que pueda manejar la ambigüedad clínica y las restricciones lógicas rigurosas, en lugar de depender de asociaciones a nivel superficial. Los recursos (código y datos) se han publicado públicamente para facilitar una mayor evaluación y desarrollo en este dominio.