LLAMADRS: Evaluating Open-Source LLMs on Real Clinical Interviews--To Reason or Not to Reason?

Resumen Técnico: LLAMADRS

1. Problema y Motivación

Los Modelos de Lenguaje Grandes (LLMs) han demostrado un rendimiento excepcional en diversos benchmarks de Procesamiento de Lenguaje Natural (NLP). Sin embargo, su comportamiento en escenarios del mundo real, específicamente en la evaluación clínica semi-estructurada (como entrevistas psiquiátricas), permanece poco explorado.

• Desafío: Existe una escasez de profesionales de la salud mental, lo que limita el acceso a la atención. Los LLMs podrían ayudar, pero su alineación con competencias clínicas es incierta.
• Hipótesis de investigación: Se debate si los LLMs realmente "razonan" o simplemente reconocen patrones superficiales. En dominios de salud mental, las estrategias de "razonamiento" (como Chain-of-Thought) han mostrado resultados inconsistentes: a veces mejoran la precisión, pero en otros casos, trazas de razonamiento más largas reducen la exactitud.
• Objetivo: Evaluar sistemáticamente modelos de código abierto (estándar vs. aumentados con razonamiento) en la tarea de puntuar la Escala de Depresión de Montgomery-Åsberg (MADRS) a partir de entrevistas reales.

2. Metodología

A. Dataset: LLAMADRS (basado en CAMI)

• Fuente: Corpus de Informática Multimodal Adaptativa al Contexto (CAMI).
• Datos: 541 sesiones de entrevistas reales entre pacientes y clínicos en entornos de psiquiatría hospitalaria.
• Anotaciones: 5,804 puntuaciones expertas a nivel de ítem.
• Tarea: Puntuar los 10 ítems de la MADRS (rango 0-6 por ítem) y calcular la puntuación total (0-60).
• Procesamiento: Transcripciones generadas con Whisper/Parakeet y diarización con Qwen 3-32B.

B. Modelos Evaluados

• Se evaluaron 25 modelos de código abierto (rango de 0.6B a 400B de parámetros).
• Categorías: Modelos estándar (NR) vs. Modelos aumentados con razonamiento (R).
• Arquitecturas: Densas y Mezcla de Expertos (MoE).

C. Protocolo de Evaluación

• Métrica Principal: Error Absoluto Medio (MAE). Se definieron umbrales clínicos:
  • Aceptable: MAE < 0.6 por ítem / < 6 en total.
  • Moderado: MAE 0.6–1.2 por ítem / 6–12 en total.
  • Substancial: MAE ≥ 1.2 por ítem / ≥ 12 en total.
• Estrategias de Predicción:
  1. Puntuación Total Directa (DTS): El modelo recibe toda la transcripción y predice la puntuación final en una sola llamada.
  2. Ítem-luego-Suma (ITS): El modelo predice cada uno de los 10 ítems por separado y la puntuación total se calcula sumando mecánicamente los resultados (sin intervención del modelo en la suma).
• Análisis de Prompting: Se realizó una ablación para evaluar el impacto de:
  • Cues descriptivos (definiciones clínicas y anclas de severidad).
  • Cues demostrativos (ejemplos anotados).
  • Razonamiento explícito.

D. Análisis Estadístico

• Se utilizaron modelos de efectos mixtos lineales cruzados para desentrañar factores como el tamaño del modelo, la longitud del contexto, la arquitectura (MoE), la longitud de la transcripción y la longitud de la traza de razonamiento.

3. Resultados Clave

A. Eficacia de la Estrategia ITS vs. DTS

• La estrategia Ítem-luego-Suma (ITS) redujo drásticamente el error total en la mayoría de los modelos (reducciones del 30% al 81% en MAE total).
• Hallazgo Crítico: Incluso cuando los modelos de razonamiento intentan sumar los ítems internamente en sus trazas de pensamiento (DTS), su rendimiento es inferior a la suma mecánica de predicciones de ítems individuales (ITS). Esto sugiere limitaciones fundamentales en la capacidad de los LLMs para realizar regresión directa de puntuaciones totales complejas.
• La mayoría de los modelos fuertes alcanzaron un MAE total aceptable (< 6) solo bajo la estrategia ITS.

B. Rendimiento de Modelos Estándar vs. Razonamiento

• Sin Razonamiento: Los modelos estándar equipados con prompts bien estructurados (definiciones clínicas y ejemplos) igualaron o superaron a sus contrapartes aumentadas con razonamiento.
• Con Razonamiento: Los beneficios del razonamiento explícito dependieron fundamentalmente del diseño del prompt:
  • Scaffolding denso (definiciones + ejemplos): El razonamiento no aportó ventaja (de hecho, los modelos estándar fueron ligeramente mejores: $\Delta = -0.03$).
  • Scaffolding escaso (sin definiciones ni ejemplos): El razonamiento mostró una ventaja significativa ($\Delta = +0.18$).
• Tamaño del Modelo: El aumento de parámetros (escala) mejoró consistentemente la precisión en ambas arquitecturas.

C. Patrones de Error por Ítem

• Ítems más fáciles: "Reducción del apetito" (comportamiento concreto) y "Ideas suicidas".
• Ítems más difíciles: "Incapacidad de sentir" y "Tristeza aparente".
• Limitación Multimodal: La dificultad persistente en "Tristeza aparente" (I1) indica que la evaluación basada solo en texto falla al no capturar señales visuales y paralingüísticas (expresión facial, postura) que son esenciales para este ítem en la práctica clínica real.

D. Análisis de Efectos Mixtos

• Longitud de Razonamiento: Se observó un patrón bidireccional:
  • Las sesiones que generaban más razonamiento de lo habitual para ese caso específico se asociaron con menor error (razonamiento adaptativo).
  • Sin embargo, los modelos/sesiones que típicamente producían trazas largas mostraron mayor error (la verbosidad uniforme indica dificultad, no capacidad).
• Arquitectura MoE: Las arquitecturas de Mezcla de Expertos se correlacionaron con un mayor error en comparación con las densas en este contexto específico.

4. Contribuciones Principales

1. LLAMADRS: Un nuevo benchmark de 5,804 evaluaciones MADRS sobre 541 entrevistas clínicas reales, superando trabajos previos que usaban datos de redes sociales o conjuntos sintéticos.
2. Validación Clínica: Demostración de que LLMs de código abierto fuertes pueden alcanzar precisión a nivel de ítem en rangos moderados y totales aceptables (< 6 MAE) usando la estrategia ITS.
3. Desmitificación del Razonamiento: Evidencia de que el "razonamiento" no es una panacea; su utilidad depende del contexto del prompt. En tareas clínicas bien estructuradas, la ingeniería de prompts (definiciones y ejemplos) es más efectiva que el razonamiento explícito.
4. Guía de Despliegue: Recomendaciones prácticas para el uso de LLMs en evaluación clínica, priorizando la estrategia de suma de ítems y el uso de prompts estructurados sobre el razonamiento abierto.

5. Significado e Implicaciones

• Para la Psiquiatría Computacional: El estudio establece que la automatización de la evaluación de la depresión es viable con modelos de código abierto, pero requiere una arquitectura de inferencia específica (evaluar ítems por separado) y una comprensión de las limitaciones de los datos textuales (falta de señales visuales).
• Para la Investigación en LLMs: Cuestiona la suposición de que el razonamiento explícito siempre mejora el rendimiento. Sugiere que para tareas con reglas claras (como las escalas clínicas), la "razonabilidad" puede ser inducida eficazmente mediante definiciones y ejemplos en el prompt, evitando el costo computacional de las trazas de razonamiento largas.
• Limitaciones: El estudio es puramente textual; no incorpora señales de audio o video, lo cual es crucial para ciertos ítems afectivos. Los datos provienen de entornos hospitalarios, lo que podría limitar la generalización a atención ambulatoria.

En conclusión, LLAMADRS ofrece una hoja de ruta para desplegar LLMs en entornos clínicos semi-estructurados, demostrando que la precisión clínica depende más de la estrategia de agregación (ITS) y la calidad del prompt que del mero uso de modelos con capacidades de razonamiento explícito.