Resumen Técnico: Una Evaluación Sistemática de Modelos de Lenguaje de Gran Escala para la Estimación de la Gravedad del TEPT

Planteamiento del Problema

La evaluación precisa del Trastorno de Estrés Postraumático (TEPT) es crítica para el diagnóstico y el tratamiento, pero el acceso a la atención especializada suele estar limitado por la escasez de clínicos. Aunque existen instrumentos estructurados de autoinforme como la Lista de Verificación del TEPT (PCL), los clínicos dependen frecuentemente de entrevistas narrativas no estructuradas para capturar matices que las escalas rígidas omiten. Históricamente, cuantificar la gravedad a partir de estas narrativas de lenguaje natural ha sido difícil. Aunque los Modelos de Lenguaje de Gran Escala (LLM) muestran potencial, su aplicación en la salud mental ha sido inconsistente, apoyándose a menudo en prototipos ad-hoc en lugar de una evaluación rigurosa y sistemática. Los estudios existentes sufren frecuentemente de sesgos de selección (por ejemplo, datos de redes sociales), enmarcan el TEPT como un diagnóstico binario en lugar de un constructo de gravedad continuo, y carecen de estrategias estandarizadas de prompting o modelado. Además, no está claro cómo el conocimiento contextual (por ejemplo, definiciones de síntomas, contexto de la entrevista) y las estrategias de modelado (por ejemplo, esfuerzo de razonamiento, métodos de ensamble) influyen en la precisión y la utilidad clínica de las evaluaciones de LLM en zero-shot.

Metodología

Los autores realizaron una evaluación sistemática utilizando un conjunto de datos clínicos de 1,437 narrativas de lenguaje natural de respondedores del World Trade Center (WTC), vinculadas a puntuaciones de gravedad del PCL-5 autoinformadas. El estudio evaluó 11 LLM de vanguardia (incluyendo LLaMA-3.1, DeepSeek-R1 y los modelos GPT-5, o3-mini y 4o-mini de OpenAI) a través de dos ejes principales ortogonales:

1. Conocimiento Contextual: El estudio varió la información proporcionada al modelo, incluyendo:

   • Definiciones de síntomas y elementos de escalas validadas (definiciones de subescalas, ítems del PCL).
   • Contexto de elicitación (criterios de los participantes, prompts de la entrevista).
   • Prioris a nivel de tarea (distribuciones de puntuación).
   • Evidencia (fragmentos específicos de texto).

2. Estrategias de Modelado: El estudio manipuló:

   • Elección del Modelo: Modelos de pesos abiertos (LLaMA, DeepSeek) frente a modelos de pesos cerrados (OpenAI); variando el tamaño de parámetros (de 8B a 670B+).
   • Prompting: Zero-shot frente a few-shot (3-shot); Chain-of-Thought (Pensar paso a paso) frente a prompting estándar.
   • Esfuerzo de Razonamiento: Para modelos que lo admiten (o3-mini, GPT-5), variando los niveles de esfuerzo (bajo, medio, alto).
   • Formulación de la Tarea: Predicción escalar directa (puntuación total) frente a predicción basada en subescalas (agregación de Reexperimentación, Evitación, Disforia, Hiperalerta).
   • Post-procesamiento: Redistribución predictiva (calibración para coincidir con la varianza objetivo) y métodos de ensamble (promedio de predicciones de diversos modelos).

Baselines y Validación:

• Baselines: Un modelo de regresión basado en RoBERTa supervisado y dos evaluadores humanos expertos (estudiantes de posgrado en psicología clínica).
• Métricas: Correlación de Pearson ($r$) y Error Absoluto Medio (MAE) frente a las puntuaciones de PCL autoinformadas.
• Verificaciones de Validez:
  • Validez Discriminante: Correlación con afecto negativo general (PANAS), uso de alcohol (AUDIT) y otros diagnósticos (ansiedad, depresión).
  • Validez de Criterio: Asociación con gastos futuros de atención de salud mental (aproximadamente 1 año después de la entrevista).
  • Fidelidad (Faithfulness): Anotación humana de 359 afirmaciones de razonamiento de los LLM para verificar la fundamentación en el lenguaje del paciente y la corrección de la inferencia.

Resultados Clave

1. Rendimiento del Modelo y Escalamiento

• Modelos de Pesos Abiertos: El rendimiento de los modelos de pesos abiertos (LLaMA, DeepSeek) se estancó más allá de los 70 mil millones de parámetros (70B). Escalar a 405B o 670B no mejoró consistentemente la precisión sobre la variante de 70B.
• Modelos de Pesos Cerrados: Los modelos propietarios, particularmente GPT-5, superaron significativamente a todos los demás, logrando las correlaciones más altas ($r \approx 0.59$ frente a los evaluadores humanos en $r \approx 0.44$).
• Few-Shot vs. Zero-Shot: El prompting de few-shot no produjo mejoras consistentes y, en ocasiones, degradó el rendimiento en comparación con el zero-shot.

2. Razonamiento y Prompting

• Esfuerzo de Razonamiento: Aumentar el nivel de esfuerzo de razonamiento (de bajo a alto) en modelos como o3-mini y GPT-5 condujo a mejoras significativas tanto en la correlación como en el MAE. El esfuerzo alto redujo el MAE de 9.56 a 8.23 (o3-mini) y mejoró la correlación.
• Chain-of-Thought (CoT): El prompting explícito de "Pensar paso a paso" arrojó resultados inconsistentes, degradando a veces el rendimiento en modelos fuertes, lo que sugiere que la elicitación de razonamiento explícito no es universalmente beneficiosa para tareas clínicas de regresión.

3. Conocimiento Contextual y Formulación de la Tarea

• Claves Contextuales: Proporcionar definiciones detalladas de los constructos (definiciones de subescalas) y el contexto del estudio mejoró significamente la precisión.
• Predicción Directa vs. por Subescalas: Contrario a los flujos de trabajo clínicos que agregan subescalas, la predicción escalar directa de la puntuación total superó al enfoque basado en subescalas. El enfoque de subescalas introdujo ruido, ya que las subescalas predichas estaban menos correlacionadas entre sí que las autoinformadas.
• Redistribución Predictiva: La redistribución post-hoc para coincidir con la distribución objetivo redujo significativamente el MAE (por ejemplo, el MAE de LLaMA-3.1-70B cayó de 10.95 a 8.25) sin alterar drásticamente la correlación.

4. Ensamble y Comparación Humana

• Ensembles: El mejor rendimiento ($r = 0.565$) se logró mediante el ensamble de un baseline RoBERTa supervisado con un LLM zero-shot (GPT-5). Esto sugiere que los modelos supervisados y los LLM zero-shot capturan aspectos complementarios de la varianza.
• Evaluadores Humanos: Los LLM de frontera (GPT-5, LLaMA-3.1-70B) superaron significativamente a los evaluadores humanos entrenados ($p < 0.05$) en la estimación zero-shot, excediendo la correlación de los evaluadores humanos ($r=0.44$) con los autoinformes.

5. Validez y Utilidad

• Especificidad: Las estimaciones de los LLM estuvieron significativamente más correlacionadas con la gravedad del TEPT que con el afecto negativo general o el consumo de alcohol, demostrando validez discriminante.
• Validez Externa: Las estimaciones de los LLM predijeron los gastos futuros de atención de salud mental ($r=0.268$). Los participantes en el cuartil de mayor severidad predicha representaron aproximadamente el 50% de los costos futuros.
• Validez Incremental: Las estimaciones de los LLM proporcionaron valor predictivo para los costos futuros y la severidad de los síntomas más allá de lo capturado por los propios autoinformes de PCL del paciente.
• Fidelidad (Faithfulness): La anotación humana reveló que el 95.3% de las afirmaciones de los LLM estaban fundamentadas en el lenguaje del paciente (mencionado directamente o inferido), aunque una pequeña fracción involucró inferencias no sustentadas.

Significado y Reivindicaciones

El artículo sostiene que el conocimiento contextual y las estrategias de modelado afectan significativamente la precisión y la utilidad clínica de las evaluaciones de TEPT basadas en LLM. Específicamente:

1. La Optimización es Clave: El uso ingenuo y con poco contexto de los LLM puede reducir la precisión hasta en un 40% en comparación con las configuraciones optimizadas.
2. Más allá de la Factibilidad: El estudio va más allá de la simple factibilidad hacia una evaluación basada en principios, demostrando que los LLM bien configurados pueden igualar o superar la precisión de los evaluadores humanos en entornos zero-shot.
3. Enfoques Complementarios: El rendimiento superior de los ensambles (supervisado + zero-shot) desafía la noción de que los modelos generalistas grandes vuelven obsoletos a los modelos más pequeños y específicos de la tarea. En su lugar, sugieren que un enfoque híbrido es necesario para la medicina de precisión.
4. Utilidad Clínica: Las estimaciones basadas en LLM capturan información prospectiva y clínicamente significativa (uso futuro de recursos) que no es capturada plenamente por los instrumentos de autoinforme estándar, lo que sugiere un papel para estas herramientas en el triaje, el monitoreo y el apoyo a la toma de decisiones.

Los autores concluyen que, si bien los LLM muestran un potencial inmenso, su despliegue requiere un diseño cuidadoso de los inputs (conocimiento contextual) y de las estrategias (esfuerzo de razonamiento, ensamble) para garantizar la fiabilidad y la relevancia clínica.