Evaluating Large Language Models for Assessment of Psychosis Risk

Este estudio demuestra que los modelos de lenguaje grandes (LLM) de código abierto pueden analizar transcripciones de entrevistas clínicas para detectar eficazmente el riesgo de psicosis y cuantificar la gravedad de los síntomas, ofreciendo una solución escalable que complementa la evaluación humana.

Lo esencial

Título: ¿Puede una Inteligencia Artificial "leer" entre líneas para detectar el riesgo de psicosis antes de que sea tarde?

Imagina que el cerebro humano es como una gran biblioteca. A veces, antes de que ocurra un gran incendio (un episodio de psicosis), hay pequeños chispas o humo que se pueden detectar. Los especialistas en salud mental son como los bomberos expertos que revisan esta biblioteca. Su trabajo es escuchar a las personas, entender sus historias y decir: "Oye, aquí hay humo, necesitamos actuar".

El problema es que estos bomberos expertos son escasos, están muy ocupados y revisar cada libro (cada entrevista) puede tardar horas. Además, a veces dos bomberos pueden interpretar el humo de forma diferente.

¿Qué hicieron los autores de este estudio?
Los investigadores se preguntaron: "¿Podemos entrenar a un 'bibliotecario digital' muy inteligente (una Inteligencia Artificial llamada Modelo de Lenguaje Grande o LLM) para que lea estas historias y nos diga dónde está el humo?"

Para responder a esto, tomaron 678 transcripciones (textos escritos de conversaciones reales) de personas que ya habían sido evaluadas por expertos humanos. Luego, le dieron estos textos a 11 diferentes "bibliotecarios digitales" (modelos de IA de diferentes tamaños, desde pequeños hasta gigantes) y les pidieron que hicieran tres cosas:

1. Decir si la persona estaba en riesgo de psicosis.
2. Calcular qué tan graves eran sus síntomas (como escuchar voces o tener pensamientos extraños).
3. Escribir un resumen breve de por qué llegaron a esa conclusión.

¿Qué descubrieron? (Los resultados en analogías)

1. El tamaño importa, pero no todo:
   Imagina que los modelos de IA son como estudiantes.

   • Los estudiantes gigantes (modelos de 70 o 80 mil millones de "células" o parámetros) fueron los mejores. Detectaron el riesgo con una precisión del 80% y fueron muy buenos encontrando a casi todos los que tenían riesgo (como un detector de humo muy sensible que no deja pasar ninguna chispa).
   • Los estudiantes más pequeños (modelos de 1 a 4 mil millones) también lo hicieron bastante bien, aunque no tan perfectos. La ventaja es que son como bicicletas: requieren mucha menos energía (computadora) para funcionar que los gigantes, que son como camiones de carga.

2. Son muy sensibles, pero a veces se asustan:
   La IA tendía a ser un poco "paranoica". Si alguien decía algo un poco raro, la IA a veces pensaba: "¡Esto es grave!". En realidad, a veces era solo una experiencia humana normal.

   • La buena noticia: En medicina preventiva, es mejor tener una falsa alarma (pensar que hay humo cuando no lo hay) y revisar, a dejar pasar un incendio real. Así que esta "paranoia" de la IA es útil para el primer filtro.

3. No discriminan, pero dependen del lugar:
   La IA funcionó casi igual de bien para personas de diferentes edades, géneros o idiomas. Sin embargo, hubo diferencias según el lugar donde se hizo la entrevista. Es como si la IA entendiera mejor el acento de una ciudad que el de otra. Esto sugiere que la IA necesita un poco de "entrenamiento local" para ser perfecta en cada hospital.

4. Resúmenes que casi no mienten:
   Cuando la IA escribió resúmenes de las conversaciones, fue muy fiel a lo que se dijo. Solo en un 3% de los casos "alucinó" (inventó cosas que no dijeron). Pero ojo: cuando inventó algo, usualmente fue inventando que la persona estaba más triste o afectada de lo que realmente estaba. Nunca inventó que alguien estaba en peligro de hacerse daño, lo cual es crucial para la seguridad.

¿Por qué es esto importante para el futuro?

Imagina que tenemos un sistema donde, en lugar de que un experto humano tenga que leer 10 horas de grabaciones, la IA hace el trabajo pesado primero.

• La IA lee la historia.
• La IA dice: "Aquí hay un riesgo alto, aquí uno medio, aquí ninguno".
• El experto humano solo revisa los casos que la IA marcó como "sospechosos".

Esto es como tener un filtro de café: la IA filtra el grano grueso y deja pasar solo lo que necesita atención humana. Esto permitiría que más personas sean detectadas antes de que su enfermedad avance, ahorrando tiempo a los doctores y salvando vidas.

En resumen:
Este estudio nos dice que la Inteligencia Artificial está lista para ser una ayudante de primera clase en la detección temprana de problemas mentales graves. No va a reemplazar al doctor humano, pero puede ser el "asistente digital" que hace que el sistema de salud sea más rápido, más justo y capaz de llegar a más personas.

Nota importante: Aunque los resultados son prometedores, los autores advierten que esto es una investigación y aún no se debe usar en la vida real sin supervisión humana estricta. Es como un prototipo de coche autónomo: funciona muy bien en pruebas, pero aún necesitamos un conductor humano al volante.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Título: Evaluación de Modelos de Lenguaje Grandes (LLM) para la Evaluación del Riesgo de Psicosis

1. El Problema

La prevención de la psicosis depende de la detección temprana de individuos en riesgo clínico alto de psicosis (CHR-P, por sus siglas en inglés). Sin embargo, la identificación actual es limitada (solo se detecta entre el 5% y el 14% de los casos que desarrollarán psicosis).

• Barreras actuales: Las herramientas de evaluación estándar, como la entrevista PSYCHS (basada en CAARMS y SIPS), requieren clínicos altamente especializados, toman hasta dos horas por evaluación y dependen de la interpretación subjetiva de entrevistas narrativas.
• Consecuencia: Esto limita la escalabilidad, aumenta la variabilidad entre evaluadores y retrasa la intervención preventiva.
• Objetivo: Investigar si los Modelos de Lenguaje Grandes (LLM) pueden extraer información clínicamente significativa de las transcripciones de estas entrevistas para automatizar la puntuación de síntomas y la clasificación del riesgo, manteniendo la precisión clínica.

2. Metodología

El estudio utilizó un enfoque sistemático para evaluar la capacidad de los LLMs en una tarea de puntuación estructurada.

• Datos: Se utilizó el conjunto de datos AMP-SCZ (Asociación de Medicamentos Acelerados para la Esquizofrenia), que incluye 678 transcripciones parciales (primeros 30 minutos) de entrevistas PSYCHS realizadas en inglés.
  • Participantes: 373 individuos (77.7% clasificados como CHR-P).
  • Estructura: Las transcripciones se segmentaron en 15 dominios de síntomas (ej. pensamientos inusuales, sospecha, anomalías perceptuales auditivas/visuales, etc.), generando 4,691 observaciones de dominio-transcripción.
• Modelos Evaluados: Se probaron 11 LLMs de pesos abiertos (open-weight) de diferentes escalas (desde 1B hasta 80B parámetros), incluyendo variantes de Llama-3, Gemma, Phi-3, Qwen y modelos médicos específicos (medgemma).
• Pipeline de Inferencia:
  • Prompting: Se utilizó una biblioteca de 15 prompts específicos por dominio, alineados con los criterios PSYCHS.
  • Estrategia: Se empleó Chain-of-Thought (CoT) para que el modelo identificara evidencia textual antes de asignar una puntuación.
  • Salida: Los modelos debían generar un objeto JSON estructurado con: puntuación de severidad (0-6), frecuencia (0-6) y un resumen breve basado en evidencia.
  • Validación: Se implementaron mecanismos de reparación automática para corregir errores de formato JSON.
• Comparación: Las puntuaciones generadas por los LLMs se compararon contra las puntuaciones "ground truth" (verdad fundamental) asignadas por investigadores humanos expertos.
• Análisis Adicional:
  • Justicia Algorítmica: Evaluación de disparidades por edad, etnia, idioma, género y sitio clínico.
  • Calidad de Resúmenes: Evaluación experta de la fidelidad de los resúmenes generados y detección de alucinaciones (confabulaciones).
  • Compromiso Computacional: Análisis de la relación entre rendimiento (F1), consumo de memoria GPU y velocidad de generación de tokens.

3. Contribuciones Clave

• Primera evaluación sistemática: Es el primer estudio que evalúa LLMs para la evaluación estructurada de riesgo de psicosis a partir de transcripciones de entrevistas psicométricas.
• Validación de escalabilidad: Demuestra que los LLMs pueden replicar la puntuación de síntomas complejos con alta correlación, ofreciendo una vía para escalar la detección temprana.
• Análisis de equidad y fallos: Proporciona un análisis detallado de los sesgos algorítmicos y los modos de fallo sistemáticos (ej. patologización de experiencias normales), crucial para la implementación clínica segura.
• Análisis de costo-beneficio: Identifica modelos de tamaño medio que ofrecen un equilibrio óptimo entre precisión y requisitos computacionales, facilitando el despliegue en entornos con recursos limitados.

4. Resultados Principales

• Rendimiento de Clasificación (CHR-P):

  • El rendimiento mejoró con el tamaño del modelo.
  • Mejor modelo: Llama-3.3-70B alcanzó una precisión del 80.2%, con una sensibilidad muy alta (93.4%) y una especificidad moderada (58.0%).
  • El modelo Qwen3-Next-80B mostró un rendimiento comparable.
  • Nota: La alta sensibilidad implica una tendencia a sobreestimar el riesgo (falsos positivos), lo cual es aceptable en un contexto de cribado para evitar falsos negativos.

• Puntuación de Síntomas (Severidad y Frecuencia):

  • Los modelos grandes mostraron una fuerte correlación con las puntuaciones de los investigadores:
    • Llama-3.3-70B: ICC de severidad = 0.74, ICC de frecuencia = 0.75.
    • Qwen3-Next-80B: ICC de severidad = 0.77, ICC de frecuencia = 0.75.
  • Los modelos más pequeños (ej. gemma-3n-E4B-it) también lograron resultados competitivos (ICC ~0.67-0.73) con un costo computacional mucho menor.
  • Dominios: Mejor rendimiento en anomalías perceptuales (auditivas/visuales); menor rendimiento en dominios contextuales o menos frecuentes (ej. ideas erotomaníacas, anomalías somáticas).

• Justicia Algorítmica:

  • Las disparidades fueron mínimas en edad, etnia, idioma y género.
  • Variabilidad por sitio: Se observaron diferencias más notables entre los diferentes centros de investigación (sitios), lo que sugiere que la heterogeneidad en los estilos de entrevista o reclutamiento afecta más que las características demográficas del paciente.

• Calidad y Seguridad:

  • Fidelidad: Los resúmenes generados representaron fielmente el contenido de la transcripción en el 93.3% de los casos.
  • Alucinaciones (Confabulaciones): Tasa baja del 2.7%, generalmente relacionadas con la atribución de angustia o deterioro funcional no mencionado explícitamente en el texto.
  • Errores: El 53% de los errores graves consistió en la "patologización" de experiencias humanas normales o culturales (ej. desconfianza tras un evento adverso).
  • Seguridad: No se omitieron preocupaciones de seguridad (riesgo de daño a uno mismo o a otros).

• Compromiso Computacional (Trade-off):

  • Se identificó un equilibrio claro: los modelos más grandes ofrecen mayor precisión pero requieren mucha más memoria GPU y tienen menor velocidad de generación.
  • Recomendación práctica: El modelo gemma-3n-E4B-it se destaca como una opción viable para despliegue, ofreciendo un buen F1 con solo ~21 GB de memoria GPU y alta velocidad de procesamiento.

5. Significado e Implicaciones

• Potencial de Escalabilidad: Los LLMs de pesos abiertos tienen la capacidad de automatizar la puntuación de entrevistas de riesgo de psicosis, reduciendo la carga sobre los clínicos y permitiendo una detección más amplia.
• Enfoque "Human-in-the-Loop": El estudio no propone reemplazar a los clínicos, sino crear un sistema de apoyo donde el LLM genera puntuaciones provisionales y resúmenes que un especialista puede revisar y validar. Esto mejora la eficiencia sin sacrificar la supervisión clínica.
• Privacidad: El uso de modelos de pesos abiertos desplegados localmente (on-premise) resuelve preocupaciones éticas sobre la transmisión de datos psiquiátricos sensibles a APIs comerciales.
• Limitaciones y Futuro: Los resultados se basan en datos de investigación (no necesariamente representativos de la clínica general) y solo en inglés. Se requiere calibración local y auditoría continua antes de la implementación clínica real. El estudio sugiere que la adaptación de prompts a contextos locales es clave para mitigar las variaciones entre sitios.

En conclusión, el estudio demuestra que la inteligencia artificial basada en LLMs es una herramienta prometedora y técnicamente viable para transformar la evaluación temprana de la psicosis, siempre que se implemente bajo un marco de supervisión humana y con una comprensión clara de sus limitaciones y sesgos.