Keyphrase Generative Representation of Youth Crisis Conversations Beyond Static Taxonomies

Resumen Técnico: Representación Generativa de Frases Clave de Conversaciones sobre Crisis Juvenil Más Allá de Taxonomías Estáticas

Declaración del Problema

Los Responsables de Crisis (CR) en servicios de apoyo para jóvenes, como Kids Help Phone (KHP), deben evaluar rápidamente miles de conversaciones por SMS no estructuradas para identificar preocupaciones de salud mental. Actualmente, estos servicios dependen de taxonomías de etiquetas fijas (por ejemplo, ansiedad, autolesión) para mapear las conversaciones a categorías predefinidas. Si bien estas taxonomías estáticas ofrecen consistencia y auditabilidad, no logran capturar el lenguaje en evolución, arraigado culturalmente y específico del contexto utilizado por los jóvenes en situación de angustia. Comprimir narrativas complejas en un conjunto limitado de etiquetas corre el riesgo de hacer invisibles señales contextuales importantes, lo que podría dificultar las revisiones de escalada, el monitoreo de equidad y la identificación de tendencias emergentes en salud mental. Además, mantener sistemas de etiquetas exhaustivamente actualizados es difícil a medida que cambian los contextos socioculturales. Si bien los Modelos de Lenguaje Grandes (LLM) ofrecen capacidades generativas para poner de manifiesto temas matizados, las salidas sin restricciones plantean preocupaciones sobre alucinaciones, especificidad variable y una falta de transparencia requerida para la implementación clínica en el mundo real.

Metodología

El estudio utilizó un conjunto de datos de 703.975 conversaciones de crisis de jóvenes desidentificadas recopiladas por KHP entre 2018 y 2023. La investigación empleó un marco híbrido que combina clasificación estructurada con representación generativa restringida:

1. Expansión de la Taxonomía: La taxonomía de problemas heredada de 19 etiquetas se amplió a un esquema jerárquico de 39 etiquetas que cubre cuatro dominios: Salud y Bienestar, Seguridad y Violencia, Identidad y Relaciones, y Otros. Esta expansión se desarrolló mediante consultas iterativas con expertos clínicos y CR de primera línea.
2. Clasificación Multi-etiqueta: Se utilizó una configuración de cero disparos (zero-shot) del modelo Llama 3 8B para asignar etiquetas de la taxonomía ampliada de 39 etiquetas. Las predicciones del modelo se evaluaron frente a anotaciones de expertos utilizando tres esquemas de agregación: "Cualquiera" (seleccionado por al menos un anotador), "Mayoría de los 2 principales" y "Consenso de los 2 principales".
3. Representación Generativa de Frases Clave (KGR): Para abordar las limitaciones de las etiquetas estáticas, los autores introdujeron KGR, un marco basado en LLM restringido. El sistema solicita a Llama 3 que genere hasta cinco frases clave concisas y específicas de la conversación que describan los problemas principales, los temas emergentes y las experiencias vinculadas a la identidad, sin producir etiquetas diagnósticas.
   • Restricciones: La generación se limita a frases breves y no diagnósticas alineadas con el lenguaje vernáculo de los jóvenes.
   • Evaluación: Las salidas de KGR se evaluaron mediante dos métodos:
     • Evaluación de Expertos: 129 conversaciones fueron anotadas por tres CR capacitados (387 anotaciones en total) para evaluar la precisión, la relevancia para la experiencia vivida y la capacidad de capturar detalles sutiles.
     • Evaluación Automatizada: Las frases clave generadas se mapearon a la taxonomía heredada de 19 etiquetas utilizando coincidencia exacta, coincidencia de subetiquetas y similitud basada en incrustaciones (utilizando all-MiniLM-L6-v2) para medir la alineación con categorías estructuradas.
4. Pruebas del Flujo de Trabajo Operativo: El estudio comparó un flujo de trabajo de recuperación de temas basado en KGR frente a un flujo de trabajo manual de analistas utilizando búsquedas por palabras clave para temas específicos (acoso e imagen corporal). La recuperación con KGR utilizó la similitud del coseno entre los temas objetivo y las frases clave generadas, complementada con la solicitud de Cadenas de Pensamiento (CoT) para extraer extractos de apoyo literales.

Resultados Clave

• Expansión de la Taxonomía: La taxonomía ampliada de 39 etiquetas logró una alta fiabilidad por consenso de expertos. Bajo el esquema de agregación "Consenso de los 2 principales", el modelo logró una precisión de 0,96 y un AUROC de 0,82, superando a otros esquemas de agregación.
• Precisión y Utilidad de KGR: La revisión de expertos indicó que el 81% de las frases clave generadas reflejaron con precisión el contenido de la conversación. Además, el 74% de los expertos coincidió en que las frases clave mejoraron la claridad, y el 71% las encontró útiles para comprender las conversaciones.
• Temas Emergentes: KGR puso de manifiesto con éxito temas vinculados a la identidad y situacionales ausentes en la taxonomía fija, incluidos problemas de inmigración, carga del cuidador, contextos de comunidades indígenas, supervivencia de escuelas residenciales y microagresiones.
• Rendimiento de Recuperación de Temas: En las pruebas operativas, la recuperación basada en KGR superó significativamente a los flujos de trabajo manuales de analistas. Para conversaciones relacionadas con el acoso, KGR logró una precisión del 70% en comparación con el 25% para la recuperación manual (una mejora de 45 puntos porcentuales). Para temas de imagen corporal, KGR logró una precisión del 73% frente al 53% de los analistas. La mejora fue impulsada por una mayor precisión, ya que KGR evitó los falsos positivos comunes en las búsquedas basadas en palabras clave mientras mantenía un 100% de recuperación.
• Varianza de Categoría: El acuerdo fue más alto para categorías de alta saliencia (por ejemplo, Racismo, Capacitismo, Suicidio) y más bajo para categorías de estado del servicio o interaccionales (por ejemplo, Broma, Prueba del Servicio), lo que sugiere que las representaciones generativas son más efectivas para señales semánticas explícitas de angustia.

Contribuciones Clave

1. Conjunto de Datos y Expansión de la Taxonomía: Los autores evaluaron un conjunto de datos a escala nacional de más de 700.000 conversaciones y demostraron que expandir la taxonomía de problemas de 19 a 39 etiquetas mejora la cobertura de temas y la identificación estructurada de problemas, permitiendo una representación más amplia de la salud mental de los jóvenes y las preocupaciones relacionadas con la identidad.
2. Representación Generativa de Frases Clave (KGR): El estudio introduce KGR, un marco de LLM restringido que complementa las etiquetas estáticas con frases clave concisas y no diagnósticas. Se demostró que este enfoque refleja con precisión el contenido de la conversación mientras revela nuevos patrones contextuales y vinculados a la identidad que las etiquetas fijas pasan por alto.
3. Evidencia Operativa para Sistemas Híbridos: El documento proporciona evidencia de que KGR puede poner de manifiesto preocupaciones emergentes y arraigadas culturalmente (por ejemplo, desafíos de inmigración, carga del cuidador) y apoya un flujo de trabajo de recuperación de temas que supera significativamente a los procesos manuales de analistas en precisión.

Significado y Afirmaciones

El documento postula que KGR marca un cambio hacia representaciones generativas híbridas e interpretables que extienden la respuesta a crisis más allá de las taxonomías estáticas. Los autores afirman que, si bien una alta precisión de clasificación dentro de un espacio de etiquetas es valiosa, no garantiza la adecuación del propio espacio de etiquetas para capturar la diversidad y la evolución de la angustia juvenil.

El significado de este trabajo radica en su demostración de que los métodos generativos, cuando se restringen adecuadamente y se anclan dentro de marcos taxonómicos establecidos, pueden funcionar como capas complementarias. Estas capas enriquecen las representaciones posteriores a la conversación sin desplazar los sistemas de clasificación establecidos, preservando así la continuidad operativa y la auditabilidad mientras ponen de manifiesto señales contextuales que de otro modo permanecerían latentes. El estudio argumenta que este enfoque híbrido ofrece una vía pragmática para integrar la IA generativa en el análisis de salud mental, equilibrando la necesidad de fiabilidad y transparencia con la capacidad de capturar patrones de angustia matizados y arraigados culturalmente.