When Rating Scales Fall Short: LLM-Assisted Discovery of ADHD Signals in Turkish Teacher Narratives

Resumen Técnico: Cuando las escalas de calificación se quedan cortas: Descubrimiento asistido por LLM de señales de TDAH en narrativas de docentes en turco

Planteamiento del problema
El diagnóstico del Trastorno por Déficit de Atención con Hiperactividad (TDAH) en niños depende típicamente de una combinación del juicio clínico, escalas de calificación estandarizadas (como la Escala de Evaluación de Profesores de Conners–Versión Breve Revisada, CTRS-R:S) e informes de padres y docentes. Aunque los instrumentos estructurados como la CTRS-R:S cuantifican eficazmente síntomas conductuales específicos, pueden pasar por alto señales complementarias presentes en las narrativas abiertas y cualitativas proporcionadas por los docentes. Estas narrativas contienen observaciones contextuales sobre el rendimiento escolar, la personalidad, las relaciones con los pares y el contexto familiar que rara vez se analizan sistemáticamente. El problema central abordado es hasta qué punto las narrativas de los docentes codifican señales conductuales que se pierden en las escalas de calificación estructuradas, particularmente en casos donde las evaluaciones estructuradas no logran distinguir claramente entre estudiantes con TDAH y sin TDAH.

Metodología
El estudio utiliza un conjunto de datos de 199 formularios de evaluación de docentes turcos, desidentificados, recopilados en una clínica de psiquiatría infantil y del adolescente (166 TDAH, 33 control). La metodología consiste en un análisis comparativo de dos etapas:

1. Pipelines de Clasificación Dual:

   • Pipeline Estructurado: Se entrenó un clasificador de regresión logística basado en los 28 ítems conductuales de la CTRS-R:S, aumentados con variables demográficas (edad, grado, género). Las características se estandarizaron mediante normalización de puntuación z.
   • Pipeline Narrativo: Se entrenó un clasificador de regresión logística independiente basado en las narrativas abiertas de los docentes. El texto fue preprocesado (conversión a minúsculas, eliminación de palabras de parada o stopwords) y representado mediante la frecuencia de término–frecuencia inversa de documento (TF-IDF) con características de unigrama y bigrama.
   • Ambos modelos fueron evaluados mediante validación cruzada de cinco pliegues estratificada para asegurar condiciones comparables.

2. Análisis Centrado en Errores:

   • El estudio analizó específicamente los "falsos negativos estructurados": casos de TDAH mal clasificados por el modelo estructurado pero identificados correctamente (o con patrones distintivos) por el modelo narrativo.
   • Se realizaron comparaciones estadísticas (pruebas de Mann–Whitney U) para evaluar la severidad de las puntuaciones y el poder discriminativo de las narrativas dentro de este subgrupo.

3. Descubrimiento de Temas Asistido por LLM:

   • Para interpretar los patrones conductuales en las narrativas, los autores emplearon un Modelo de Lenguaje de Gran Escala (LLM) local de pesos abiertos (Llama 3.3 70B Instruct) para extraer temas conductuales.
   • Mediante un prompt estructurado, el LLM extrajo temas concisos (de 2 a 6 palabras) que describían fortalezas o dificultades observables en cuatro dominios: rendimiento escolar, personalidad/salud mental, relaciones sociales y contexto familiar.
   • Estos temas extraídos fueron mapeados manualmente por un experto en el dominio a diez categorías conductuales de nivel superior (por ejemplo, dificultad de atención, fortaleza conductual, apoyo familiar) para permitir una comparación sistemática entre el grupo de falsos negativos estructurados y el grupo de control.

Resultados Clave

• Señales Complementarias: Si bien ambos modelos lograron una alta discriminación (PR-AUC > 0.98), el clasificador narrativo demostró una capacidad de recuperación (recall) significativamente mayor para los casos de TDAH (0.958) en comparación con el clasificador estructurado (0.856).
• Solapamiento Mínimo en Errores: El modelo estructurado omitió 24 casos de TDAH, mientras que el modelo narrativo omitió solo 7. Crucialmente, hubo solo un falso negativo superpuesto entre los dos modelos, lo que indica que las dos modalidades capturan información conductual ampliamente distinta.
• Divergencia Cuantitativa: En el subconjunto de falsos negativos estructurados, el clasificador basado en narrativas alcanzó un ROC-AUC de 0.84, superando sustancialmente a las puntuaciones de severidad estructuradas (ROC-AUC 0.69). La correlación entre las puntuaciones estructuradas y las probabilidades de predicción narrativa fue insignificante ($r = 0.07$).
• Patrones Cualitativos: El análisis de temas asistido por LLM reveló que las narrativas de los casos de TDAH con falsos negativos estructurados contenían significativamente más temas "relacionados con dificultades" (específicamente atención y dificultades conductuales) y menos temas "relacionados con fortalezas" en comparación con las narrativas de control. Por el contrario, las narrativas de control presentaron mayores frecuencias de temas de fortalezas académicas y socioemocionales, así como de apoyo familiar.

Contribuciones Clave

1. Análisis Conjunto: Un análisis comparativo que demuestra que las puntuaciones estructuradas de la CTRS-R:S y las descripciones narrativas de los docentes identifican conjuntos de casos de TDAH parcialmente distintos.
2. Evidencia de Complementariedad: Prueba empírica de que el texto narrativo captura señales conductuales que las escalas estandarizadas pasan por alto, particularmente en casos límite donde las puntuaciones estructuradas se solapan con los controles.
3. Marco de Interpretabilidad: La introducción de un pipeline asistido por LLM para extraer y categorizar temas conductuales de narrativas clínicas, cerrando la brecha entre el texto bruto y las categorías clínicas interpretables.
4. Liberación de Dataset: La publicación de un conjunto de datos desidentificado de 199 formularios de evaluación de docentes en turco, proporcionando un recurso para la investigación de PLN en un lenguaje y dominio menos estudiados.

Significancia y Reivindicaciones
El artículo sostiene que el procesamiento de lenguaje natural (PLN) aplicado a las narrativas docentes puede descubrir patrones conductuales clínicamente relevantes que no se capturan explícitamente en las herramientas de detección tradicionales. El estudio no propone reemplazar las evaluaciones estructuradas, sino que sugiere que combinar las calificaciones estructuradas con el análisis narrativo ofrece una visión más completa del comportamiento del estudiante. Los autores destacan que las narrativas de los docentes proporcionan evidencia complementaria para identificar dificultades relacionadas con el TDAH, particularmente en casos donde las escalas estandarizadas arrojan resultados ambiguos. El trabajo demuestra el potencial de los LLM para servir como herramientas interpretativas para extraer conocimientos estructurados de textos clínicos no estructurados, mejorando así la utilidad de los flujos de trabajo diagnósticos existentes sin actuar como clasificadores diagnósticos independientes.

Limitaciones
Los autores reconocen las limitaciones relativas al tamaño pequeño y desequilibrado del conjunto de datos (166 frente a 33), lo que obligó al uso de modelos lineales más simples en lugar de arquitecturas neuronales complejas. También señalan la subjetividad inherente de las narrativas de los docentes y la posible falta de generalización a otros contextos educativos o culturales debido a la naturaleza de fuente única de los datos. Finalmente, el mapeo de los temas extraídos por el LLM a categorías de nivel superior implica decisiones de diseño informadas por expertos, lo que introduce un grado de subjetividad.