When Rating Scales Fall Short: LLM-Assisted Discovery of ADHD Signals in Turkish Teacher Narratives

Resumo Técnico: Quando as Escalas de Avaliação são Insuficientes: Descoberta de Sinais de TDAH em Narrativas de Professores em Turco Assistida por LLM

Definição do Problema
O diagnóstico do Transtorno do Déficit de Atenção com Hiperatividade (TDAH) em crianças baseia-se tipicamente em uma combinação de julgamento clínico, escalas de avaliação padronizadas (como a Conners' Teacher Rating Scale–Revised Short Form, CTRS-R:S) e relatos de pais e professores. Embora instrumentos estruturados como o CTRS-R:S quantifiquem efetivamente sintomas comportamentais específicos, eles podem negligenciar sinais complementares presentes nas narrativas abertas e qualitativas fornecidas pelos professores. Essas narrativas contêm observações contextuais sobre desempenho escolar, personalidade, relacionamentos interpessoais e contexto familiar que raramente são analisadas sistematicamente. O problema central abordado é a extensão em que as narrativas dos professores codificam sinais comportamentais que são perdidos pelas escalas de avaliação estruturadas, particularmente em casos onde as avaliações estruturadas não conseguem distinguir claramente entre alunos com e sem TDAH.

Metodologia
O estudo utiliza um conjunto de dados de 199 formulários de avaliação de professores em turco, desidentificados, coletados de uma clínica de psiquiatria da infância e adolescência (166 TDAH, 33 controle). A metodologia envolve uma análise comparativa de dois estágios:

1. Pipelines de Classificação Dupla:

   • Pipeline Estruturado: Um classificador de regressão logística foi treinado nos 28 itens comportamentais do CTRS-R:S, aumentados com variáveis demográficas (idade, série, gênero). As características foram padronizadas usando normalização z-score.
   • Pipeline Narrativo: Um classificador de regressão logística separado foi treinado nas narrativas abertas dos professores. O texto foi pré-processado (conversão para minúsculas, remoção de stopwords) e representado usando Term Frequency–Inverse Document Frequency (TF-IDF) com recursos de unigrama e bigrama.
   • Ambos os modelos foram avaliados utilizando validação cruzada de cinco dobras estratificada para garantir condições comparáveis.

2. Análise Focada em Erros:

   • O estudo analisou especificamente os "falsos negativos estruturados" — casos de TDAH classificados incorretamente pelo modelo estruturado, mas identificados corretamente (ou com padrões distintos) pelo modelo narrativo.
   • Comparações estatísticas (testes Mann–Whitney U) foram conduzidas para avaliar os escores de severidade e o poder discriminativo das narrativas dentro deste subgrupo.

3. Descoberta de Temas Assistida por LLM:

   • Para interpretar os padrões comportamentais nas narrativas, os autores empregaram um Modelo de Linguagem de Grande Escala (LLM) local de pesos abertos (Llama 3.3 70B Instruct) para extrair temas comportamentais.
   • Utilizando um prompt estruturado, o LLM extraiu temas concisos (2 a 6 palavras) descrevendo forças ou dificuldades observáveis em quatro domínios: desempenho escolar, personalidade/saúde mental, relacionamentos sociais e contexto familiar.
   • Os temas extraídos foram mapeados manualmente por um especialista do domínio para dez categorias comportamentais de nível superior (ex: dificuldade de atenção, força comportamental, apoio familiar) para permitir uma comparação sistemática entre o grupo de falsos negativos estruturados e o grupo controle.

Principais Resultados

• Sinais Complementares: Embora ambos os modelos tenham alcançado alta discriminação (PR-AUC > 0,98), o classificador narrativo demonstrou uma revocação (recall) significativamente maior para casos de TDAH (0,958) em comparação ao classificador estruturado (0,856).
• Sobreposição Mínima de Erros: O modelo estruturado perdeu 24 casos de TDAH, enquanto o modelo narrativo perdeu apenas 7. Crucialmente, houve apenas um falso negativo sobreposto entre os dois modelos, indicando que as duas modalidades capturam informações comportamentais amplamente distintas.
• Divergência Quantitativa: No subconjunto de falsos negativos estruturados, o classificador baseado em narrativas alcançou um ROC-AUC de 0,84, superando substancialmente os escores de severidade estruturados (ROC-AUC 0,69). A correlação entre os escores estruturados e as probabilidades de predição narrativa foi negligenciável ($r = 0,07$).
• Padrões Qualitativos: A análise de temas assistida por LLM revelou que as narrativas dos casos de TDAH com falso negativo estruturado continham significativamente mais temas "relacionados a dificuldades" (especificamente dificuldades de atenção e comportamentais) e menos temas "relacionados a forças" em comparação com as narrativas de controle. Por outro lado, as narrativas de controle apresentaram frequências mais altas de temas de forças acadêmicas, socioemocionais e de apoio familiar.

Principais Contribuições

1. Análise Conjunta: Uma análise comparativa demonstrando que os escores estruturados do CTRS-R:S e as descrições narrativas dos professores identificam conjuntos parcialmente distintos de casos de TDAH.
2. Evidência de Complementaridade: Prova empírica de que o texto narrativo captura sinais comportamentais perdidos pelas escalas padronizadas, particularmente em casos limítrofes onde os escores estruturados se sobrepõem aos controles.
3. Estrutura de Interpretabilidade: A introdução de um pipeline assistido por LLM para extrair e categorizar temas comportamentais de narrativas clínicas, preenchendo a lacuna entre o texto bruto e as categorias clínicas interpretáveis.
4. Liberação de Dataset: A liberação de um conjunto de dados desidentificado de 199 formulários de avaliação de professores em turco, fornecendo um recurso para pesquisa em Processamento de Linguagem Natural (PLN) em uma língua e domínio menos estudados.

Significância e Alegações
O artigo alega que o processamento de linguagem natural (PLN) aplicado às narrativas dos professores pode descobrir padrões comportamentais clinicamente relevantes que não são explicitamente capturados pelas ferramentas de triagem tradicionais. O estudo não propõe substituir as avaliações estruturadas, mas sugere que combinar classificações estruturadas com análise narrativa oferece uma visão mais abrangente do comportamento do aluno. Os autores destacam que as narrativas dos professores fornecem evidências complementares para identificar dificuldades relacionadas ao TDAH, particularmente em casos onde as escalas estruturadas produzem resultados ambíguos. O trabalho demonstra o potencial dos LLMs para servirem como ferramentas interpretativas para extrair insights estruturados de textos clínicos não estruturados, aumentando assim a utilidade dos fluxos de trabalho diagnósticos existentes sem atuar como classificadores diagnósticos autônomos.

Limitações
Os autores reconhecem limitações relativas ao conjunto de dados pequeno e desbalanceado (166 vs. 33), o que exigiu o uso de modelos lineares simples em vez de arquiteturas neurais complexas. Eles também observam a subjetividade inerente das narrativas dos professores e o potencial de falta de generalização para outros contextos educacionais ou culturais devido à natureza de fonte única dos dados. Finalmente, o mapeamento dos temas extraídos pelo LLM para categorias de nível superior envolve decisões de design informadas por especialistas, introduzindo um grau de subjetividade.