Validation of a Small Language Model for DSM-5 Substance Category Classification in Child Welfare Records

Este estudo valida que um modelo de linguagem pequeno e localmente hospedado consegue classificar com alta precisão tipos específicos de substâncias (alinhados ao DSM-5) em registros de bem-estar infantil, superando as limitações de detecção binária anteriores, exceto para categorias de baixa prevalência.

O essencial

Imagine que os arquivos de proteção à criança são como bibliotecas gigantes e bagunçadas. Nesses arquivos, os assistentes sociais escrevem longas histórias (narrativas) sobre o que aconteceu em cada caso. Muitas vezes, nessas histórias, eles mencionam que os pais ou cuidadores estão usando drogas ou álcool.

O problema é que, nos computadores dos órgãos de proteção, essas informações ficam "escondidas" no texto. O sistema só tem uma luzinha simples que diz: "Tem problema com drogas? Sim ou Não". É como se a biblioteca tivesse um livro inteiro sobre "Drogas", mas você só pudesse saber se o livro existe, sem nunca conseguir ler qual droga específica está sendo mencionada. Isso impede que os pesquisadores e gestores entendam se o problema é mais com álcool, com opioides ou com maconha, por exemplo.

Neste estudo, os autores queriam testar um pequeno robô inteligente (um modelo de linguagem pequeno) para ler essas histórias e dizer exatamente qual droga está sendo mencionada, sem precisar de supercomputadores caros ou enviar os dados para a nuvem (o que poderia ser um risco de segurança).

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Desafio: Ler entre as linhas

Pense nas histórias dos assistentes sociais como um jogo de adivinhação complexo.

• Às vezes, o texto diz: "O pai estava bêbado". (Claro, é álcool).
• Outras vezes, diz: "O cheiro de álcool estava no hálito". (Também é álcool).
• Mas às vezes é confuso: "O pai negou o uso de álcool, mas o vizinho disse que ele bebe muito". O robô precisa entender o contexto para não errar.

O desafio era ver se um robô "pequeno" (que cabe em um computador comum de um órgão local) conseguia fazer isso tão bem quanto um especialista humano, ou se ele precisaria de um "gênio" superpoderoso (como os modelos gigantes de empresas de tecnologia) para conseguir.

2. A Solução: O Detetive Local

Os pesquisadores criaram um sistema de dois passos:

• Passo 1 (O Porteiro): O robô primeiro lê a história e decide: "Tem problema com substâncias aqui ou não?". Se a resposta for "Não", ele descarta o caso.
• Passo 2 (O Detetive): Se a resposta for "Sim", o robô entra em modo de detetive. Ele tenta classificar a droga em 7 categorias (como Álcool, Maconha, Opioides, Estimulantes, etc.), baseando-se nas regras médicas (DSM-5).

Eles usaram um modelo de 20 bilhões de parâmetros (que é pequeno comparado aos modelos de trilhões de parâmetros das grandes empresas) rodando diretamente nos computadores deles, sem enviar dados para a internet. Isso é como ter um detetive trabalhando dentro da delegacia, em vez de enviar o caso para um escritório na outra cidade.

3. O Resultado: O Robô Acertou Quase Tudo!

Eles testaram o robô com 900 casos reais, comparando o que o robô disse com o que um especialista humano disse.

• Os Campeões: Para 5 tipos de drogas (Álcool, Maconha, Opioides, Estimulantes e Sedativos), o robô e o humano concordaram quase perfeitamente (94% a 100% de precisão). Foi como se o robô tivesse lido a mesma coisa que o especialista.
• Os "Zé Ruelas": Para dois tipos de drogas (Alucinógenos e Inalantes), o robô errou bastante.
  • Por que? Imagine que a palavra "gasolina" ou "tinta" aparece no texto. O robô pensou: "Ah, inalantes! Tinta é inalante!". Mas, na história, a tinta era apenas sobre uma parede descascada na casa, não sobre alguém cheirando tinta. O robô confundiu o contexto. Como essas drogas são raras nos casos de proteção à criança, qualquer erro pequeno derruba a pontuação do robô.

4. A Estabilidade: O Robô é Consistente?

Como os robôs de IA são um pouco "aleatórios" (como jogar um dado), eles testaram se, ao ler a mesma história duas vezes, o robô dava a mesma resposta.

• Resultado: Sim! Em 15.000 casos, o robô foi extremamente consistente (92% a 99% de concordância). Ele não muda de ideia aleatoriamente.

5. Por que isso é importante? (O "Pulo do Gato")

Antes, para saber quais drogas estavam afetando as famílias, os pesquisadores precisavam de pessoas lendo milhares de papéis manualmente (o que é lento e caro) ou não sabiam nada além de um "Sim/Não".

Agora, com esse robô pequeno e local:

• Segurança: Os dados sensíveis das crianças nunca saem do computador do órgão.
• Custo: Não precisa pagar por cada palavra lida para empresas de tecnologia.
• Visão: Os órgãos podem ver tendências. Por exemplo: "Nossa, nos últimos 5 anos, o uso de estimulantes subiu, mas o de opioides caiu". Isso ajuda a criar programas de ajuda melhores e mais específicos.

Resumo Final

Este estudo provou que você não precisa de um supercomputador de bilhões de dólares para entender os detalhes das drogas nos casos de proteção à criança. Um "robô pequeno" e inteligente, rodando localmente, consegue ler as histórias, entender o contexto e classificar a maioria das drogas com a mesma precisão de um especialista humano. É como transformar uma biblioteca bagunçada em um arquivo organizado, onde cada livro é etiquetado corretamente, tudo isso feito de forma segura e barata.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português:

Título: Validação de um Modelo de Linguagem Pequeno para Classificação de Categorias de Substâncias DSM-5 em Registros de Bem-Estar Infantil

1. O Problema

As agências de bem-estar infantil geram vastas quantidades de dados administrativos, incluindo narrativas em texto livre (resumos de investigação, achados de disposição e notas de caso) que contêm informações ricas sobre o uso de substâncias por pais e cuidadores. No entanto, os bancos de dados administrativos estruturados geralmente capturam o envolvimento com substâncias apenas como um indicador binário (sim/não), perdendo a complexidade dos tipos específicos de substâncias.

• Limitação Atual: A falta de distinção entre tipos de substâncias impede que agências e pesquisadores rastreiem tendências divergentes (ex.: declínio do uso de opioides vs. estabilidade do cannabis), avaliem riscos específicos ou avaliem intervenções direcionadas.
• Desafio Técnico: Embora modelos de linguagem grandes (LLMs) comerciais tenham sido validados para detecção binária, não foi testado se modelos menores e localmente implantáveis (com menos parâmetros) possuem capacidade suficiente para realizar a tarefa mais exigente de classificar tipos específicos de substâncias dentro de narrativas complexas e contextualmente dependentes.

2. Metodologia

O estudo validou um pipeline de classificação de duas etapas utilizando um modelo de linguagem pequeno hospedado localmente.

• Fonte de Dados: Narrativas de investigação de maus-tratos infantis de um estado do Meio-Oeste dos EUA (amostra de 2013 a 2024).
• Modelo Utilizado: gpt-oss:20b, um modelo de linguagem de código aberto com 20 bilhões de parâmetros (quantizado para precisão de 4 bits), hospedado localmente em duas GPUs NVIDIA A6000. Isso garante a confidencialidade dos dados, sem transmissão para servidores externos.
• Pipeline de Classificação:
  • Etapa 1 (Pré-validada): Detecção binária da presença de problemas relacionados a substâncias (SRP).
  • Etapa 2 (Foco do Estudo): Classificação específica das narrativas com SRP em sete categorias alinhadas ao DSM-5: (1) Álcool, (2) Cannabis, (3) Opioides, (4) Estimulantes, (5) Sedativos/Hipnóticos/A ansiolíticos, (6) Alucinógenos e (7) Inalantes.
  • O modelo usou um único prompt para classificar todas as sete categorias simultaneamente, retornando a classificação e trechos de texto verbatim como evidência.
• Validação:
  • Amostra: 900 casos estratificados para revisão humana (700 positivos por categoria, 100 negativos para análise de falso-negativo, 100 não classificados).
  • Métricas: Precisão, Recall e Confiabilidade Inter-método (Coeficiente Kappa de Cohen e PABAK) comparando o modelo com revisores humanos especialistas.
  • Estabilidade: Teste-reteste realizado em ~15.000 registros classificados independentemente em duas execuções separadas.

3. Principais Contribuições

• Validação de Modelos Pequenos: Demonstra que modelos locais de 20B parâmetros (muito menores que modelos comerciais de centenas de bilhões) são capazes de realizar classificação multiclasse de alta precisão em dados administrativos sensíveis.
• Privacidade e Custo: Estabelece que agências podem obter granularidade de dados sem depender de serviços em nuvem comerciais, eliminando riscos de confidencialidade e custos por token.
• Expansão de Capacidade Analítica: Move o campo da detecção binária simples para a identificação de tipos específicos de substâncias, permitindo análises de tendências populacionais e avaliação de intervenções direcionadas a partir de dados históricos não estruturados.

4. Resultados

• Alta Confiabilidade em 5 Categorias: Cinco categorias alcançaram concordância "quase perfeita" (Kappa = 0,94–1,00) entre o modelo e os revisores humanos:
  • Álcool e Opioides: Precisão de 100% (Kappa = 1,00).
  • Cannabis e Estimulantes: Precisão de 99% (Kappa = 0,99).
  • Sedativos/Hipnóticos: Precisão de 92% (Kappa = 0,94).
• Desempenho Fraco em 2 Categorias:
  • Alucinógenos (Precisão: 56,1%) e Inalantes (Precisão: 35,0%): O desempenho foi baixo devido à ambiguidade terminológica. Termos como "gás", "spray" ou "ácido" aparecem frequentemente em contextos não relacionados a drogas (ex.: produtos de limpeza, solventes químicos), levando o modelo a erros de desambiguação contextual.
• Estabilidade: A concordância teste-reteste foi extremamente alta (92,1% a 99,1%), indicando que a configuração de temperatura baixa (0,2) minimizou a variabilidade probabilística do modelo.
• Qualidade da Extração: 90,5% das frases extraídas pelo modelo como evidência foram validadas como corretas e relevantes.

5. Significado e Conclusão

O estudo conclui que um modelo de linguagem pequeno e localmente hospedado é uma ferramenta viável e confiável para transformar narrativas textuais não estruturadas em dados estruturados sobre tipos específicos de substâncias.

• Impacto Prático: Permite que agências de bem-estar infantil monitorem tendências específicas (ex.: transição da crise de opioides para o aumento de estimulantes) e avaliem resultados de casos com base no tipo de substância envolvida, sem necessidade de coletar novos dados ou sobrecarregar os trabalhadores sociais.
• Limitações: O modelo ainda enfrenta desafios com categorias de baixa prevalência e terminologia ambígua (inalantes e alucinógenos), sugerindo que melhorias futuras podem exigir engenharia de prompts aprimorada ou regras de filtragem pós-classificação.
• Relevância: A pesquisa valida a capacidade de modelos acessíveis de superar barreiras técnicas para enriquecer dados administrativos, oferecendo uma solução escalável e segura para a análise de saúde pública e políticas sociais.