Determinants of Training Corpus Size for Clinical Text Classification

Resumo Técnico: Determinantes do Tamanho do Corpus de Treinamento para Classificação de Texto Clínico

Definição do Problema
A classificação de textos clínicos utilizando Processamento de Linguagem Natural (PLN) requer dados de treinamento adequados para garantir o desempenho ideal. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam capacidades de zero-shot, o ajuste fino (fine-tuning) continua sendo necessário para casos especializados ou quando uma precisão superior é priorizada. Na prática, estudos de pesquisa clínica frequentemente anotam entre 200 e 500 documentos devido a restrições de tempo e custo. No entanto, esse tamanho de amostra é frequentemente escolhido sem uma justificativa rigorosa em relação à relação entre o tamanho do corpus, as propriedades do vocabulário do texto e o desempenho do modelo. Há uma carência de diretrizes sobre o tamanho mínimo de amostra necessário para construir modelos de aprendizado de máquina generalizáveis no domínio da saúde, particularmente dada a escassez de conjuntos de dados abertos e anotados por clínicos.

Metodologia
O estudo utilizou o conjunto de dados MIMIC-III, que compreende mais de 1,2 milhão de notas clínicas desidentificadas (ex: sumários de alta) de mais de 50.000 admissões hospitalares. Os autores selecionaram 10 códigos de diagnóstico ICD-9 escolhidos aleatoriamente para representar diversas tarefas de classificação binária.

O pipeline experimental envolveu as seguintes etapas:

1. Preparação de Dados: Para cada diagnóstico, as notas de alta hospitalar foram extraídas. Os rótulos foram derivados diretamente dos códigos ICD-9 para evitar o processo demorado de anotação manual.
2. Extração de Características: Embeddings de BERT pré-treinados foram usados para gerar representações vetoriais de nível agrupado (pooled-level) para todos os documentos. Esta abordagem aproveita o aprendizado por transferência para capturar relações contextuais inerentes às narrativas clínicas, distinguindo significados sutis que métodos tradicionais de bag-of-words ou TF-IDF poderiam perder.
3. Classificação: Um classificador Random Forest foi treinado nos embeddings do BERT. Os autores testaram várias arquiteturas, incluindo o ajuste fino direto do BERT e abordagens zero-shot (Chat-GPT 3.5, Llama2, DistilBERT), mas descobriram que o pipeline de embedding-do-BERT mais Random Forest era superior para esta tarefa específica.
4. Manipulação de Variáveis: Os tamanhos do corpus de treinamento ($N$) variaram de 100 a 10.000 documentos. Para cada tamanho, os modelos foram treinados 10 vezes em subconjuntos estratificados aleatórios e validados em um grande conjunto de dados de retenção (hold-out) de 5.000 documentos para reportar métricas de desempenho médias.
5. Análise de Vocabulário: Para investigar a relação entre as propriedades do texto e as curvas de aprendizado, os autores empregaram regressão logística Lasso em embeddings de bag-of-words. As palavras foram categorizadas como "preditores fortes" (coeficiente absoluto > 0,1) ou "preditores ruidosos" (abaixo do limiar). Valores de SHAP (SHapley Additive exPlanations) também foram usados para quantificar as contribuições das características.

Resultos Principais

• Tamanho de Amostra Ótimo: As curvas de aprendizado variaram significamente entre as 10 tarefas, apesar do pré-processamento idêntico. No entanto, o estudo descobriu que 600 documentos foram suficientes para atingir 95% do desempenho alcançável com 10.000 documentos em todas as tarefas.
• Impacto do Vocabulário: Houve uma correlação clara entre a qualidade do vocabulário e a inclinação da curva de aprendizado.
  • Preditores Fortes: Um aumento de 100 palavras preditoras fortes correspondeu a um aumento aproximado de 0,04 na precisão máxima.
  • Preditores Ruidosos: Um aumento de 100 palavras ruidosas correspondeu a uma diminuição aproximada de 0,02 na precisão no maior tamanho de corpus de treinamento.
• Estabilidade de Características: A análise SHAP na tarefa de classificação de diabetes demonstrou que modelos treinados em 1.000 amostras identificaram com sucesso termos diagnósticos centrais (ex: 'diabetes', 'metformina') com classificações semelhantes a modelos treinados em 12.000 amostras. Os dados adicionais serviram principalmente para filtrar características não discriminativas em vez de capturar novos conceitos clínicos.

Significância e Contribuições
O artigo fornece evidência empírica de que 600 anotações de padrão-ouro representam um limiar prático para atingir um desempenho próximo ao ótimo na classificação de texto clínico ao utilizar embeddings de LLM pré-treinados combinados com classificadores baseados em árvores.

Os autores afirmam que compreender a relação entre as propriedades do vocabulário (especificamente a razão entre preditores fortes e ruidosos) e as formas das curvas de aprendizado pode guiar decisões de tamanho de amostra ideal. Isso sugere que:

1. Análise de Palavras-Chave como Preditor: Uma análise preliminar de palavras-chave em uma pequena amostra anotada pode prever o desempenho do modelo e a inclinação da curva de aprendizado.
2. Qualidade de Dados sobre Quantidade: Técnicas de limpeza de dados focadas na relevância do documento e no isolamento de partes relevantes podem ser mais valiosas do que simplesmente aumentar o tamanho do corpus de treinamento.
3. Eficiência de Recursos: Pesquisadores podem potencialmente economizar recursos computacionais e tempo ao visar o limiar de 600 documentos, desde que o vocabulário seja suficientemente discriminativo.

O estudo reconhece limitações, incluindo o potencial viés da seleção aleatória de códigos ICD (que pode incluir comorbidades) e o foco em classificação binária. Os autores sugerem que trabalhos futuros explorem LLMs como assistentes de anotação para gerar rótulos iniciais para revisão humana, reduzindo ainda mais o tempo de anotação enquanto mantêm a qualidade.