Fine-Tune, Don't Prompt, Your Language Model to Identify Biased Language in Clinical Notes

1. Problema e Motivação

A documentação clínica frequentemente contém linguagem emocionalmente carregada que pode ser estigmatizante (negativa/julgadora) ou privilegiante (positiva/preferencial), refletindo vieses implícitos dos profissionais de saúde. Esses vieses podem prejudicar a qualidade do cuidado e a relação terapêutica.

O desafio central identificado pelos autores é a falta de consenso sobre como definir e padronizar a anotação de linguagem enviesada, bem como a incerteza sobre quais estratégias de Processamento de Linguagem Natural (PLN) são mais eficazes para extrair e classificar esse viés em escala. Especificamente, questiona-se se:

• Modelos de Linguagem de Grande Escala (LLMs) generativos via prompting (instrução zero-shot ou in-context learning) são suficientes.
• É necessário o fine-tuning (ajuste fino) supervisionado.
• O conhecimento prévio clínico do modelo é mais importante do que a adaptação ao contexto específico da especialidade médica.

2. Metodologia

Os autores propõem um framework multi-etapa para caracterizar e extrair linguagem enviesada, operacionalizada como valência emocional (estigmatizante, privilegiante ou neutra).

A. Criação do Léxico e Extração de Dados

• Léxico: Compilou-se uma lista de 55 termos estigmatizantes ou privilegiantes a partir da literatura, validada por quatro especialistas médicos (escala Likert).
• Datasets:
  • OB-GYN (Monte Sinai, NY): 1.015 trechos de texto ("chunks") extraídos de 889 notas de parto, centrados nas palavras-chave do léxico.
  • MIMIC-IV (Beth Israel, Boston): 275 trechos de notas de alta de UTI e emergência.
• Anotação: Três clínicos anotaram independentemente os trechos como Estigmatizante, Privilegiante ou Neutro. A concordância foi alta (Gwet AC2 = 0,8589).

B. Estratégias de Modelagem e Avaliação

O estudo comparou diferentes arquiteturas e estratégias de treinamento:

1. Modelos:
   • Encoder-only: BERT-large e GatorTron-base (pré-treinados em texto clínico).
   • Generative LLMs: Llama-3.3 (70B), Llama-3.2 (1B), Med42-8B e Med42-70B.
2. Estratégias de Classificação:
   • Zero-shot Prompting: Instruções diretas sem exemplos.
   • In-Context Learning (ICL): Uso de exemplos no prompt, otimizado via framework DSPy (MIPROv2).
   • Fine-Tuning (FT): Ajuste supervisionado dos modelos.
3. Inovação na Entrada (Input):
   • Testou-se a entrada com "Priming Lexical": adicionar a palavra-chave do léxico explicitamente ao texto (ex: "Palavra: {termo} [texto]"), para guiar o modelo sobre o foco da análise.

C. Validação

• Interna: Teste no conjunto de dados OB-GYN (Monte Sinai).
• Externa: Validação cruzada no conjunto MIMIC-IV para avaliar generalização entre sistemas de saúde e especialidades.

3. Resultados Principais

A. Variação da Valência por Especialidade

• A mesma palavra pode ter conotações diferentes dependendo do contexto.
  • Exemplo: A palavra "difícil" foi anotada como neutra em OB-GYN (referindo-se a um procedimento difícil) mas como estigmatizante em MIMIC-IV (referindo-se ao comportamento do paciente).
• A maioria dos trechos foi classificada como neutra (54% em OB-GYN, 60% em MIMIC-IV), frequentemente devido a linguagem administrativa ou descrições de terceiros.
• OB-GYN tendeu a ter mais linguagem privilegiante, enquanto MIMIC-IV teve mais estigmatizante.

B. Desempenho dos Modelos (Fine-Tuning vs. Prompting)

• Fine-Tuning supera Prompting: O ajuste fino supervisionado superou consistentemente as abordagens de zero-shot e in-context learning, mesmo com LLMs maiores.
• Melhor Modelo: O GatorTron (modelo encoder-only de 345M parâmetros, pré-treinado em texto clínico) com fine-tuning baseado em prompts e lexical priming alcançou o melhor desempenho geral.
  • F1-Score (OB-GYN): 0,96 (superando modelos generativos maiores como Llama-3.3 e Med42).
  • Vantagens: Requer menos recursos computacionais e menos engenharia de prompt.
• Impacto do Priming Lexical: Adicionar a palavra-chave explicitamente ao input melhorou significativamente a performance de todos os modelos.

C. Generalização e Viés de Domínio

• Queda de Desempenho: Modelos treinados em OB-GYN tiveram uma queda drástica de 44% no F1-score ao serem testados no MIMIC-IV (F1 caiu de ~0,96 para <0,70).
• Direção Reversa: Treinar em MIMIC-IV (especialidades mistas) e testar em OB-GYN resultou em uma queda menor de 11%.
• Conclusão: A diversidade de especialidades no treinamento é mais crítica para a generalização do que a diferença entre instituições. Modelos precisam ser adaptados à especialidade médica específica para capturar mudanças semânticas de valência.

4. Contribuições Chave

1. Framework de Valência Emocional: Propõe uma abordagem de três classes (estigmatizante, privilegiante, neutra) que simplifica a anotação clínica e permite análise comparativa entre especialidades.
2. Evidência Empírica sobre Fine-Tuning: Demonstra que, para tarefas de detecção de viés clínico, o fine-tuning supervisionado é superior ao prompting de LLMs generativos, mesmo para modelos menores.
3. Importância da Adaptação de Especialidade: Evidencia que o conhecimento clínico geral (pré-treinamento) não é suficiente; a adaptação à linguagem específica de cada especialidade é essencial para evitar falsos positivos/negativos.
4. Recursos Abertos: Disponibilização de modelos ajustados, léxico com pontuação de valência e dados anonimizados (sob acordo).

5. Significado e Conclusão

O estudo conclui que a detecção de linguagem enviesada em notas clínicas não pode ser tratada como uma tarefa genérica de NLP. A mesma terminologia clínica pode ter significados emocionais opostos dependendo do contexto (ex: uma palavra técnica pode ser neutra em um contexto cirúrgico, mas estigmatizante se aplicada ao comportamento do paciente).

Para sistemas de IA clínica que visam promover equidade e reduzir danos aos pacientes:

• Não basta apenas "promptar" modelos grandes: O fine-tuning específico é obrigatório.
• Contexto é Rei: Modelos devem ser adaptados à especialidade médica e ao contexto institucional.
• Eficiência: Modelos menores e especializados (como GatorTron) podem superar modelos generativos massivos em tarefas específicas de classificação clínica, oferecendo maior escalabilidade e menor custo computacional.

Este trabalho fornece um caminho prático para a implementação de ferramentas de auditoria de viés em sistemas de saúde reais, garantindo que a identificação de linguagem prejudicial seja precisa e confiável.