L2D-Clinical: Learning to Defer for Adaptive Model Selection in Clinical Text Classification

Resumo Técnico: L2D-Clinical

1. Problema e Motivação

A classificação de texto clínico é fundamental para aplicações de Processamento de Linguagem Natural (PLN) em saúde, como a detecção de Eventos Adversos a Medicamentos (ADE) e a extração de resultados de tratamentos. Atualmente, existe um dilema na escolha de modelos:

• Modelos Especializados (BERT): Variantes como BioBERT e ClinicalBERT, pré-treinadas em domínios biomédicos, geralmente oferecem alto desempenho em tarefas de reconhecimento de padrões e são eficientes. No entanto, podem falhar em nuances semânticas complexas ou linguagem implícita.
• Modelos de Linguagem Grandes (LLMs): Oferecem raciocínio contextual e conhecimento de mundo amplo, mas são caros, têm latência elevada e seu desempenho varia significativamente dependendo da tarefa.

Nenhum dos dois modelos domina universalmente todas as instâncias. O desafio reside em criar um sistema que saiba quando confiar no modelo especializado e quando delegar (deferir) a tarefa para o LLM, minimizando custos e maximizando a precisão. Diferente de trabalhos anteriores de "Learning to Defer" (L2D) que assumem que o "especialista" (humano) é sempre superior, este trabalho aborda um cenário onde o "especialista" (LLM) pode ser inferior ao modelo base (BERT) em termos de desempenho geral, mas superior em casos específicos.

2. Metodologia (L2D-Clinical)

O framework proposto, L2D-Clinical, é um modelo de deferência adaptativo que aprende a rotear instâncias entre um classificador BERT e um LLM.

• Formulação do Problema: O objetivo é aprender uma função de deferência $d(x)$ que estima a probabilidade de o BERT cometer um erro. Se $d(x)$ ultrapassar um limiar $\tau$, a entrada é enviada ao LLM; caso contrário, a previsão do BERT é mantida.
• Engenharia de Recursos (Features): O modelo de deferência utiliza dois tipos de sinais para prever falhas:
  1. Sinais de Incerteza: Derivados da distribuição de probabilidade softmax do BERT (confiança máxima, entropia e margem entre as duas classes mais prováveis).
  2. Características do Texto: Indicadores linguísticos específicos da tarefa (ex: presença de linguagem causal explícita como "causado por" para ADEs, ou termos de resultado como "interrompido" para desfechos de tratamento).
• Treinamento: Um modelo de Regressão Logística é treinado para prever se o BERT errou na validação. A regressão logística foi escolhida por sua interpretabilidade (coeficientes claros) e eficiência, evitando o overfitting em conjuntos de dados moderados.
• Ground Truth Consensual (MIMIC-IV): Para a tarefa de desfecho de tratamento, os autores criaram um novo conjunto de dados de referência (ground truth) utilizando consenso entre múltiplos LLMs (GPT-5.2 e Claude 4.5), validado posteriormente por especialistas humanos, garantindo alta qualidade nas anotações.

3. Contribuições Principais

1. Deferência AI-to-AI: É o primeiro trabalho a aplicar o framework L2D para delegação entre sistemas de IA (BERT $\to$ LLM), onde o "especialista" (LLM) não é universalmente superior. O sistema aprende a explorar a complementaridade de erros, mesmo quando o LLM tem um F1 global menor.
2. Comportamento Adaptativo: O sistema ajusta dinamicamente a taxa de deferência baseada na força relativa dos modelos em tarefas específicas, otimizando o custo da API sem sacrificar a precisão.
3. Novo Ground Truth para MIMIC-IV: Introdução de uma metodologia de anotação por consenso multi-LLM com validação humana, superando a anotação de modelo único.
4. Interpretabilidade Clínica: O uso de regressão logística permite que clínicos entendam por que um caso foi deferido (ex: alta entropia, linguagem hedged), facilitando a validação clínica.

4. Resultados Experimentais

Os autores avaliaram o sistema em duas tarefas distintas com dinâmicas opostas de desempenho dos modelos:

• Tarefa 1: Detecção de ADE (ADE Corpus V2)

  • Cenário: BioBERT é superior ao LLM (F1: 0.911 vs. 0.765).
  • Resultado: O L2D-Clinical alcançou F1 = 0.928 (+1,7 pontos sobre o BERT puro).
  • Mecanismo: O sistema deferiu apenas 7% das instâncias. Nessas poucas vezes, o LLM recuperou casos que o BERT perdeu (alta recall), compensando seus erros gerais.
  • Análise de Erro: O BERT falhava em linguagem hedged (ex: "pode estar relacionado"), enquanto o LLM capturava essas nuances.

• Tarefa 2: Classificação de Desfecho de Tratamento (MIMIC-IV)

  • Cenário: O LLM (GPT-5-nano) é superior ao ClinicalBERT (F1: 0.967 vs. 0.887).
  • Resultado: O L2D-Clinical alcançou F1 = 0.980 (+9,3 pontos sobre o BERT puro).
  • Mecanismo: O sistema deferiu 16,8% dos casos, aprendendo a usar o LLM mais frequentemente onde ele é superior, mas ainda mantendo o BERT para casos de padrão explícito.
  • Comparação: Superou uma linha de base de limiar fixo (que deferia 26,2% dos casos) com menor custo e maior precisão.

• Análise de Custo: O uso seletivo do LLM reduziu os custos de API em 81% a 93% em comparação com o uso exclusivo de LLMs, mantendo ou melhorando a acurácia.

5. Significado e Implicações

O trabalho demonstra que a combinação de modelos especializados e gerais não precisa ser uma escolha binária ("um ou outro"). O L2D-Clinical oferece um framework principiado para:

• Eficiência de Custos: Reduz drasticamente o uso de LLMs caros, tornando a aplicação em larga escala em hospitais viável.
• Robustez: O sistema adapta-se automaticamente a diferentes dinâmicas de tarefas, sem necessidade de ajuste manual de hiperparâmetros para saber qual modelo é "melhor".
• Transparência: A natureza interpretável das decisões de deferência é crucial para a adoção clínica, permitindo que profissionais de saúde validem a lógica do sistema.
• Escalabilidade: O framework pode ser estendido para outros tipos de tarefas de PLN clínico (NER, extração de relações) e para cadeias de modelos (cascata de vários modelos).

Em suma, o L2D-Clinical avança o estado da arte ao provar que a inteligência artificial pode aprender a gerenciar sua própria incerteza e complementaridade, otimizando o trade-off entre precisão e custo em ambientes críticos como a saúde.