Supervised Fine-tuning with Synthetic Rationale Data Hurts Real-World Disease Prediction

Resumo Técnico: O Ajuste Fino Supervisionado com Dados de Racionalização Sintética Prejudica a Predição de Doenças no Mundo Real

Declaração do Problema
O artigo investiga uma suposição prevalente na IA médica: a de que o Ajuste Fino Supervisionado (SFT - Supervised Fine-Tuning) com dados de racionalização sintética melhora o desempenho de modelos de linguagem em tarefas de predição clínica ao ensinar aos modelos não apenas o que prever, mas por que. Embora trabalhos anteriores sugiram que o aprendizado de cadeias de raciocínio aumenta a generalização, a interpretabilidade e a auditabilidade, este estudo questiona se essa intuição se mantém em configurações de predição do mundo real de alto risco, caracterizadas por sinais esparsos e heterogêneos. Os autores focam na predição de cinco anos para Doença de Alzheimer e Demências Relacionadas (ADRD) a partir de históricos de saúde longitudinais, uma tarefa onde o risco se acumula através de vias diversas e fracas, em vez de um único precursor definidor.

Metodologia
Os autores conduziram um experimento controlado de larga escala envolvendo 504 configurações para testar o impacto do SFT baseado em racionalização.

• Conjunto de Dados: O estudo utilizou uma coorte de 42.566 participantes (8.802 casos de ADRD e 33.764 controles pareados) derivados dos dados do UK Biobank. As entradas consistiam em históricos médicos com carimbo de idade (códigos ICD-10, testes cognitivos, fatores de estilo de vida) com uma média de apenas 17,7 características observadas por registro, criando um ambiente de sinal esparso.
• Design Experimental: Os modelos foram ajustados finamente (fine-tuned) na mesma tarefa de predição de ADRD usando três formatos distintos de alvo de treinamento:
  1. Sem Racionalização: O modelo produz apenas o rótulo binário (0 ou 1).
  2. Racionalização Livre: O modelo produz uma narrativa de formato livre, medicamente plausível, explicando a predição, seguida pelo rótulo.
  3. Racionalização Passo a Passo: O modelo produz um processo de raciocínio estruturado em três etapas, seguido pelo rótulo.
     As racionalizações foram geradas por um LLM antes do SFT, instruído a usar apenas evidências presentes no registro do paciente.
• Modelos e Hiperparâmetros: Os experimentos cruzaram três formatos de alvo, três tamanhos de amostra de treinamento (1,5K, 3,8K, 15,3K), quatro taxas de aprendizado, dois modelos base (Qwen2.5-7B-Instruct e o orientado ao raciocínio Qwen3-8B) e sete configurações de decodificação (greedy, top-k, top-p em várias temperaturas).
• Avaliação: O desempenho foi medido via ROC-AUC, PR-AUC, F1 score e recall em um conjunto de teste retido de 853 indivíduos. A significância estatística foi avaliada via testes t pareados e o teste de DeLong pareado.
• Verificações de Qualidade: Para descartar a má qualidade dos dados como causa da falha, os autores realizaram a anotação por especialistas humanos das racionalizações geradas e conduziram experimentos de inferência few-shot utilizando as mesmas racionalizações como demonstrações, em vez de alvos de treinamento.

Principais Resultados
O estudo descobriu que o SFT baseado em racionalização degrada consistentemente e substancialmente o desempenho de predição em comparação ao ajuste fino de apenas rótulo.

• Degradação de Desempenho: Em todas as 504 configurações, os modelos treinados com alvos de apenas rótulo alcançaram uma média de ROC-AUC de 0,734. Em contraste, modelos treinados com racionalizações de formato livre alcançaram 0,604, e aqueles com racionalizações passo a passo alcançaram 0,592. Essa degradação persistiu em todos os tamanhos de conjunto de treinamento e modelos base.
• Modelos Orientados ao Raciocínio: A mudança para um modelo base orientado ao raciocínio (Qwen3-8B) não mitigou a degradação; de fato, o Qwen3-8B teve um desempenho ligeiramente inferior ao Qwen2.5-7B-Instruct quando treinado com racionalizações.
• A Qualidade da Racionalização Não é o Problema:
  • Anotação Humana: Especialistas clínicos avaliaram as racionalizações geradas como medicamente precisas e fiéis às evidências do paciente (pontuações altas para lógica, correção biomédica e fidelidade).
  • Demonstrações Few-Shot: Quando o mesmo estilo de racionalização foi usado como demonstração durante a inferência (aprendizado few-shot) em vez de alvo de treinamento, o desempenho melhorou significativamente (ROC-AUC subiu de ~0,56 para 0,65). Isso confirma que as racionalizações contêm sinal discriminativo genuíno, mas falham quando usadas como alvos de SFT.
• Análise de Erro: Modelos de apenas rótulo aprenderam a focar em características discriminativas específicas e de alto valor (ex: delirium, Parkinson, doença cerebrovascular). No entanto, os modelos baseados em racionalização aprenderam a priorizar marcadores de morbidade ampla, porém "plausíveis", mas menos discriminativos (ex: distúrbios retinianos, úlceras duodenais), levando a taxas mais altas de falsos positivos em controles e falsos negativos em casos.

Análise da Causa Raiz
Os autores identificam um conflito estrutural entre a plausibilidade narrativa e a otimização discriminativa.

• Plausibilidade vs. Discriminação: Uma racionalização medicamente plausível deve contar uma história coerente consistente com vias de risco conhecidas, frequentemente enfatizando marcadores amplos comuns tanto em casos quanto em controles. A otimização discriminativa, contudo, exige o aprendizado de combinações de características específicas, muitas vezes esparsas, que distinguem futuros casos de controles pareados em uma coorte específica.
• Orçamento de Otimização: No SFT baseado em racionalização, a perda é dominada pelo texto gerado (50–150 tokens), enquanto o token do rótulo representa menos de 2% da conclusão. Consequentemente, o modelo otimiza para reproduzir a estrutura narrativa em vez de aprender a fronteira de decisão. Isso redireciona o orçamento de otimização para longe do sinal discriminativo necessário para uma predição precisa.

Significância e Alegações
O artigo afirma fornecer uma compreensão precisa das limitações da supervisão baseada em racionalização na predição clínica.

• Limitação Contextual: Os achados sugerem que, embora as racionalizações sintéticas sejam valiosas para orientação em tempo de inferência (demonstrações), elas são contraproducentes como alvos de treinamento em configurações onde os sinais discriminativos são esparsos e heterogêneos.
• Desenvolvimento Responsável: O trabalho alerta contra o uso de racionalizações sintéticas como um atalho para uma explicação confiável em domínios de alto risco. Argumenta-se que o ajuste fino de apenas rótulo não é uma abordagem "mais fraca" nesses contextos, mas é, de fato, superior porque mantém o alvo de otimização diretamente alinhado com a tarefa de predição.
• Direções Futuras: Os autores sugerem que trabalhos futuros explorem a filtragem de racionalização discriminativa, funções de perda ponderadas pelo rótulo ou objetivos híbridos para recuperar os benefícios do raciocínio sem sacrificar o desempenho discriminativo. Eles declaram explicitamente que seus resultados não implicam que o raciocínio clínico seja desinformativo, mas sim que o método atual de usar racionalizações geradas como alvos de SFT é pouco confiável para este cenário de predição específico.