TriageRA-CCF: Source-Side Clinical Confidence and Coverage Signals for Adaptive Rank Budgeting in Medical LLMs

Resumo Técnico: TriageRA-CCF

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) médicos são frequentemente adaptados usando métodos de Ajuste Fino de Eficiência de Parâmetros (PEFT) como o LoRA, que tipicamente empregam um orçamento de baixo posto (low-rank) fixo para todas as questões de entrada. Os autores argumentam que essa suposição de capacidade fixa é inadequada para o questionário de múltipla escolha médica (MCQA). As questões médicas variam significamente em dificuldade, cobertura clínica e na confiança inerente do modelo base. Algumas questões são itens de simples memorização onde o modelo base já possui uma margem alta, tornando atualizações agressivas de adaptadores desnecessárias ou até prejudiciais. Por outro lado, questões ambíguas, sub-representadas ou de "quase-acerto" (close-miss) podem exigir maior capacidade de adaptação. O desafio central é alocar dinamicamente a capacidade de atualização de baixo posto por entrada sem colapsar em decisões de roteamento instáveis ou desperdiçar recursos computacionais.

Metodologia: TriageRA-CCF
O artigo propõe o TriageRA-CCF, um método para orçamento de posto adaptativo dentro de uma única base LoRA compartilhada. Em vez de aprender um banco de especialistas completos, o modelo aprende um conjunto único de matrizes $A$ e $B$, onde os canais de posto ativos são controlados por um portão (gate) por entrada $x$ via uma máscara diagonal $m(x)$. Um roteador de orçamento seleciona um posto ativo $k(x) \in \{2, 4, 8\}$ a partir de uma base de posto-16 armazenada.

A inovação central é um professor do lado da fonte (source-side teacher) que supervisiona o roteador de orçamento usando três sinais computados exclusivamente a partir dos dados de treinamento da fonte (sem acesso aos rótulos do benchmark alvo):

1. Confiança: Derivada das probabilidades do próximo token do modelo base congelado. Margens amplas e baixa entropia indicam alta confiança (baixo orçamento), enquanto margens baixas e alta entropia sugerem incerteza (alto orçamento).
2. Cobertura Clínica: Conta as ocorrências de células de metadados grosseiros (ex: especialidade/profissão cruzada com tags de operação clínica). Células raras recebem um prior de orçamento médio a alto para abordar a sub-representação na distribuição da fonte.
3. Procuração de Quase-Acerto Contrafactual (Counterfactual Close-Miss Proxy): Identifica casos onde a previsão do modelo base está incorreta, mas a opção correta (gold) está classificada próxima ao topo. Esses "quase-acertos" são sinalizados como candidatos onde uma capacidade extra de adaptador é provável de reparar a resposta.

Esses sinais geram um rótulo de professor $z(x) \in \{0, 1, 2\}$ (correspondente aos postos 2, 4, 8) e um peso $w(x)$. O roteador é treinado usando um estimador straight-through com uma perda de entropia cruzada ponderada contra este professor, juntamente com termos de regularização para custo de orçamento (para evitar a seleção constante do maior posto), entropia (para refinar distribções) e equilíbrio de posto (para evitar a dependência excessiva de canais específicos).

Principais Contribuições

• Formulação: Os autores enquadram o PEFT médico como um orçamento de posto ativo condicionado à entrada, permitindo que cada questão determine seu próprio uso de capacidade LoRA.
• Professor do Lado da Fonte: Introdução de um professor de orçamento CCF (Confiança, Cobertura, Contrafactual) que utiliza apenas dados de treinamento da fonte para guiar o roteador, evitando a necessidade de rótulos do domínio alvo durante a fase de adaptação.
• Implementação: Uma implementação prática de LoRA com orçamento de posto adaptativo via straight-through com estratégias de regularização específicas para estabilizar a política de roteamento discreta.
• Avaliação Empírica: Um protocolo de avaliação unificado em backbones Qwen3-8B e Llama3.1-8B usando CMB como fonte e múltiplos benchmarks deslocados (CMExam, MedQA, MedMCQA) para avaliação.

Resultos
Sob um protocolo de treinamento CMB-fonte correspondente, o TriageRA-CCF alcança a melhor acurácia média entre os baselines de PEFT externos comparados (LoRA, DoRA e MoELoRA) em ambos os backbones:

• Qwen3-8B: 68,79% de acurácia média, superando o baseline mais forte (LoRA r24/a48) em +0,21 pontos.
• Llama3.1-8B: 58,51% de acurácia média, superando o baseline mais forte (MoELoRA) em +0,16 pontos.

Os ganhos são descritos como modestos e não uniformes entre os benchmarks. Por exemplo, o Qwen3-8B mostra melhorias no CMExam e MedQA, enquanto o Llama3.1-8B melhora no CMB e MedQA. Estudos de ablação de componentes revelam que, embora os sinais de confiança, cobertura e contrafactual forneçam supervisão útil individualmente, sua combinação não é monotonicamente a melhor em cada backbone ou dataset. Por exemplo, no Qwen3-8B, um professor de "apenas confiança" alcançou a maior acurácia média, enquanto no Llama3.1-8B, "confiança + cobertura" foi superior.

Significância e Alegações
O artigo afirma que o PEFT médico deve determinar não apenas o que parâmetros aprender, mas também quanto de capacidade de atualização de baixo posto cada entrada requer. A significância do TriageRA-CCF reside em sua capacidade de tornar o orçamento adaptativo competitivo com fortes baselines de posto fixo e mistura de especialistas usando evidências simples do lado da fonte, em vez de verificadores externos complexos ou rótulos do domínio alvo.

Os autores mantêm um tom modesto em relação às suas descobertas:

• Eles declaram explicitamente que as melhorias são pequenas e devem ser interpretadas com cautela, sem alegações de significância estatística de resultados de execução única.
• Enfatizam que o método não garante melhoria universal; sinais de incerteza do lado da fonte são úteis, mas não uma garantia universal.
• A abordagem é desenhada para ser conservadora, evitando a adição de grandes verificadores externos ou novos bancos de especialistas, baseando-se em vez disso em vieses indutivos do lado da fonte para estabilizar a política adaptativa.
• Limitações são reconhecidas, incluindo o uso de metadados clínicos fracos, a falta de testes de estresse em corpora maiores ou não de exames, e o fato de o posto ativo ser um diagnóstico de capacidade, não uma medição direta de latência.