Resumo Técnico: PACT – Aprendendo Estratégias de Diagnóstico Diversas via Síntese Privilegiada e Consenso de Ramificações

1. Definição do Problema

O diagnóstico clínico é inerentemente uma conversa de múltiplos turnos e incerta, que exige que os médicos empreguem flexivelmente múltiplos paradigmas de raciocínio (ex: teste de hipóteses passo a passo, diagnóstico diferencial paralelo, priorização baseada em urgência ou revisão baseada em evidências) sob informações incompletas. Embora os Grandes Modelos de Linguagem (LLMs) demonstrem forte conhecimento médico, os agentes médicos existentes lutam para aprender esses diversos paradigmas de raciocínio simultaneamente sem interferência.

Dois desafios primários dificultam o desenvolvimento de agentes diagnósticos robustos:

1. Síntese de Dados: Gerar diálogos diagnósticos de alta qualidade e controlados é difícil devido à "assimetria de informação" entre médicos e pacientes. Um sistema de síntese precisa de Registros Eletrônicos de Saúde (EMRs) completos para controle de qualidade, mas o agente médico simulado não deve ver as respostas clínicas ocultas (ex: diagnóstico final, resultados de exames) para evitar vazamento de informações ou perguntas indutivas. Os conjuntos de dados existentes muitas vezes carecem de trajetórias controladas ou sofrem de alucinações quando gerados via role-play não restrito.
2. Treinamento do Modelo: Integrar múltiplos paradigmas de raciocínio em um único modelo implantável não é trivial. Simplesmente misturar diálogos para Ajuste Fino Supervisionado (SFT) obscurece o aprendizado específico de cada paradigma. Por outro lado, treinar modelos separados (ou adaptadores) para cada paradigma leva ao "conflito de gradiente", onde as ramificações treinadas independentemente atualizam em direções incompatíveis, tornando-as difíceis de fundir em um único modelo sem degradação de desempenho.

2. Metodologia

Os autores propõem o PACT (Periodic Anchor Consensus Training), um framework que acopla um novo módulo de síntese de dados a uma estratégia de treinamento baseada em consenso.

A. DPS: Síntese de Dados Médico-Paciente-Supervisor

Para abordar o desafio da síntese de dados, os autores introduzem o DPS, um módulo de destilação inspirado em Learning Using Privileged Information (LUPI).
*로 Separação de Estado: Cada EMR é particionado em informação visível ao paciente ($s_{vis}$: queixa principal, sintomas) e informação clínica privilegiada ($s_{priv}$: exames ocultos, diagnóstico alvo).

• Geração Separada por Papéis: O agente Médico gera perguntas baseando-se apenas na trajetória acumulada e em $s_{vis}$, nunca vendo $s_{priv}$. O agente Paciente responde com base em $s_{vis}$.
• Validação do Supervisor: Dois supervisores (Supervisor do Médico e Supervisor do Paciente) utilizam o EMR completo ($s$) para validar o diálogo. Eles realizam uma verificação de "PASSAR-ou-REESCREVER" para corrigir problemas como vazamento de informação, ritmo ou ausência de perguntas de alto valor, sem reescrever toda a resposta.
• Condicionamento de Paradigma: Este processo gera diálogos validados sob quatro distintos paradigmas de raciocínio clínico:
  1. Serial: Teste de hipóteses passo a passo.
  2. Árvore (Tree): Manutenção de diagnósticos concorrentes para investigação diferencial.
  3. Pilha (Heap): Priorização de perguntas por urgência e valor de informação esperado.
  4. Feedback: Realização de autocrítica antes de responder.

B. PACT: Periodic Anchor Consensus Training

Para abordar o desafio do treinamento, o PACT evita a mistura de dados ou a fusão pós-hoc. Em vez disso, ele treina um único modelo implantável através de agregação periódica.

• Treinamento de Ramificação (Branch Training): O modelo treina uma Ramificação LoRA (adaptador) por paradigma de racínio.
• Regularização de Âncora: Uma Âncora compartilhada ($\Delta_{anc}$) é mantida como o consenso implantável. Durante o treinamento local, cada Ramificação minimiza uma função de perda que compreende a perda da tarefa e um termo de regularização L1 ($\lambda \|\Delta^{(k)} - \Delta_{anc}\|_1$) para manter as ramificações próximas à Âncora.
• Agregação Periódica: A cada $T^*$ épocas, a Âncora é atualizada via um processo de fusão por consenso de sinal:
  1. Poda (Trim): Atualizações de baixa magnitude (ruído) são removidas.
  2. Eleição (Elect): Um voto majoritário determina o sinal de cada dimensão de parâmetro entre as ramificações.
  3. Fusão-Projeção (Merge-Project): Apenas valores consistentes de sinal são calculados pela média, e o resultado é projetado de volta ao rank da LoRA via SVD truncada para manter a estrutura de baixo rank.
• Implantação: Após o treinamento, todos os adaptadores de Ramificação são descartados. O modelo final é simplesmente o modelo base mais a Âncora final ($M + \Delta_{anc}$), não exigindo mudanças arquiteturais ou mecanismos de roteamento durante a inferência.

3. Principais Contribuições

1. Módulo DPS: Um método de construção de dados que sintetiza diálogos de múltiplos paradigmas validados, preservando estritamente a assimetria de informação médico-paciente e evitando o vazamento de rótulos.
2. Framework PACT: Um método de treinamento baseado em consenso que aprende ramificações LoRA específicas de cada paradigma e as agrega periodicamente em um único modelo implantável, evitando a interferência do SFT misto e a incompatibilidade do treinamento independente.
3. Benchmark Dinâmico: A introdução de um benchmark dinâmico de diagnóstico médico em chinês, projetado para avaliar agentes em capacidades de consulta interativa (coleta de evidências, diagnóstico e recomendação de exames) em vez de QA estático de turno único.

4. Resultados Experimentais

Os autores avaliaram o PACT em um benchmark dinâmico de múltiplos turnos usando um simulador de paciente baseado em GPT-4o.

• Desempenho: O PACT (treinado em Qwen3-8B) alcançou 55,31% de Acurácia de Diagnóstico Estrito (DA) e 76,16 de Pontuação Suave (Soft Score), superando significativamente a base proprietária zero-shot mais forte (GPT-4.1) e LLMs especializados em medicina (ex: Doctor-R1, HuatoGPT-o1).
  • Comparado ao GPT-4.1, o PACT melhorou a DA Estrita em +18,61 pontos e o F1 de Exames em +44,06 pontos.
  • Comparado ao modelo base Qwen3-8B, o PACT melhorou a DA Estrita em +22,78 pontos.
• Estudos de Ablação:
  • Dados: Remover qualquer um dos quatro paradigmas de raciocínio dos dados de treinamento reduziu o F1 de Exames em 5–6 pontos, indicando que os paradigmas fornecem supervisão complementar.
  • Treinamento: O PACT superou o Mixed-SFT, o Currículo Sequencial e várias técnicas de fusão pós-hoc (TIES, DARE-TIES). Notavelmente, a fusão pós-hoc padrão (TIES) degradou o desempenho significativamente (40,41% de DA Estrita), validando a necessidade de agregação periódica durante o treinamento.
• Generalização: A abordagem demonstrou generalização cross-arquitetura em Llama3.1-8B e Ministral-3-8B, e mostrou transferibilidade para um cenário traduzido para o inglês.

5. Significância e Alegações

O artigo afirma que o PACT aborda com sucesso os desafios duplos da assimetria de dados e da interferência de paradigmas na IA médica.

• Eficiência: Ao contrário de métodos que exigem roteamento complexo ou múltiplos modelos, o PACT produz um modelo LoRA único padrão, sem sobrecarga adicional de inferência.
• Efetividade: Ao modelar explicitamente diversas estratégias de raciocínio clínico e impor consenso durante o treinamento, o PACT atinge desempenho de estado da arte em cenários de consulta interativa, superando tanto LLMs de propósito geral quanto especializados em medicina.
• Escalabilidade: O framework demonstra que diversas estratégias diagnósticas podem ser aprendidas dentro de um único modelo sem o "esquecimento catastrófico" ou o "conflito de gradiente" tipicamente associados ao aprendizado multitarefa em domínios médicos.

Os autores enfatizam que, embora a coleta de sintomas seja importante (onde o GPT-4.1 teve um desempenho ligeiramente superior), o raciocínio diagnóstico estruturado adquirido através do treinamento de consenso de múltiplos paradigmas é o fator crítico que impulsiona a superioridade na precisão diagnóstica e na qualidade da recomendação de exames.