Learning from Disagreement: Clinician Overrides as Implicit Preference Signals for Clinical AI in Value-Based Care

1. Declaração do Problema

Os atuais Sistemas de Apoio à Decisão Clínica (CDS) sofrem com altas taxas de substituição (frequentemente >96%), que são tradicionalmente interpretadas como falhas do sistema (fadiga de alerta, baixa especificidade) a serem minimizadas. O artigo argumenta que essa interpretação é fundamentalmente equivocada.

• O Equívoco Central: Tratar substituições como ruído descarta a fonte mais rica de dados de preferência disponível na IA clínica.
• O Desafio Específico: No Aprendizado por Reforço a partir de Feedback Humano (RLHF) padrão, os anotadores são frequentemente uniformes ou tratados como tendo peso igual. Em ambientes clínicos, a heterogeneidade dos clínicos é crítica. Uma "rejeição" de uma recomendação de IA pode decorrer de:
  1. Julgamento Clínico Genuíno: A IA está errada (sinal de preferência válido).
  2. Lacunas de Capacidade: A IA está certa, mas o clínico carece da habilidade/confiança para executar a ação (sinal de preferência inválido para o modelo de recompensa, mas sinal válido para um modelo de capacidade).
  3. Restrições de Fluxo de Trabalho/Protocolo: Fatores externos não relacionados à qualidade clínica.
• O Modo de Falha: Sistemas ingênuos de aprendizado de preferência confundem esses sinais. Se uma população de clínicos de baixa capacidade substituir uma recomendação correta, mas difícil (por exemplo, iniciar inibidores de SGLT2 para insuficiência cardíaca), o sistema aprende que a recomendação é "ruim" e a suprime. Os autores denominam isso de Viés de Supressão.

2. Metodologia e Framework Formal

O artigo propõe um framework formal que reinterpreta substituições como sinais implícitos de preferência condicionados a três variáveis: Estado do Paciente ($s$), Contexto/Contrato Organizacional ($c$) e Capacidade do Clínico ($\kappa$).

A. Taxonomia de Substituições

Os autores categorizam as substituições em cinco tipos distintos, cada um mapeando para um alvo específico de atualização do modelo:

1. Contexto: O clínico possui informações privadas não presentes no estado da IA (Atualização: Expandir Representação do Estado).
2. Julgamento: Desacordo genuíno com a evidência (Atualização: Modelo de Recompensa).
3. Fluxo de Trabalho: Restrições como tempo/funcionários (Atualização: Filtrar dos dados de treinamento).
4. Protocolo: Regras institucionais que sobrepõem a IA (Atualização: Expandir o Contexto do Contrato).
5. Capacidade: O clínico carece da habilidade para executar (Atualização: Modelo de Capacidade).

B. Arquitetura de Aprendizado Dual

O framework introduz um problema de aprendizado dual resolvido via otimização alternada para separar "o que está certo" de "quem pode fazer".

1. Modelo de Recompensa ($R_\theta$): Aprende o valor clínico-econômico latente das ações. É treinado em pares de preferência ponderados pela capacidade do clínico.
   • Fórmula: $P(a' \succ r | s, c, \kappa) = \sigma(\beta(\kappa) \cdot [R^*(s, a', c) - R^*(s, r, c)])$
   • A função de ponderação $\beta(\kappa)$ garante que clínicos de alta capacidade impulsionem as atualizações de recompensa, enquanto substituições de baixa capacidade sejam subponderadas.
2. Modelo de Capacidade ($\kappa_\phi$): Aprende a competência específica do domínio de cada clínico.
   • Estima o quão bem o comportamento de um clínico se alinha com a melhor estimativa atual do modelo de recompensa.
   • Decomposição: $\kappa$ é dividido em Capacidade de Execução (eles conseguem fazer?) e Capacidade de Alinhamento (eles praticam de uma forma alinhada com resultados baseados em valor?).

C. Loop de Otimização Alternada

Para evitar raciocínio circular e viés de supressão, o sistema itera:

1. Passo E: Fixar o Modelo de Recompensa ($R_\theta$) e estimar a Capacidade do Clínico ($\kappa$) com base no quão bem $R_\theta$ prevê as substituições do clínico.
2. Passo M: Fixar o Modelo de Capacidade ($\kappa$) e atualizar o Modelo de Recompensa ($R_\theta$) usando probabilidades de preferência ponderadas por capacidade.
3. Ancoragem em Resultados: Para evitar que o sistema convirja para o viés coletivo dos clínicos, os modelos convergidos são validados contra resultados longitudinais de pacientes (por exemplo, taxas de hospitalização, controle de HbA1c) observados retrospectivamente.

D. Vantagem da Ação "Modificar"

Diferentemente do RLHF padrão que usa comparações binárias pareadas, as substituições clínicas oferecem uma resposta de três valores:

• Aceitar: Endosso.
• Rejeitar: Preferência por uma alternativa (binário).
• Modificar: O sinal mais rico. Fornece um par de preferência mais um sinal de proximidade (a alternativa está próxima da recomendação) e uma direção de gradiente (como melhorar a recomendação).

3. Contribuições Principais

1. Reinterpretação de Substituições: Mudança de paradigma de "substituições como ruído/falha" para "substituições como dados de preferência estruturados".
2. Aprendizado de Preferência Condicionado à Capacidade: Uma formulação novel onde o peso de um sinal de preferência é uma função da capacidade do anotador ($\kappa$), prevenindo a supressão de recomendações corretas, mas difíceis.
3. Arquitetura de Aprendizado Dual: Uma solução formal para o problema acoplado de aprender um modelo de recompensa e um modelo de capacidade simultaneamente, abordando explicitamente o Viés de Supressão.
4. Recompensas Condicionadas ao Contexto: Extensão do aprendizado de preferência para incluir estruturas de contrato organizacional ($c$), reconhecendo que a ação "correta" em Cuidados Baseados em Valor (CBV) difere do Pagamento por Serviço (PPS).
5. Blueprint do Sistema: Uma arquitetura completa para capturar, classificar e aprender com substituições, incluindo mecanismos de andaime para melhorar a capacidade do clínico com base nas percepções do modelo.

4. Resultados e Validação (Contexto Teórico e Empírico)

• Demonstração do Viés de Supressão: O artigo demonstra teoricamente que, em uma população onde 70% dos clínicos carecem da capacidade para executar uma terapia recomendada por diretrizes, um modelo ingênuo aprende que a terapia é subótima. O modelo corrigido por $\kappa$ proposto identifica corretamente a terapia como ótima ao subponderar as substituições de baixa capacidade.
• Roda de Dados (Data Flywheel): No cuidado crônico em CBV, o sistema cria uma vantagem de aprendizado cumulativa:
  • Densidade Longitudinal: Milhares de interações por clínico por trimestre.
  • Observabilidade de Resultados: Diferentemente do RLHF padrão, os resultados clínicos (por exemplo, hospitalização) fornecem a verdade fundamental para validar preferências.
  • Concentração: À medida que o modelo melhora, as substituições concentram-se em "pontos cegos" (sinais de aprendizado de alto valor) em vez de decisões rotineiras.
• Procedência Operacional: O framework surgiu de trabalho operacional em uma implantação viva de CBV, abordando patologias do mundo real onde recomendações desapareciam porque a população não conseguia executá-las.

5. Significado e Implicações

• Para IA Clínica:
  • Instrumentação é Crítica: Os sistemas devem ser projetados desde o dia um para capturar dados estruturados de substituição (incluindo a alternativa específica escolhida), não apenas aceitar/rejeitar binário.
  • Andaime: O sistema pode melhorar ativamente a força de trabalho identificando lacunas de capacidade e fornecendo suporte direcionado (por exemplo, listas de verificação, protocolos) a clínicos de baixo $\kappa$, aumentando assim a qualidade dos sinais de preferência futuros.
• Para Pesquisa em RLHF:
  • Heterogeneidade do Anotador: O conceito de ponderar preferências pela capacidade do anotador ($\kappa$) é generalizável para geração de código, revisão jurídica e moderação de conteúdo.
  • O Contexto Importa: As funções de recompensa devem ser condicionadas ao contexto operacional (por exemplo, tipo de contrato, política da plataforma), não apenas à qualidade intrínseca.
• Política e Economia:
  • O artigo argumenta que Cuidados Baseados em Valor (CBV) com incentivos baseados em resultados é uma condição necessária para aprender modelos de recompensa alinhados. Estruturas de Pagamento por Serviço (PPS) criam incentivos desalinhados que corrompem o sinal de preferência, independentemente da sofisticação da IA.
  • Desenvolvedores de IA e formuladores de políticas devem alinhar-se para criar geometrias de incentivo (como o modelo CMS ACCESS) que recompensem intervenções definitivas e precoces, permitindo que a IA aprenda com dados de alta qualidade validados por resultados.

Conclusão

O artigo estabelece que as substituições por clínicos não são falhas, mas o sinal de treinamento mais valioso na IA clínica, desde que processadas através de um framework de aprendizado dual que desentrelaça a verdade clínica (Recompensa) da limitação humana (Capacidade). Ao alavancar dados longitudinais de resultados e ponderação condicionada à capacidade, a IA clínica pode simultaneamente melhorar suas recomendações e a capacidade da força de trabalho clínica de executá-las, criando uma roda de dados cumulativa de resultados de pacientes aprimorados.