Resumo Técnico: Co-design Humano-IA para Modelos de Predição Clínica (HACHI)

Definição do Problema

O desenvolvimento de Modelos de Predição Clínica (CPMs) seguros, eficazes e praticamente úteis exige tradicionalmente uma colaboração iterativa entre especialistas clínicos, cientistas de dados e informáticos. Embora modelos simples e totalmente interpretáveis (ex: escores baseados em regras) sejam preferidos na prática clínica por sua facilidade de implementação e auditabilidade, eles são difíceis de desenvolver em escala. O processo é intensivo em tempo e recursos porque requer o refinamento de detalhes críticos, como a seleção de características e as definições de categorias clínicas.

Este desafio é exacerbado ao tentar incorporar informações de notas clínicas não estruturadas. Estas notas contêm um número essencialmente infinito de conceitos (ex: variações de histórico de "tabagismo"), tornando a exploração manual de todas as possíveis características inviável. Embora os Modelos de Linguagem de Grande Escala (LLMs) recentes possam extrair conceitos e mimetizar o raciocínio clínico, as abordagens de agentes de IA existentes frequentemente operam isoladamente. Sem orientação externa de especialistas do domínio, estes agentes podem aprender conceitos excessivamente simplistas, carecer de credibilidade clínica ou sofrer de vazamento de dados (data leakage), resultando em modelos que falham em se traduzir para a prática clínica. Além disso, existe um "abismo de visualização" (gulf of envisionment) onde as equipes clínicas inicialmente carecem de clareza para especificar instruções de tarefas exatas para um agente de IA, necessitando de um processo iterativo para alinhar os objetivos.

Metodologia: O Framework HACHI

Os autores introduzem o HACHI (Human+Agent Co-design for Healthcare Instruments), um framework iterativo de interação humano-no-loop (human-in-the-loop) projetado para acelerar o desenvolvimento de CPMs totalmente interpretáveis. O HACHI alterna entre um agente de IA explorando conceitos candidatos e uma equipe de IA clínica fornecendo feedback para refinar o processo de aprendizado.

Componentes Principais

1. Definição de Conceito: Os conceitos são definidos como perguntas simples de sim/não, interpretáveis por humanos (ex: "A nota menciona que o paciente tem...?") utilizadas dentro de modelos lineares.
2. O Loop do Agente de IA (Loop Interno): O agente realiza um procedimento de busca gananciosa (greedy hill-climbing) para selecionar $k$ conceitos que maximizem a acurácia preditiva. Isso envolve três etapas:
   • Inicializar: O agente extrai palavras-chave de notas clínicas e propõe $k$ perguntas de conceitos iniciais baseadas em conhecimento de mundo e palavras-chave.
   • Propor: Usando um modelo de saco de palavras (bag-of-words) nos dados de treinamento, o agente identifica palavras-chave associadas ao desfecho e propõe novas perguntas de conceitos candidatos.
   • Avaliar: O agente anota notas clínicas para cada conceito candidato, ajusta um CPM (usando regressão logística com penalização lasso) e avalia o desempenho em um conjunto de validação. O melhor conceito performante substitui o atual.
3. O Loop da Equipe de IA Clínica (Loop Externo): A equipe revisa os resultados da rodada do agente de IA através de uma interface web em conformidade com a PHI (Proteção de Informações de Saúde Protegidas). Eles fornecem feedback direcional ao:
   • Modificar prompts de texto livre (ex: alterar o prefixo das perguntas para garantir que extraiam atributos do paciente em vez de estilos de escrita de notas).
   • Ajustar critérios de inclusão de dados (ex: remover pacientes com resultados prévios de TC para evitar vazamento de dados).
   • Modificar ferramentas estatísticas (ex: adicionar pesos amostrais para abordar desequilíbrios entre centros/sites).
   • Impor prioridades clínicas (ex: exigir que os sinais dos coeficientes correspondam à intuição clínica).

Implementação

O framework foi aplicado a duas tarefas do mundo real na UCSF:

• Traumatismo Cranioencefálico (TBI): Predição de diagnóstico de TBI em crianças que apresentam trauma craniano.
• Lesão Renal Aguda (AKI): Predição de AKI pós-operatória em pacientes adultos de cirurgia geral.
  O processo tipicamente exigiu de 3 a 4 rodadas de iteração para atingir um modelo satisfatório.

Resultados Principais

Estudo de Caso 1: Traumatismo Cranioencefálico (TBI)

• Desempenho: O modelo HACHI final alcançou uma AUC de 0,91 global, superando a regra PECARN padrão (AUC 0,75) e uma abordagem de brainstorming de rodada única (AUC 0,88).
• Melhorias Iterativas:
  • Rodada 1: Alcançou uma AUC alta (0,92), mas baseou-se em correlações espúrias (ex: "nota menciona GCS") e vazamento de dados (pacientes com resultados prévios de TC).
  • Rodada 2: Após remover casos de TC prévia e refinar os prompts para focar em atributos do paciente, a AUC caiu para 0,90, mas os conceitos tornaram-se clinicamente válidos.
  • Rodada 3: Os coeficientes foram alinhados com as prioridades clínicas (ex: garantir que um GCS normal tivesse um coeficiente negativo).
  • Rodada 4: Abordou problemas de generalização entre dois campi hospitalares (Oakland vs. Mission Bay) introduzindo pesos amostrais. Isso melhorou a AUC do Mission Bay de 0,71 para 0,80, mantendo o desempenho global.
• Novidade: O modelo final incluiu uma característica inédita: "O paciente possui marcha normal?" que não estava nas regras padrão do PECARN.

Estudo de Caso 2: Lesão Renal Aguda (AKI)

• Desempenho: O modelo HACHI final alcançou uma AUC de 0,73 no conjunto de validação interna e 0,76 em um conjunto de teste temporalmente distinto (Período 2). Isso superou o modelo de Kheterpal (AUC ~0,65) e uma abordagem de brainstorming de rodada única (AUC 0,70).
• Melhorias Iterativas:
  • Rodada 1: Focou apenas em características do paciente (AUC 0,60).
  • Rodada 2: Expandiu para incluir fatores de risco cirúrgicos (ex: tipo de cirurgia), melhorando a AUC para 0,70.
  • Rodada 3: Refinou as definições de conceitos para serem mais precisas (ex: definindo "infecção sistêmica ativa" com exemplos) e incluiu fatores de medicação. Isso aumentou a AUC para 0,73 e melhorou a generalização temporal.
• Novidade: O modelo identificou fatores não comumente presentes em escores interpretáveis de AKI, como "cirurgia minimamente invasiva" (protetora), "taquicardia" e "apneia do sono".

Principais Contribuições

1. Framework para Co-design: O HACHI demonstra que a colaboração significativa entre equipes de IA clínica e agentes de IA pode produzir modelos de alto desempenho e interpretáveis que são superiores a abordagens de IA zero-shot ou engenharia de características manual tradicional.
2. Superando o "Abismo de Visualização": O framework aborda a falta inicial de clareza na especificação de tarefas usando um loop de feedback iterativo. Isso permite que as equipes alinhem gradualmente as capacidades do agente de IA com os objetivos clínicos, refinando prompts, dados e métricas de avaliação ao longo do tempo.
3. Descoberta de Novos Preditores: O processo descobriu conceitos clinicamente relevantes frequentemente omitidos em CPMs padrão (ex: marcha no TBI, cirurgia minimamente invasiva no AKI), enquanto recuperou preditores conhecidos.
4. Eficiência: O framework é eficiente, exigindo apenas 1 a 2 horas de revisão da equipe por rodada, sendo 3 a 4 rodadas suficientes para atingir um modelo robusto.
5. Interpretabilidade e Confiança: Ao definir conceitos como perguntas de sim/não e permitir a revisão humana de cada etapa, o framework garante que os modelos resultantes sejam transparentes, auditáveis e clinicamente credíveis.

Significância e Alegações

O artigo afirma que o HACHI oferece um caminho prático para o desenvolvimento de CPMs locais e interpretáveis, adaptados a populações de pacientes específicas e contextos institucionais. Diferente de modelos complexos de "caixa-preta", os modelos derivados do HACHI são simples o suficiente para implementação à beira do leito (aritmética mental ou rápida revisão de prontuário) e podem ser auditados por especialistas do domínio.

Os autores enfatizam que a supervisão humana é essencial não apenas para validação, mas para moldar o processo de desenvolvimento de formas que os agentes de IA não conseguem alcançar sozinhos — especificamente para identificar vazamento de dados, corrigir correlações espúrias, garantir a equidade entre diferentes centros e refinar a granularidade dos conceitos. O framework é projetado para ser acessível, exigindo apenas acesso a notas clínicas, um LLM em conformidade com a PHI e orientação de uma equipe de IA clínica.

O artigo conclui com alegações modestas sobre a implementação: embora a validação retrospectiva tenha mostrado um desempenho forte, a validação prospectiva em fluxos de trabalho clínicos em tempo real ainda é necessária. Adicionalmente, a qualidade dos modelos depende da precisão da extração do LLM e das práticas específicas de documentação da instituição. Os autores posicionam o HACHI como um passo para democratizar a criação de ferramentas clínicas de alta qualidade e interpretáveis sem os custos de recursos proibitivos do desenvolvimento tradicional.