Resumo Técnico: Construção Automática de Sistemas de Pontuação Clínica com Agentes LLM

Declaração do Problema

A prática clínica moderna depende de sistemas de pontuação compactos e baseados em evidências (por exemplo, CURB-65, SOFA) compostos por um pequeno número de regras de decisão interpretáveis. Esses sistemas são projetados para execução à beira-leito, exigindo memorabilidade, auditabilidade e operação sem auxílios computacionais. No entanto, muitos modelos de aprendizado de máquina (ML) de alto desempenho falham em se traduzir para o uso clínico rotineiro porque estão desalinhados com essas restrições de fluxo de trabalho. Eles frequentemente dependem de entradas inconsistentemente disponíveis, exigem pré-processamento complexo ou produzem cálculos de pesos contínuos que são difíceis de executar manualmente.

Os métodos automatizados existentes para aprender pontuações clínicas geralmente enfrentam uma "lacuna de geração-seleção". Abordagens como RiskSLIM ou Optimal Checklists otimizam sobre uma matriz de características fixa e pré-construída. Elas não conseguem descobrir automaticamente regras derivadas clinicamente significativas (por exemplo, razões fisiológicas, tendências temporais ou composições lógicas superficiais) a partir de variáveis brutas. Consequentemente, o ônus de construir o espaço de hipóteses recai sobre a engenharia de características manual, limitando a cobertura do espaço de regras combinatórias que as diretrizes clínicas consideram rotineiramente.

O desafio central é otimizar conjuntamente a construção de regras e a compatibilidade com listas de verificação dentro de uma classe de modelo restrita (listas de verificação sem ordem e com peso unitário), enquanto se navega por um espaço de busca discreto exponencialmente grande que é intratável para enumeração exaustiva ou otimização padrão baseada em gradiente.

Metodologia: AgentScore

Os autores apresentam o AgentScore, um framework que conecta Modelos de Linguagem de Grande Escala (LLMs) e otimização discreta para construir automaticamente sistemas de pontuação clínica implantáveis. O sistema trata os LLMs não como tomadores de decisão autônomos, mas como mecanismos de proposta semântica estruturada embutidos em um loop de verificação determinístico e fundamentado em dados.

1. Linguagem de Regras e Restrições

O AgentScore opera dentro de uma linguagem de regras restrita e motivada clinicamente $\mathcal{R}$ que suporta:

• Limites e intervalos numéricos: Pontos de corte padrão (por exemplo, $FC > 100$).
• Regras de presença categóricas e binárias: Diagnósticos ou comorbidades.
• Razões e contrastes fisiológicos: Índices derivados (por exemplo, $FC/PA$).
• Regras baseadas em contagem: Critérios M-de-N (por exemplo, critérios SIRS).
• Composições lógicas superficiais: Operações AND/OR de profundidade limitada para preservar a memorabilidade.
• Regras temporais e distribucionais: Tendências, deltas e limites baseados em quantis derivados de dados longitudinais.

O modelo alvo é uma lista de verificação N-de-M com peso unitário: um conjunto esparsos de regras binárias $S$ onde a pontuação é a contagem de regras satisfeitas ($S(\tilde{x}) = \sum r_j(\tilde{x})$), e uma decisão é tomada se a pontuação exceder um limite $\tau$.

2. O Pipeline do AgentScore

O procedimento de aprendizado decompõe o problema em três etapas (Figura 2):

• Proposta de Regras (Agente LLM): Um LLM propõe regras candidatas com base em uma descrição do conjunto de dados e estatísticas agregadas fornecidas via uma interface de ferramenta. Crucialmente, o LLM nunca observa registros individuais de pacientes, mitigando riscos de privacidade e alucinações. Ele gera regras JSON estruturadas aderindo à gramática.
• Validação e Filtragem Determinísticas:
  • Triagem Estatística: As regras propostas são avaliadas em dados retidos. Uma regra é mantida apenas se atender a um limite mínimo de discriminação (por exemplo, AUROC $\ge 0.60$) e passar em verificações de redundância (similaridade de Jaccard na cobertura da classe positiva) contra o pool atual.
  • Verificação de Plausibilidade Clínica: Um segundo agente LLM atua como uma "auto-verificação" para rejeitar regras que são estatisticamente válidas, mas clinicamente sem sentido ou semanticamente incoerentes.
• Montagem da Pontuação (Agente LLM): Um terceiro agente seleciona um subconjunto compacto de regras do pool mantido para formar a lista de verificação final. Este agente é orientado a propor combinações semanticamente diversas (por exemplo, abrangendo domínios respiratório, cardiovascular e renal) em vez de apenas proxies estatisticamente similares.
• Refinamento Iterativo: O agente de montagem pode refinar iterativamente a lista de verificação, recebendo feedback sobre métricas de discriminação e cobertura, até que um critério de parada seja atendido. O limite de decisão final $\tau$ é otimizado automaticamente (por exemplo, maximizando o estatístico J de Youden).

3. Objetivo de Otimização

O sistema busca maximizar a utilidade clínica empírica (por exemplo, AUROC, benefício líquido) sujeito a restrições rígidas:
$$\max_{S \subseteq \mathcal{R}} U(S(\tilde{x}), y; D_{val}) \quad \text{s.t.} \quad |S| \le m, \text{Profundidade}(r) \le d$$
Este é um problema combinatório NP-difícil e não diferenciável. O AgentScore aborda isso usando o LLM para navegar na estrutura semântica do espaço de regras, aliviando o problema do "início frio" de encontrar regras de alta utilidade em uma paisagem esparsa, enquanto ferramentas determinísticas garantem validade estatística e implantabilidade.

Contribuições Principais

1. Conceitual: O artigo formaliza a aprendizagem de listas de verificação clínica implantável como um problema de otimização combinatória conjunta sobre construção de regras e seleção de subconjuntos, em vez de apenas seleção sobre características fixas. Ele codifica explicitamente restrições cognitivas e operacionais de beira-leito (memorabilidade, auditabilidade, uso sem aritmética) na classe de hipóteses.
2. Algorítmica: O AgentScore introduz um framework onde LLMs propõem candidatos semanticamente estruturados dentro de uma gramática restrita, enquanto ferramentas determinísticas garantem validade gramatical, triagem estatística e controle de redundância. Essa separação garante que a pontuação final seja tanto interpretável quanto empiricamente suportada.
3. Empírica: O método é avaliado em oito tarefas de previsão clínica (MIMIC-IV, eICU) e duas tarefas de validação externa.

Resultados Experimentais

• Desempenho Preditivo: Em oito tarefas, o AgentScore supera significativamente as bases de comparação existentes de geração de pontuações (RiskSLIM, FasterRisk, Optimal Checklists, AutoScore) e iguala ou excede modelos interpretáveis flexíveis (Regressão Logística, Árvores de Decisão), apesar de operar sob restrições estruturais mais rigorosas (pesos unitários, pequenos números de regras).
• Competitividade com Diretrizes: Em configurações de validação externa (mortalidade em UTI do PhysioNet 2012 e coortes de Fibrose Cística do Reino Unido/Canadá), o AgentScore alcançou maior discriminação (AUROC) do que diretrizes clínicas estabelecidas (SOFA, SAPS-I, diretrizes de transplante de FC), permanecendo ao mesmo tempo adequado para execução manual.
• Implantabilidade: Uma revisão estruturada por 18 clínicos praticantes mostrou uma preferência significativa por listas de verificação geradas pelo AgentScore em relação a bases de comparação com pesos inteiros (FasterRisk) quanto ao alinhamento com raciocínio estilo diretriz (85%), facilidade de aplicação à beira-leito (71%) e preferência de implantação (81%).
• Estudos de Ablação: Remover o loop de proposta-validação restrito (substituindo-o por geração ilimitada de LLM) causou uma queda significativa no desempenho (d de Cohen $\approx 2.8$), confirmando a necessidade do loop de verificação determinístico.

Significado e Alegações

O artigo argumenta que a lacuna entre o desempenho do ML e a adoção clínica não se deve à insuficiência de poder preditivo, mas à otimização sobre classes de modelo incompatíveis com a implantação de diretrizes. O AgentScore demonstra que otimização semântica restrita — onde o design da classe de hipóteses, a implantabilidade e a verificação são tratados como preocupações de modelagem de primeira classe — pode produzir modelos que são tanto altamente precisos quanto diretamente executáveis à beira-leito.

Os autores enfatizam que sua abordagem não substitui diretrizes clínicas, mas fornece um caminho para construir automaticamente sistemas de pontuação candidatos que se alinham ao uso estilo diretriz e são adequados para validação prospectiva. O framework aborda barreiras-chave à adoção de ML clínico, incluindo governança de dados (ao desacoplar LLMs do acesso a dados brutos) e a lacuna "geração-seleção" na descoberta de regras.

Limitações: Os autores observam que o AgentScore é menos expressivo do que modelos de caixa-preta flexíveis e pode perder relações preditivas não semanticamente acessíveis ao LLM. Ele prioriza a implantabilidade sobre garantias formais de otimização e não impõe inerentemente restrições de equidade, exigindo auditoria externa. Os sistemas de pontuação são artefatos de pesquisa destinados à validação, não à implantação clínica imediata.