CareGuardAI: Context-Aware Multi-Agent Guardrails for Clinical Safety & Hallucination Mitigation in Patient-Facing LLMs

1. Declaração do Problema

A integração de Modelos de Linguagem de Grande Escala (LLMs) em sistemas de saúde voltados ao paciente enfrenta dois modos de falha críticos e inter-relacionados que benchmarks existentes e estratégias de mitigação não abordam adequadamente:

• Risco de Segurança Clínica: LLMs frequentemente geram respostas condicionalmente corretas, mas clinicamente inadequadas (por exemplo, prescrever medicamentos a uma paciente grávida) porque carecem da consciência contextual para inferir riscos a partir de informações incompletas, ao contrário de clínicos humanos.
• Risco de Alucinação: Modelos frequentemente produzem alegações médicas sem suporte, inconsistentes ou fabricadas.
• A Lacuna: Abordagens atuais geralmente tratam segurança e alucinação como problemas separados ou dependem de benchmarks estáticos (como exames USMLE) que não refletem consultas reais, abertas e mal especificadas de pacientes. Além disso, o alinhamento no momento do treinamento (ajuste fino) é insuficiente para lidar com riscos dinâmicos e dependentes de contexto no momento da inferência.

2. Metodologia: A Estrutura CareGuardAI

CareGuardAI é uma estrutura de segurança consciente de risco, no momento da inferência, projetada como um pipeline multi-agente. Opera integrando um controlador, um gerador, avaliadores duplos e uma camada de decisão para impor segurança antes que uma resposta seja liberada.

Componentes Principais

1. Agente Controlador (Triagem e Rastreamento):

   • Modelo: Modelo de Linguagem Pequeno (SLM) leve, especificamente Phi-3.5-mini.
   • Função: Realiza classificação de consultas consciente de risco e rastreamento de vulnerabilidades. Identifica contexto de paciente ausente (por exemplo, status de gravidez, idade, gravidade dos sintomas) usando regras de palavras-chave e detecção por modelo.
   • Mecanismo: Se uma consulta for mal especificada, o controlador gera perguntas de rastreamento de múltipla escolha direcionadas para elicitar contexto crítico antes da geração. Em seguida, produz instruções de segurança determinísticas (por exemplo, "não prescreva") com base na categoria de risco identificada.

2. Gerador de Respostas:

   • Modelo: Modelo de Linguagem de Grande Escala (GPT-4o-mini).
   • Função: Gera a resposta voltada ao paciente.
   • Restrição: A geração é condicionada às instruções de segurança e inserções de contexto fornecidas pelo Controlador. Impõe guardrails comportamentais (por exemplo, recusar-se a diagnosticar ou prescrever) adaptados ao perfil de risco específico.

3. Avaliadores de Risco Duplos (Avaliação Paralela):

   • Modelo: LLaMA-3.1-8B-Instruct quantizado (executando localmente).
   • Avaliação de Risco de Segurança Clínica (SRA): Inspirado na ISO 14971, este agente pontua a resposta em uma escala de 1–5 (1=Mínimo, 5=Crítico) com base no risco médico acionável (diagnóstico, prescrição, validação de ações prejudiciais).
   • Avaliação de Risco de Alucinação (HRA): Inspirado no HalluGuard, este agente pontua a confiabilidade factual em uma escala de 1–5, distinguindo entre alucinações baseadas em dados (erros factuais) e alucinações baseadas em raciocínio (inconsistências lógicas).

4. Camada de Decisão e Loop de Refinamento:

   • Lógica: Uma resposta é liberada apenas se ambas $SRA \le 2$ e $HRA \le 2$.
   • Refinamento: Se os limites forem excedidos, o sistema aciona um loop de refinamento iterativo (máximo de 3 iterações). Os avaliadores fornecem feedback estruturado ao gerador para revisar a resposta.
   • Fallback: Se a resposta permanecer insegura após 3 iterações, ela é bloqueada e uma mensagem de recusa segura é retornada.

Arquitetura do Sistema

• Design Híbrido: Combina SLMs locais para triagem e avaliação rápidas e eficientes em custos com um LLM baseado em nuvem para geração de alta qualidade.
• Latência: A latência média é de aproximadamente 13,8 segundos por consulta, tornando-a viável para implantação em tempo real.

3. Contribuições Principais

1. Estrutura de Segurança de Duplo Eixo: Introduz uma abordagem inovadora que modela conjuntamente o Risco de Segurança Clínica (SRA) e o Risco de Alucinação (HRA) como modos de falha complementares, abordando a lacuna onde uma resposta pode ser factualmente correta, mas clinicamente insegura, ou vice-versa.
2. Arquitetura de Controle no Momento da Inferência: Propõe um pipeline estruturado integrando recuperação de contexto baseada em triagem (rastreamento de dados de paciente ausentes) com geração condicionada a segurança e avaliação pós-geração paralela.
3. Mecanismo de Decisão Limitado por Risco: Implementa uma estratégia baseada em limites ($SRA \le 2, HRA \le 2$) com refinamento iterativo, garantindo que apenas saídas clinicamente aceitáveis sejam implantadas.
4. Avaliação Abrangente: Valida a estrutura em três benchmarks (PatientSafeBench, MedSafetyBench, MedHallu), demonstrando melhorias significativas sobre bases fortes como GPT-4o-mini.

4. Resultados Experimentais

A estrutura foi avaliada em PatientSafeBench (466 amostras), MedSafetyBench (450 amostras) e MedHallu (200 amostras).

• Segurança e Confiabilidade:

  • Taxa de Implantação: CareGuardAI alcançou uma taxa de implantação de 98,7% – 99,8% (respostas atendendo a ambos os limites de segurança) nos benchmarks, comparada a uma base de 60–86%.
  • Redução de Risco: O SRA médio caiu de ~3,2 (base) para 2,02, e o HRA caiu de ~2,9 para 1,23 no conjunto de dados MedHallu.
  • Eliminação de Violações: Violações de segurança (por exemplo, prescrever medicamentos sem contexto) caíram de 19,7% (base) para 2,8%. Erros de diagnóstico incorreto foram reduzidos de 30,3% para 0,0%.

• Eficiência de Refinamento:

  • O sistema converge rapidamente, com uma média de ~1,0 iteração por consulta.
  • 100% das respostas inicialmente inseguras no MedSafetyBench e MedHallu foram com sucesso rebaixadas para níveis seguros após o refinamento.
  • O sistema eliminou com sucesso o modo de falha "Seguro mas Alucinado" (0% de ocorrência nos resultados).

• Estudo de Ablação:

  • Remover o Controlador fez a taxa de implantação despencar para 39,0%.
  • Remover o agente HRA levou a uma taxa de 42,0% de saídas alucinadas.
  • Remover o agente SRA resultou em uma alta taxa de implantação (98%), mas em uma taxa de 2,0% de respostas clinicamente inseguras, provando que o controle de alucinação sozinho é insuficiente para segurança médica.

5. Significado e Implicações

• Consciência Contextual: CareGuardAI aborda a limitação crítica de benchmarks estáticos simulando triagem clínica, permitindo que o sistema detecte vulnerabilidade (por exemplo, gravidez) e solicite contexto ausente antes de gerar conselhos.
• Alinhamento Regulatório: A estrutura alinha-se aos princípios de gerenciamento de risco da ISO 14971 e às Boas Práticas de Aprendizado de Máquina da FDA, fornecendo caminhos de decisão transparentes, auditáveis e determinísticos (liberar, refinar ou bloquear).
• Implantação Prática: Ao usar uma arquitetura híbrida (SLMs locais + LLM em nuvem), alcança um equilíbrio entre geração de alta qualidade e imposição de segurança de baixa latência e custo efetivo, tornando-a viável para aplicações reais voltadas ao paciente, como chatbots e telemedicina.
• Mudança de Paradigma: O artigo argumenta que a IA médica confiável exige ir além de avaliações estáticas, estilo exame, em direção a supervisão dinâmica no momento da inferência que leve em conta a incerteza e a dependência de contexto das interações reais com pacientes.

Em conclusão, CareGuardAI demonstra que uma estrutura multi-agente, consciente de risco, pode mitigar efetivamente tanto riscos de segurança clínica quanto alucinações em LLMs voltados ao paciente, permitindo uma implantação mais segura e confiável em ambientes de saúde.