Resumo Técnico: ClinicBot

Declaração do Problema

A implantação de Modelos de Linguagem de Grande Escala (LLMs) em domínios clínicos de alto risco é prejudicada pela sua tendência a alucinar e pela falta de fundamentação explícita em diretrizes autoritativas. Embora os sistemas padrão de Geração Aumentada por Recuperação (RAG) possam acessar fontes externas, eles frequentemente tratam todas as evidências de forma indiscriminada com base na similaridade textual. Essa abordagem produz contextos ruidosos e respostas genéricas que não respeitam as hierarquias de evidência clínica, obscurecendo a relação entre recomendações específicas e seus dados de suporte. Consequentemente, os clínicos têm dificuldade em verificar se uma resposta reflete fielmente as diretrizes oficiais, minando a confiança e a utilidade no suporte à decisão médica.

Metodologia

O ClinicBot aborda essas limitações por meio de uma arquitetura estruturada e fundamentada em diretrizes, que desacopla a recuperação em dois estágios complementares: Extração de Conhecimento Semântico e Recuperação de Evidências Priorizada.

1. Construção de Base de Conhecimento Estruturada

Diferentemente de sistemas RAG genéricos que processam texto não estruturado (por exemplo, resumos do PubMed), o ClinicBot fundamenta suas operações em uma única fonte autoritativa: as Normas de Cuidado com Diabetes da American Diabetes Association (ADA) de 2025. O sistema converte este documento em uma base de conhecimento JSON estruturada usando parseamento semi-automático e verificação manual. O conteúdo é explicitamente classificado em três tipos distintos, cada um atribuído a uma prioridade de recuperação específica:

• Recomendações: Registros estruturados contendo IDs e graus de evidência (por exemplo, Grau A).
• Tabelas de Critérios: Critérios de diagnóstico e rastreio com limiares numéricos e faixas de classificação.
• Contexto Narrativo: Racional, orientações específicas para populações e definições.

2. Pipeline de Recuperação em Dois Estágios

O processo de recuperação emprega uma estratégia de "roteamento seguido de recuperação" para garantir relevância e autoridade clínica:

• Roteamento: Um classificador baseado em LLM com poucos exemplos (few-shot) mapeia a consulta do clínico para uma seção e subseção específica da diretriz (por exemplo, "Diagnóstico e Rastreio"). Isso reduz o escopo da busca para um segmento conceitualmente coerente, melhorando a especificidade em relação a buscas em documentos completos.
• Recuperação Priorizada: Dentro da seção roteada, o sistema impõe uma ordem de recuperação estrita baseada na autoridade clínica, e não na similaridade semântica:
  1. Recomendações (Maior prioridade)
  2. Tabelas de Critérios de Diagnóstico/Rastreio
  3. Narrativa de Suporte
     Essa filtragem estrutural garante que conteúdo acionável e citável domine o contexto passado ao gerador.

3. Geração e Validação de Respostas

A fase de geração utiliza um LLM restrito por um modelo de prompt que proíbe a injeção de conhecimento médico externo. A saída é estruturada em:

• Uma Resposta Concisa (2–3 frases) que é direta e acionável.
• Citações Verificáveis vinculando alegações a IDs específicos de recomendação ou linhas de tabela.
• Detalhes de Evidência incluindo limiares numéricos precisos.

Crucialmente, um Módulo de Validação opera antes que a resposta seja apresentada. Ele impõe três restrições para prevenir alucinações:

1. Requisito de Citação: Toda alegação deve ser apoiada por evidência recuperada com uma citação específica; alegações sem citação são rejeitadas.
2. Integridade Numérica: Limiares numéricos (por exemplo, valores em mg/dL) devem corresponder exatamente aos valores recuperados via correspondência de strings para evitar desvios.
3. Recusa Elegante: Se a seção roteada carecer de evidência suficiente, o sistema recusa-se a gerar uma resposta em vez de alucinar.

Contribuições Principais

• Arquitetura Fundamentada em Diretrizes: Um sistema que traduz diretrizes clínicas complexas em uma base de conhecimento estruturada e priorizada, em vez de tratá-las como texto indiferenciado.
• Priorização de Evidências: Um mecanismo de recuperação que classifica o conteúdo por significado clínico (Recomendações > Tabelas > Narrativa) em vez de similaridade textual, alinhando-se às hierarquias de evidência clínica.
• Citações Verificáveis e Rastreabilidade: Um design que impõe rastreabilidade completa da resposta ao material de origem, incluindo uma camada de validação que rejeita alegações não suportadas e garante precisão numérica.
• Interface em Duplo Modo: Uma demonstração baseada na web apresentando tanto uma interface de perguntas e respostas fundamentada em diretrizes quanto uma ferramenta de avaliação de risco de diabetes fiel ao framework da ADA.

Resultados da Avaliação

O sistema foi avaliado contra 30 perguntas relacionadas ao diabetes, curadas manualmente e provenientes do conjunto de dados Diabetes QA do Hugging Face e do fórum médico diabetes.co.uk. A avaliação cobriu critérios diagnósticos, manejo medicamentoso, intervenções no estilo de vida e educação do paciente.

• Precisão Geral: O ClinicBot alcançou uma precisão combinada de 96%.
• Detalhamento:
  • 63% (19/30): Respostas totalmente corretas.
  • 33% (10/30): Compreensão correta com omissões menores de detalhes não críticos (por exemplo, opções secundárias de medicação).
  • 3% (1/30): Resposta incorreta.
• Desempenho: Os resultados indicam que a arquitetura fundamentada em diretrizes operacionaliza efetivamente recomendações complexas da ADA em respostas clinicamente precisas e acionáveis para clínicos em exercício.

Significado

O artigo posiciona o ClinicBot como um passo em direção a uma IA clínica confiável que prioriza a explicabilidade e a justificativa de evidências em vez da capacidade generativa bruta. Ao combinar extração de conhecimento semântico com classificação hierárquica de evidências, o sistema demonstra que diretrizes clínicas complexas podem ser processadas em escala em um ambiente multiagente, mantendo adesão rigorosa a fontes autoritativas. O trabalho destaca que, para domínios de alta garantia como a medicina, a capacidade de verificar decisões contra seções específicas de diretrizes e graus de evidência é tão crítica quanto a precisão da resposta em si. O sistema é projetado para apoiar, e não substituir, os clínicos, fornecendo suporte transparente, rastreável e fiel às diretrizes.