Resumo Técnico: ChainTrust-LLM

1. Definição do Problema

Modelos de Linguagem de Grande Escala (LLMs), como GPT-4, Med-PaLM e Claude, demonstraram um potencial significativo na geração de textos clínicos, assistência diagnóstica e educação de pacientes. No entanto, sua integração em ambientes médicos reais é dificultada pelo fenômeno da alucinação — a geração de saídas factualmente incorretas, fabricadas ou enganosas apresentadas com alta confiança. No domínio médico, esses erros representam riscos graves à segurança do paciente e à confiabilidade clínica.

As técnicas de mitigação existentes, incluindo Geração Aumentada de Recuperação (RAG), injeção de conhecimento estruturado e Aprendizado por Reforço com Feedback Humano (RLHF), frequentemente carecem de transparência, rastreabilidade e robustez específica ao domínio. Além disso, a literatura atual frequentemente trata a alucinação como um problema universal, em vez de abordar suas implicações específicas para doenças particulares. Este artigo identifica uma lacuna crítica na detecção e mitigação de alucinações relacionadas ao hipotireoidismo, focando especificamente em sintomas sutis e facilmente confundidos, como fadiga, ganho de peso e interrupções na saúde menstrual. A desinformação nessas áreas pode levar ao erro de diagnóstico ou à negligência de tratamento, embora poucos sistemas abordem a detecção de sintomas específicos com auditabilidade segura.

2. Metodologia: O Framework ChainTrust-LLM

Os autores propõem o ChainTrust-LLM, um novo framework que integra a calibração de confiança com intervenção humana (human-in-the-loop) com auditabilidade baseada em blockchain para detectar e mitigar alucinações. O sistema é projetado em torno de quatro módulos principais:

2.1 Construção do Dataset

Um dataset específico para a doença foi desenvolvido, compreendendo 300 prompts médicos curados divididos em três categorias: sintomas (focando em fadiga, ganho de peso e saúde menstrual), medicação/tratamento e testes laboratoriais/diagnóstico. As verdades fundamentais (ground truths) foram estabelecidas usando fontes autoritativas (NIDDK, CDC, ATA, MedlinePlus, DailyMed) e verificadas por três endocrinologistas experientes. O dataset inclui rótulos de alucinação binários, escores de severidade e escores de confiabilidade.

2.2 Arquitetura do Sistema

O framework processa as entradas através do seguinte pipeline:

• Módulo de Codificador de Prompt: Utiliza um codificador de linguagem ajustado ao domínio (ex: BioBERT ou ClinicalBERT) para transformar consultas clínicas em embeddings semânticos estruturados. Um classificador softmax roteia os prompts para domínios específicos (sintoma, medicação ou laboratório) para ajustar os limiares de alucinação de acordo.
• Módulo de Detecção de Alucinação: Implementa um classificador de risco binário $R(x)$ que identifica respostas alucinadas. Ele emprega pontuação de contradição semântica ($C_i = 1 - \text{Sim}(y_i, y^*_i)$) para medir a similaridade factual entre a saída do LLM e as respostas de referência verificadas. As características incluem sobreposição linguística, detecção de negação e correspondência de entidades clínicas (ICD-10, menções a drogas).
• Modelo de Pontuação de Confiança: Introduz um mecanismo de atualização de confiança ponderado pelo tempo que se adapta ao feedback humano. O escore de confiança $T(y, t)$ é atualizado com base no novo feedback humano $f_t(y)$ e em um escore de confiança anterior $T_{prev}(y)$, equilibrados por um parâmetro de memória $\alpha$. Crucialmente, o modelo incorpora um decaimento de confiança exponencial ($e^{-\lambda \Delta t}$) para reduzir os escores de confiança ao longo do tempo na ausência de feedback recente, garantindo uma avaliação de confiabilidade específica ao domínio.
• Camada de Auditoria Blockchain: Para garantir o rastreamento à prova de violações, todos os pares resposta-feedback são transformados em hash e armazenados em um blockchain baseado em DAG privado e com permissão (implementado em uma rede Ethereum com permissão usando geth). Cada entrada de bloco inclui o escore de confiança, o rótulo de feedback e o carimbo de data/hora, vinculados via ponteiros de hash criptográfico para garantir integridade e rastreabilidade.

2.3 Segurança e Formalização

O artigo formaliza a robustez da detecção de alucinação contra perturbações adversárias e define a integridade da cadeia de confiança usando ponteiros de hash baseados em DAG. O controle de acesso é aplicado via assinaturas digitais de usuários especialistas permitidos, e ataques de repetição (replay attacks) são evitados usando nonces.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Calibração de Confiança com Intervenção Humana: Um framework para detecção de alucinação especificamente adaptado para respostas relacionadas ao hipotireoidismo, utilizando feedback iterativo de especialistas para atualizar os escores de confiança.
2. Ciclo de Feedback Auditado por Blockchain: Um mecanismo de registro seguro que garante a rastreabilidade e a imutabilidade das correções de alucinação e das avaliações de confiança.
3. Modelo de Decaimento de Confiança Ponderado pelo Tempo: Uma abordagem inovadora para avaliar a confiabilidade das respostas de LLMs ao longo do tempo, contabilizando o decaimento da confiança na ausência de validação contínua de especialistas.

4. Resultados Experimentais

O framework foi avaliado utilizando GPT-4, Med-PaLM e Claude através do dataset de 300 prompts. As principais métricas de desempenho incluem:

• Redução da Taxa de Alucinação: O ChainTrust-LLM reduziu significativamente as taxas de alucinação em todos os modelos:
  • GPT-4: Diminuiu de 23,1% para 8,5% (redução de 63,2%).
  • Med-PaLM: Diminuiu de 28,7% para 10,1% (redução de 64,8%).
  • Claude: Diminuiu de 31,9% para 12,4% (redução de 61,1%).
• Precisão de Calibração de Confiança (TCA): O alinhamento entre as previsões de confiança do modelo e as classificações dos especialistas melhorou substancialmente:
  • GPT-4: 75,4% $\rightarrow$ 91,2%
  • Med-PaLM: 70,3% $\rightarrow$ 89,5%
  • Claude: 67,8% $\rightarrow$ 87,1%
• Acordo Inter-Avaliador: O Kappa de Fleiss ($\kappa$) melhorou de uma média basal de 0,65 para 0,87, indicando forte concordância entre os especialistas nas saídas corrigidas.
• Detecção Específica de Sintomas: A precisão na detecção de alucinações para sintomas específicos melhorou significativamente:
  • Fadiga: 68% $\rightarrow$ 92%
  • Ganho de Peso: 64% $\rightarrow$ 89%
  • Saúde Menstrual: 61% $\rightarrow$ 87%
• Desempenho do Classificador: O classificador de risco de alucinação alcançou um AUC de 0,934, demonstrando alta sensibilidade e especificidade.
• Sobrecarga de Blockchain: O sistema manteve baixa latência, com uma latência média de transação de 211 ms e custos de gás mínimos, suportando capacidades de registro em tempo real.

5. Significância e Alegações

Os autores afirmam que o ChainTrust-LLM oferece uma solução robusta, explicável e segura para o implante de modelos de suporte de linguagem médica. Diferente dos detectores post-hoc anteriores, este framework opera como um ciclo de mitigação em tempo real baseado em feedback. Ao combinar modelagem de confiança formal com transparência de blockchain, o sistema aborda a necessidade crítica de auditabilidade em IA de alto risco.

O estudo enfatiza que, embora a detecção de alucinação geral seja um campo ativo, a atenção específica a domínios clínicos subexplorados, como os sintomas do hipotireoidismo, é vital. A integração de um modelo de decaimento de confiança temporal e trilhas de auditoria imutáveis fornece um mecanismo para garantir que os LLMs permaneçam confiáveis ao longo do tempo, mesmo conforme o conhecimento médico evolui ou os padrões de feedback mudam. Os autores concluem que o framework é um passo significativo em direção à IA confiável na saúde, com trabalhos futuros planejados para expandir para outros sintomas e utilizar aprendizado federado para maior aplicabilidade.