VerifAI: A Verifiable Open-Source Search Engine for Biomedical Question Answering

Each language version is independently generated for its own context, not a direct translation.

Imagine que você está procurando uma resposta para uma pergunta complexa sobre saúde, como "Qual é o melhor remédio para uma condição específica?". Você vai ao Google ou usa um chatbot de IA. A IA responde com confiança, mas e se ela estiver inventando fatos? Ou pior, e se ela citar um estudo médico que nunca existiu? Isso é chamado de "alucinação" em Inteligência Artificial, e na área da saúde, isso pode ser perigoso.

Os autores deste artigo criaram o VerifAI, uma ferramenta de busca inteligente que funciona como um detetive rigoroso em vez de apenas um "contador de histórias".

Aqui está como o VerifAI funciona, usando analogias do dia a dia:

1. O Detetive (O Sistema de Busca)

Quando você faz uma pergunta, o VerifAI não "adivinha" a resposta. Primeiro, ele vai à biblioteca mais confiável do mundo (o PubMed, que contém milhões de artigos médicos reais) e busca os documentos mais relevantes.

A Analogia: Imagine que você precisa de provas para um caso no tribunal. O VerifAI não pega apenas qualquer papel; ele usa dois tipos de "lentes" para encontrar os documentos certos: uma lente que busca palavras exatas (como um caçador de tesouros) e outra que entende o significado das palavras (como um tradutor que entende o contexto). Ele mistura essas duas lentes para garantir que não perca nenhuma prova importante.

2. O Escritor Cético (O Gerador de Respostas)

Depois de encontrar os documentos, o VerifAI usa uma inteligência artificial para escrever a resposta. Mas aqui está a diferença crucial: ele é obrigado a agir como um jornalista ético.

A Analogia: Pense em um jornalista que escreve uma matéria. Se ele faz uma afirmação ("O remédio X cura a doença Y"), ele tem que colocar uma nota de rodapé com a fonte exata. O VerifAI foi treinado para fazer isso automaticamente. Se ele não tiver uma fonte para algo, ele não inventa; ele diz que não sabe. Ele transforma a resposta em uma lista de fatos, cada um com seu próprio "carnê de identidade" (o número do artigo médico).

3. O Auditor Rigoroso (O Verificador)

Esta é a parte mais inovadora. Depois que a resposta é escrita, ela passa por um auditor de qualidade (um segundo sistema de IA especializado).

A Analogia: Imagine que você escreveu um trabalho escolar e seu professor (o auditor) pega cada frase que você escreveu e a compara linha por linha com os livros que você citou.
- Se a frase está no livro, o professor pinta a frase de verde (Verificado!).
- Se a frase contradiz o livro, ele pinta de vermelho (Alerta! Isso é falso).
- Se o livro não fala nada sobre isso, ele pinta de amarelo (Cuidado, não há evidência).
- Se você não citou nada, fica cinza.

Por que isso é especial?

A maioria das IAs atuais tenta ser rápida e criativa, o que às vezes leva a erros. O VerifAI é como um engenheiro de pontes: ele constrói a resposta tijolo por tijolo, e depois testa cada tijolo para ver se aguenta o peso.

Menos Mentiras: O sistema foi testado e mostrou que comete muito menos erros do que IAs gigantes e famosas (como o GPT-4) quando o assunto é verificar se uma informação é verdadeira ou falsa na medicina.
Transparência: Você não precisa confiar cegamente na máquina. O VerifAI mostra a "trilha de papel". Você pode passar o mouse sobre qualquer frase da resposta e ver exatamente qual artigo médico a sustenta. É como ter uma conversa onde cada afirmação vem com o link para a prova.

Em resumo

O VerifAI é como um assistente de pesquisa super-honesto. Ele não apenas busca informações, mas as escreve com cuidado e, o mais importante, verifica cada palavra antes de te entregar a resposta. Ele garante que, quando você ler algo sobre saúde, aquilo seja baseado em fatos reais e não em uma "alucinação" da máquina.

O grande objetivo dos autores é que essa tecnologia seja de código aberto (gratuita e disponível para todos), para que hospitais, pesquisadores e o público possam confiar mais nas respostas que a Inteligência Artificial dá sobre a nossa saúde.

Each language version is independently generated for its own context, not a direct translation.

1. O Problema

O avanço dos Modelos de Linguagem Grandes (LLMs) na geração de texto trouxe desafios significativos, principalmente o fenômeno de alucinações (geração de informações plausíveis, mas factualmente incorretas ou não suportadas). Em domínios de alto risco, como a biomedicina e a saúde, a precisão factual e a verificabilidade são críticas.

Limitações do RAG Padrão: Sistemas de Geração Aumentada por Recuperação (RAG) tradicionais melhoram a fundamentação factual ao recuperar documentos externos, mas não garantem que a resposta gerada esteja alinhada com as evidências recuperadas. Estudos mostram que sistemas de RAG biomédicos frequentemente falham em citar corretamente as fontes ou geram afirmações não suportadas pelos documentos citados.
Falta de Transparência: Usuários finais não têm como verificar se as citações geradas realmente sustentam as afirmações feitas pelo modelo, criando uma lacuna de confiança na adoção de IA generativa para decisões clínicas ou científicas.

2. Metodologia

O VerifAI é um sistema especialista de código aberto que integra recuperação de informações, geração de respostas e verificação de fatos em um pipeline modular de três componentes:

A. Componente de Recuperação de Informações (IR)

Base de Dados: Utiliza o PubMed, com um índice de aproximadamente 25,5 milhões de resumos de artigos.
Estratégia Híbrida: Combina recuperação lexical (usando o algoritmo BM25 no OpenSearch) e recuperação semântica (usando embeddings densos e o algoritmo HNSW no Qdrant).
Otimização: Os escores de ambos os métodos são normalizados e combinados ponderadamente ( $\alpha \cdot \text{lexical} + \beta \cdot \text{semântico}$ ) para maximizar a precisão e o recall. O sistema foi configurado para recuperar os 10 resumos mais relevantes por consulta.

B. Componente Generativo (GC)

Modelo Base: Utiliza o Mistral-7B-Instruct-v0.2, um modelo de linguagem pequeno (SLM) com janela de contexto de 32k.
Ajuste Fino (Fine-tuning): O modelo foi ajustado usando um conjunto de dados personalizado chamado PQAref (9.075 perguntas do PubMedQA com resumos relevantes e respostas geradas por GPT-4).
Objetivo: O modelo foi treinado para gerar respostas concisas baseadas estritamente nos resumos recuperados, citando explicitamente o ID do PubMed (PMID) após cada afirmação factual. Isso força o modelo a aderir a um esquema de referência estruturado.

C. Componente de Verificação (VC)

Mecanismo: Este é o diferencial do sistema. Após a geração, cada afirmação (claim) da resposta é extraída e verificada contra o resumo citado (evidência).
Tarefa de NLI: O problema é formulado como uma classificação de inferência textual (NLI) de três classes: Suporte (a evidência apoia a afirmação), Contradição (a evidência refuta) ou Sem Evidência (a evidência não contém a informação).
Modelo: Um modelo DeBERTa foi ajustado finamente no conjunto de dados SciFact (transformado para aceitar resumos completos em vez de apenas frases) e no HealthVer.
Interface: O sistema utiliza codificação por cores para indicar o status de verificação de cada frase (verde para suportado, amarelo/laranja para parcialmente suportado, vermelho para contradição, cinza para sem referência).

3. Contribuições Chave

Pipeline End-to-End Verificável: É o primeiro sistema de código aberto que integra recuperação híbrida, geração com consciência de citação e verificação de afirmações post-hoc em um único pipeline biomédico.
Eficácia de Modelos Pequenos (SLMs): Demonstra que modelos menores (como Mistral-7B), quando ajustados finamente para tarefas específicas de citação, podem superar modelos maiores (como LLaMA 13B/34B) em fidelidade de citação e reduzir alucinações de IDs de artigos.
Superioridade em Verificação Específica: Mostra que discriminadores de NLI especializados (DeBERTa ajustado) superam modelos generativos de ponta (GPT-4, GPT-4o) em benchmarks de verificação de fatos biomédicos (HealthVer), oferecendo maior transparência e auditabilidade.
Reprodutibilidade: Todo o código, modelos ajustados e conjuntos de dados transformados foram liberados publicamente.

4. Resultados Principais

Recuperação (IR): O sistema híbrido alcançou um MAP@10 de 42,7% no conjunto de dados BioASQ, superando significativamente a busca padrão do PubMed (que obteve 19,1% com termos MeSH).
Geração (GC):
- O modelo ajustado (M2) reduziu a taxa de respostas sem citações de 18,2% (zero-shot) para 0,6%.
- Reduziu as alucinações de PMIDs de 26 casos (zero-shot) para apenas 3 casos no conjunto de teste.
- O modelo ajustado referenciou o resumo mais relevante em 98,8% dos casos, contra 77,5% do modelo zero-shot.
Verificação (VC):
- O modelo DeBERTa ajustado alcançou um F1-score de 0,88 no teste in-domain (SciFact).
- No benchmark HealthVer, o modelo alcançou um F1 de 0,48 e precisão de 0,52, superando o estado da arte anterior (que tinha F1 de 0,36).
- O modelo de verificação superou consistentemente o GPT-4 e o GPT-4o em precisão e F1-score em tarefas de verificação de afirmações biomédicas.
Avaliação End-to-End: Em uma avaliação completa com 178 perguntas do BioASQ, o sistema demonstrou que a qualidade da recuperação impacta diretamente a geração e a verificação. O sistema conseguiu alinhar conclusões com a resposta ideal em 81,46% dos casos quando usado com resumos "gold-standard".

5. Significado e Impacto

O VerifAI representa um avanço crucial para a aplicação de IA generativa em domínios críticos. Ao desacoplar a geração da verificação e utilizar um motor de inferência lógica dedicado, o sistema mitiga o risco de alucinações de conhecimento.

Confiabilidade: Oferece uma "linha de ascendência" transparente para cada afirmação, permitindo que usuários (médicos, pesquisadores) validem a informação rapidamente.
Custo-Efetividade: Demonstra que não é necessário usar modelos massivos e caros para obter resultados verificáveis de alta qualidade; modelos menores e ajustados finamente são suficientes e mais eficientes.
Generalização: A arquitetura modular permite a adaptação do sistema para outros domínios de alto risco, como direito, finanças e políticas públicas, substituindo apenas os componentes de recuperação e verificação específicos do domínio.

Em resumo, o VerifAI estabelece um novo padrão para sistemas de perguntas e respostas biomédicas, priorizando a precisão factual, a rastreabilidade de fontes e a transparência sobre a mera fluidez do texto gerado.