TrustRAG: Blockchain-Enhanced RAG via Committee-Based Credibility Scoring

Na era digital moderna, a inteligência artificial aprendeu a falar com a fluência de um especialista experiente, extraindo vastas quantidades de informações de seu treinamento para responder perguntas, escrever histórias e resolver problemas. No entanto, esse conhecimento é estático, congelado no tempo como uma biblioteca que parou de atualizar suas prateleiras anos atrás. Para corrigir isso, pesquisadores desenvolveram um método chamado geração aumentada por recuperação (retrieval-augmented generation), que permite que esses sistemas inteligentes busquem e tragam fatos novos e específicos de fontes externas antes de formar uma resposta. Essa abordagem tornou-se vital em campos como medicina, direito e finanças, onde a diferença entre um fato correto e um desatualizado pode significar a diferença entre uma decisão segura e um erro perigoso. No entanto, um novo problema surgiu: embora o sistema consiga encontrar novas informações, muitas vezes não há uma maneira confiável de saber de onde essa informação veio, quem a escreveu ou se ela foi adulterada. O processo de busca desses fatos é frequentemente controlado por uma única organização opaca, deixando os usuários incapazes de verificar se a evidência que estão lendo é genuína ou manipulada.

Para resolver essa crise de confiança, uma equipe de pesquisadores construiu um novo sistema chamado TrustRAG, que atua como um pipeline seguro e transparente para alimentar a inteligência artificial com informações. Imagine um mundo onde cada peça de informação que entra no sistema é primeiro avaliada por um painel de especialistas independentes que votam em sua qualidade sem revelar suas identidades, garantindo que nenhuma pessoa sozinha possa manipular o resultado. Este sistema utiliza um livro-razão digital, semelhante a um registro público que não pode ser apagado ou alterado, para registrar essas opinições dos especialistas e os documentos que eles endossam. Quando um usuário faz uma pergunta, o sistema não apenas pega os documentos mais populares ou recentes; em vez disso, ele recupera apenas aqueles que foram pré-certificados por este comitê de especialistas e os cruza entre múltiplas fontes independentes para garantir que nada foi omitido ou substituído. O resultado é uma resposta que vem com um certificado de autenticidade integrado, permitindo que qualquer pessoa rastreie a resposta até suas fontes originais e verificadas e confirme que a classificação dessas fontes foi calculada de forma justa.

A inovação central do TrustRAG reside em como ele lida com o delicado equilíbrio entre privacidade e verificação. Em muitos sistemas existentes, se os especialistas revelarem suas pontuações para um documento, eles poderiam ser pressionados ou subornados a mudar de ideia. Para evitar isso, os pesquisadores projetaram um processo onde os especialistas enviam suas avaliações usando um método criptográfico especial que esconde a pontuação real, mas prova que ela é válida. Pense nisso como colocar uma cédula selada em uma urna transparente; a urna mostra que um voto foi depositado e que ele veio de um eleitor registrado, mas ninguém pode ver como a pessoa votou até que a contagem final seja processada com segurança por um grupo de computadores trabalhando juntos. Este grupo, conhecido como um comitê, combina esses votos ocultos para produzir uma pontuação de confiança final para cada documento. Crucialmente, essa pontuação é calculada uma única vez e armazenada permanentemente, de modo que o sistema não precise repetir o complexo processo de votação toda vez que um usuário fizer uma pergunta. Em vez disso, ele simplesmente recupera as pontuações pré-aprovadas e as utiliza para classificar os documentos, garantindo que a informação mais confiável suba ao topo.

Os pesquisadores testaram este sistema para ver se ele conseguiria lidar com o pesado trabalho de segurança sem atrasar o processo. Eles construíram um protótipo funcional que simula uma rede de diferentes fontes de dados, cada uma com seu próprio comitê de validadores. Em seus testes, descobriram que a parte mais demorada do processo era a votação inicial e a contagem final das pontuações, que ocorriam antes de qualquer pergunta do usuário ser feita. Uma vez que essas pontuações estavam prontas, o processo de recuperação de respostas e verificação delas era notavelmente rápido. Por exemplo, o tempo necessário para gerar a prova criptográfica de que um voto era válido foi medido em milissegundos, e o tempo para combinar as pontuações ocultas de um pequeno comitê de quatro especialistas também foi muito rápido. Isso sugere que o sistema pode fornecer segurança de alto nível sem criar um gargalo que frustraria os usuários à espera de uma resposta.

Uma descoberta significativa do estudo é que o sistema não precisa depender de uma única e massiva prova para verificar tudo de uma vez, o que seria computacionalmente caro e lento. Em vez disso, ele utiliza um método de vincular cadeias independentes de informações através de impressões digitais digitais. Cada fonte de dados calcula suas próprias pontuações de confiança e cria um "hash" pequeno e único, ou resumo digital, de seus resultados. Um coordenador central então combina esses resumos em uma única impressão digital global. Isso permite que qualquer pessoa verifique se um documento específico foi incluído na resposta final e se sua pontuação foi calculada corretamente, sem a necessidade de reexecutar todo o complexo cálculo do zero. Os pesquisadores demonstraram que essa abordagem impede com sucesso que um provedor de serviço desonesto substitua um documento de alta qualidade por um de baixa qualidade ou esconda uma fonte que deveria ter sido incluída.

O estudo também definiu cuidadosamente o que o sistema pode e não pode fazer. Ele garante que a informação recuperada não foi alterada e que o processo de classificação seguiu as regras acordadas, mas não garante que o conteúdo em si seja factualmente verdadeiro no mundo real. Se um comitê de especialistas endossar erroneamente um documento que contenha um erro factual, o sistema ainda o tratará como confiável porque o processo verificou o voto do comitê, não a verdade da afirmação. O sistema é projetado para detectar adulterações e garantir a integridade procedimental, não para agir como um oráculo da verdade absoluta. Essa distinção é vital para campos de alto risco, como saúde e direito, onde o objetivo é garantir que as decisões sejam baseadas nas melhores evidências disponíveis e devidamente verificadas, em vez de dados não verificados ou manipulados.

Ao combinar verificação descentralizada com tecnologia de preservação de privacidade, o TrustRAG oferece uma nova maneira de construir sistemas de inteligência artificial que sejam poderosos e responsáveis. Ele aborda a crescente preocupação de que as ferramentas das quais dependemos para informações críticas estejam se tornando "caixas pretas", controladas por poucas entidades sem qualquer forma de o público inspecionar seu trabalho. Os pesquisadores mostraram que é possível criar um sistema onde especialistas possam colaborar para certificar o conhecimento sem medo de coerção, onde fontes de dados possam ser vinculadas de forma segura e onde cada resposta venha com um histórico verificável. Este trabalho sugere que o futuro da inteligência artificial confiável pode depender não apenas de algoritmos mais inteligentes, mas da construção de uma infraestrutura que torne a confiança uma parte mensurável e verificável do processo.