Combating Knowledge Corruption in Agent Systems: A Byzantine-Tolerant Secure Collaborative RAG Framework

Imagine que você está fazendo uma pergunta a um robô bibliotecário superinteligente. Este robô, conhecido como um Modelo de Linguagem de Grande Escala (LLM), leu quase tudo o que já foi escrito, mas às vezes inventa coisas ou esquece eventos recentes. Para corrigir isso, construímos um sistema chamado RAG (Geração Aumentada de Recuperação). Pense no RAG como dar ao robô uma pilha de livros frescos e relevantes de uma biblioteca logo antes de ele responder à sua pergunta, para que ele possa citar os fatos em vez de adivinhar. Mas aqui está a pegadinha: e se um vilão sorrateiro invadir a biblioteca e trocar algumas páginas desses livros por mentiras? Se o robô confiar nessas páginas falsas, ele dirá que a lua é feita de queijo ou que um remédio perigoso é seguro. Isso é chamado de um ataque de "corrupção de conhecimento". O artigo que você está prestes a ler aborda este problema assustador ao perguntar: como impedimos o robô de acreditar nos mentirosos quando ele está buscando livros de muitas bibliotecas diferentes, algumas delas suspeitas?

Os autores deste artigo, Zhaoqi Wang e sua equipe, propõem um novo escudo inteligente chamado SecureCollaRAG. Eles perceberam que, se você perguntar a cinco bibliotecas diferentes sobre o mesmo fato, e quatro delas disserem "O céu é azul" enquanto uma diz "O céu é verde", você provavelmente deve confiar na maioria. No entanto, nem sempre é tão simples. Às vezes, o mentiroso é muito bom em se esconder, fazendo com que suas páginas falsas pareçam quase idênticas às reais, ou eles podem estar mentindo apenas sobre um detalhe minúsculo e sutil.

Para resolver isso, a equipe construiu um sistema que atua como um esquadrão de detetives superorganizado. Em vez de apenas ler os livros, o sistema deles observa como os livros se relacionam entre si. Imagine que os documentos são pessoas em uma festa. O sistema desenha linhas invisíveis entre pessoas que estão falando sobre coisas semelhantes. Se um grupo de mentirosos estiver tentando espalhar uma história falsa, eles estarão todos sussurrando a mesma bobagem uns para os outros, formando um clique estranho e coeso que não se encaixa muito bem com o resto da festa. O sistema usa um tipo especial de matemática chamada "Rede Neural de Grafos" (pense nela como um reconhecedor de padrões superinteligente) para detectar esses cliques suspeitos. Ele atribui a cada documento uma "pontuação de credibilidade", tipo uma classificação de confiança. Se a classificação de um documento for muito baixa, ele é expulso antes que o robô bibliotecário sequer o veja.

Os pesquisadores não apenas construíram isso; eles testaram contra alguns vilões muito astutos. Eles até inventaram um novo tipo de ataque chamado "Ataque de Adulteração Adaptativa" (ATA). Isso é como um vilão que não apenas cola uma página falsa; ele usa o próprio cérebro do robô para ajudá-lo a escrever uma mentira que soe perfeitamente natural e que muda ligeiramente a cada vez, tornando difícil de capturar. Apesar dessas truques sorrateiros, o SecureCollaRAG mostrou que conseguia detectar as falsificações. Em seus testes, enquanto métodos antigos permitiam que os vilões tivessem sucesso quase 80% das vezes, o novo sistema manteve a taxa de sucesso dos atacantes em dígitos únicos (como 5% ou menos) em muitos casos.

O artigo sugere que, ao usar esta abordagem "tolerante a Bizantinos" (um termo sofisticado que significa "podemos lidar com isso mesmo que alguns de nossos ajudantes sejam traidores"), podemos manter os sistemas de IA seguros mesmo quando eles estão buscando informações de muitas fontes diferentes e não confiáveis. É um pouco como ter um segurança que não apenas verifica identidades, mas observa como as pessoas interagem, garantindo que, mesmo que haja alguns espiões na sala, a verdade ainda vença. Os autores provaram matematicamente que, desde que os vilões sejam menos da metade do total de fontes, seu sistema pode filtrar as mentiras e manter o robô honesto.