RAGAL: A Frugal, Fully Local Retrieval-Augmented Assistant for Technical Support at a Government Agency

Imagine que você tem um robô bibliotecário superinteligente que consegue ler milhões de livros e responder a qualquer pergunta que você fizer. Normalmente, para fazer esse robô funcionar, você precisa enviar suas perguntas e os livros para um céreico cérebro gigante baseado na nuvem, em um centro de dados distante. Mas e se a sua biblioteca contiver arquivos governamentais ultrassecretos que é ilegal deixar o prédio? E se você não puder usar a nuvem de jeito nenhum? Este é o enigma que está no coração da Geração Aumentada por Recuperação (RAG). Pense no RAG como uma dança de dois passos: primeiro, o robô escaneia rapidamente uma pilha específica de documentos para encontrar as páginas mais relevantes (recuperação); segundo, ele usa essas páginas para escrever uma resposta inteligente e precisa (geração). A grande questão para muitas organizações é: Podemos construir esse robô inteiramente dentro de nossas próprias paredes, usando apenas um notebook modesto, sem nunca enviar um único byte de dados para o mundo exterior?

Este artigo conta a história do RAGAL, um projeto de uma agência governamental romena que construiu exatamente esse tipo de robô. Eles enfrentaram três regras que pareciam impossíveis: nenhum dado poderia jamais sair do prédio, o robão só poderia redigir respostas (humanos tinham que apertar o botão "enviar") e eles tinham que fazer tudo em um notebook comum com apenas 8 GB de memória. Em vez de desistir, eles transformaram essa configuração "frugal" em um laboratório de engenharia astuta. Eles descobriram que o segredo do sucesso não era comprar um cérebro maior e mais caro, mas sim ensinar o robô a como procurar informações melhor. Ao ajustar o mecanismo de busca com base em chamados de suporte reais e usar um truque inteligente chamado "destilação de âncora" para evitar que o robô inventasse comandos de banco de dados falsos, eles criaram um sistema que funciona de forma segura e eficaz. Eles até construíram um "juiz em câmera lenta" — um modelo de IA massivo que roda tão lentamente em seu CPU que não consegue conversar em tempo real, mas é perfeito para corrigir o dever de casa do robô durante a noite. O resultado é um blueprint de como qualquer organização com regras estritas de privacidade pode construir um assistente de IA útil sem nunca precisar da nuvem.

A História do RAGAL: Um Robô Que Nunca Sai de Casa

Conheça o RAGAL, o novo assistente de uma agência governamental romena que gerencia fundos de investimento rural. Esta agência lida com milhares de documentos sensíveis e chamados de suporte todos os dias. Como esses arquivos contêm dados privados de cidadãos, é estritamente proibido que eles saiam do prédio da agência. Isso significa que eles não puderam usar as ferramentas de IA poderosas usuais que vivem na nuvem. Eles tiveram que construir seu próprio robô "totalmente local", e tiveram que fazer isso em um único notebook com uma placa de vídeo que tinha apenas 8 GB de memória — uma quantidade minúscula pelos padrões de IA.

A equipe teve que seguir três regras estritas, que eles chamam de restrições:

1. Zero Egress (Saída Zero): Nem uma única peça de dado poderia jamais sair do prédio. Nada de enviar perguntas para a nuvem, nada de baixar dados de treinamento da internet. Tudo tinha que acontecer em seu próprio hardware.
2. Somente Leitura: O robô era um escritor, não um ator. Ele podia redigir código SQL (instruções para corrigir erros de banco de dados) ou escrever explicações, mas nunca poderia executar esses comandos. Um humano tinha que revisar e executar.
3. Frugalidade: Todo o sistema foi desenvolvido, treinado e testado em um único notebook de consumo.

A Grande Descoberta: Uma Busca Melhor Vence Cérebros Maiores

A equipe começou com uma suposição comum: para obter respostas melhores, você precisa de um modelo de IA maior e mais inteligente. Mas eles descobriram rapidamente que isso estava errado. Sua primeira grande vitória não veio de atualizar o "cérebro" (o gerador), mas sim de atualizar o "mecanismo de busca" (o recuperador).

Eles perceberam que simplesmente pedir ao robô para encontrar documentos não era suficiente. Eles precisavam ensinar o robô como procurar. Eles construíram um sistema de busca híbrida que combinava dois métodos: uma busca "densa" que entende o significado das palavras e uma busca "esparsa" que procura por correspondências exatas de palavras-chave. Eles também adicionaram um "policial de trânsito" (roteamento de intenção) que decide em qual tipo de documento olhar com base na pergunta. Se você pergunta sobre um procedimento, ele olha manuais; se pergunta sobre um conserto de banco de dados, ele olha chamados antigos de suporte.

Essa mudança simples foi um upgrade massivo. Antes de qualquer treinamento sofisticado, esta busca híbrida aumentou sua taxa de sucesso de 62% para 81%. Foi a melhoria mais barata e eficaz que fizeram.

O Milagre dos 8 GB: Treinando em um Notebook

O próximo desafio era treinar o mecanismo de busca com seus próprios dados. Eles tinham cerca de 15.000 chamados de suporte resolvidos e documentos internos. Eles queriam ensinar o mecanismo de busca a entender a linguagem específica de sua agência.

Normalmente, treinar um modelo como este requer um supercomputador massivo. Mas a equipe tinha apenas 8 GB de memória. Eles descobriram uma armadilha oculta: em seu notebook Windows, o driver da placa de vídeo silenciosamente "derramava" dados para a memória regular do computador quando ficava sem espaço, tornando o treinamento incrivelmente lento sem nunca travar. Era como tentar correr uma maratona com uma mochila cheia de água que você nem sabia que estava carregando.

Para resolver isso, eles usaram uma receita especial:

• Otimizador de 8 bits: Uma forma de encolher a matemática que o computador precisa fazer.
• Checkpointing de Gradiente: Uma técnica que economiza memória recalculando alguns passos em vez de armazená-los.

Com esses truques, eles conseguiram treinar totalmente seu mecanismo de busca em apenas 72 minutos naquele único notebook. Os resultados foram impressionantes: a capacidade de encontrar o documento correto entre os 10 primeiros resultados (Recall@10) saltou de 0,663 para 0,850.

A Armadilha Silenciosa: Um Domínio, Dois Mundos

É aqui que a história fica complicada. Quando treinaram o mecanismo de busca apenas nos chamados de suporte, ele ficou muito bom em encontrar chamados. Mas, de uma forma silenciosa e invisível, ele piorou na busca de documentos oficiais. O treinamento havia "deformado" a compreensão do mecanismo de busca, fazendo-o esquecer como lidar com os documentos formais.

Eles só descobriram isso porque construíram um conjunto de testes separado apenas para os documentos. Se não tivessem feito isso, pensariam que seu sistema era perfeito, enquanto na verdade estava falhando em metade de seus dados. Para corrigir isso sem enviar dados para a nuvem, usaram um truque inteligente chamado GenQ. Eles usaram uma IA local para gerar perguntas falsas para seus documentos, criando um novo conjunto de treinamento que equilibrava ambos os mundos. Isso reparou o dano, e o mecanismo de busca tornou-se ótimo em encontrar tanto chamados quanto documentos novamente.

Segurança em Primeiro Lugar: Impedindo o Robô de Mentir

Como o robô estava redigindo comandos de banco de dados, a equipe teve que garantir que ele nunca inventasse coisas (alucinações). Eles usaram uma técnica chamada Destilação de Âncora. Em vez de deixar a IA escrever o código SQL do zero, eles pegaram códigos reais e funcionais de chamados passados, copiaram-nos exatamente e permitiram que a IA escrevesse apenas o texto ao redor deles (explicando o que faz e quando usar). Isso tornava impossível para o robô inventar comandos de banco de dados falsos, pois o código em si era uma "âncora" real e verificada.

Eles também descobriram um benefício surpreendente ao mascarar PII (esconder nomes e números de identificação). Quando substituíram nomes reais por espaços reservados como <usuário> ou <id_do_projeto> antes do treinamento, o robô na verdade escreveu respostas melhores. Ele parou de copiar nomes de pessoas específicas de chamados antigos e começou a escrever modelos flexíveis que poderiam ser usados para qualquer pessoa.

O Juiz Lento

Finalmente, como você avalia um robô se não pode usar uma IA baseada na nuvem para verificar seu trabalho? A equipe construiu um "juiz lento". Eles usaram um modelo de IA massivo (744 bilhões de parâmetros) que era grande demais para rodar rápido. Ele rodava no processador principal (CPU) do computador em vez da placa de vídeo, movendo dados do disco rígido conforme avançava. Era incrivelmente lento, levando cerca de 10 a 13 minutos para avaliar uma única resposta. Mas, por ser tão inteligente, era perfeito para corrigir o dever de casa do robô durante a noite.

Eles descobriram que esse juiz lento era um ótimo "segundo parecer", mas não era perfeito. Às vezes, discordava de especialistas humanos, especialmente nas respostas muito boas ou muito ruins. A lição foi usar o juiz para encontrar tendências e padrões, mas sempre ter um humano conferindo os vereditos específicos.

A Conclusão

O projeto RAGAL prova que você não precisa de um supercomputador ou da nuvem para construir um assistente de IA poderoso e seguro. Ao focar em engenharia astuta — melhores estratégias de busca, manipulação cuidadosa de dados e regras de segurança estritas — uma pequena equipe com um único notebook pode criar um sistema que respeita a privacidade e entrega valor real. Eles mostraram que, às vezes, a melhor maneira de avançar é mover-se mais devagar, manter tudo local e prestar muita atenção aos detalhes.