An End-to-End Ukrainian RAG for Local Deployment. Optimized Hybrid Search and Lightweight Generation

Este artigo apresenta um sistema de RAG (Geração Aumentada de Recuperação) otimizado para o idioma ucraniano que utiliza uma busca híbrida em duas etapas e um modelo de linguagem leve e comprimido para fornecer respostas precisas em dispositivos com recursos computacionais limitados.

O essencial

O "Bibliotecário Inteligente" de Bolso: Como criar um especialista em ucraniano que funciona sem internet

Imagine que você tem um assistente muito inteligente, mas ele tem dois grandes problemas: ele tem uma memória que falha às vezes (ele "alucina" ou inventa coisas) e ele só consegue trabalhar em um computador bem antigo e lento, sem acesso à internet. Além disso, ele não entende muito bem o idioma ucraniano, o que faz com que ele leia tudo de forma muito devagar e cansativa.

Este artigo descreve como um grupo de pesquisadores criou um sistema para resolver exatamente isso. Eles construíram um RAG (Geração Aumentada por Recuperação).

Para entender o que eles fizeram, vamos usar uma analogia:

1. O Problema: O Estudante que "chuta" respostas

Imagine um estudante que tentou decorar o mundo inteiro. Quando você faz uma pergunta específica sobre um documento técnico, em vez de admitir que não sabe, ele tenta "adivinhar" o que soa lógico. Isso é o que chamamos de alucinação.

2. A Solução: O Método do Bibliotecário (O RAG)

Em vez de confiar apenas na memória do estudante, os pesquisadores deram a ele um método de pesquisa. Agora, quando você faz uma pergunta, o processo funciona assim:

• Passo 1: A Busca de Prateleira (Recuperação em dois estágios): Em vez de o estudante ler todos os livros da biblioteca para responder, ele primeiro corre para a estante e identifica qual é o livro certo (Busca de Documento). Depois, ele abre o livro e procura a página exata onde o assunto é tratado (Busca de Página). É como se ele usasse um índice super eficiente para não perder tempo.
• Passo 2: O Filtro de Precisão (Reranker): Às vezes, ele encontra três páginas que parecem falar do assunto. Então, ele usa um "lente de aumento" especial para comparar a pergunta com cada parágrafo e escolher apenas os pedaços de texto que realmente importam.
• Passo 3: A Resposta Fundamentada (Geração): Agora, com o parágrafo correto na mão, o estudante lê e responde: "A resposta é a letra B, e você pode conferir isso na página 42". Ele não está mais chutando; ele está lendo o que está na frente dele.

3. O Truque da "Dieta" (Otimização e Compressão)

O grande desafio era que esse sistema precisava rodar em um computador limitado (uma GPU antiga). Para isso, os pesquisadores fizeram duas coisas:

• Treinamento com "Exemplos Sintéticos": Como não havia dados suficientes para ensinar o modelo a ser um especialista em ucraniano, eles usaram uma IA poderosa (como o GPT-4) para criar milhares de perguntas e respostas de treinamento. Foi como dar ao estudante um simulado de milhares de questões antes da prova real.
• Compactação (Quantização): Eles "espremeram" o cérebro da IA. Imagine transformar um dicionário gigante e pesado em um livrinho de bolso leve. Ele perde um pouquinho de detalhe, mas fica muito mais rápido e cabe em qualquer lugar, permitindo que ele funcione totalmente offline.

Por que isso é importante?

Os pesquisadores ficaram em 2º lugar em uma competição mundial (UNLP 2026). O que eles provaram é que não precisamos de supercomputadores gigantes ou de conexão constante com a nuvem para ter uma inteligência artificial de alta qualidade.

Podemos ter um sistema que respeita a língua ucraniana, que não inventa fatos e que funciona de forma privada e segura, direto no seu próprio equipamento. É a democratização da inteligência: poder de processamento de elite, mas com o tamanho de um aplicativo comum.

Resumo técnico

Resumo Técnico: Um RAG de Ponta a Ponta para Ucraniano em Implantação Local

Este artigo descreve o sistema que conquistou o 2º lugar na UNLP 2026 Shared Task, uma competição focada em Processamento de Linguagem Natural (NLP) para o idioma ucraniano. O desafio consistia em construir um sistema de Resposta a Perguntas (QA) capaz de operar de forma totalmente offline, sob restrições severas de hardware (uma única GPU NVIDIA P100) e tempo (limite de 9 horas).

1. O Problema

O desafio central reside em três pilares:

• Limitações Linguísticas: Modelos de linguagem (LLMs) são otimizados para o inglês. Para o ucraniano (língua de recursos médios), os tokenizadores padrão fragmentam o texto cirílico excessivamente, o que aumenta o consumo de memória, reduz a velocidade de inferência e degrada a precisão.
• Alucinação e Verificabilidade: LLMs tendem a inventar fatos. O sistema precisava não apenas responder perguntas de múltipla escolha, mas também "ancorar" (grounding) a resposta em um documento e página específicos.
• Restrições de Hardware: A necessidade de execução local e offline impede o uso de APIs de terceiros (como OpenAI) e exige modelos altamente eficientes e comprimidos.

2. Metodologia

Os autores propuseram uma arquitetura de Geração Aumentada de Recuperação (RAG) modular e otimizada:

A. Pipeline de Recuperação Híbrida em Dois Estágios:

1. Nível de Documento: O sistema primeiro identifica o arquivo correto usando uma combinação de Recuperação Densa (embeddings de contexto da Perplexity) e Recuperação Esparsa (algoritmo BM25). Se houver ambiguidade, um reranker (Jina) é utilizado para decidir.
2. Nível de Página: Uma vez selecionado o documento, ele é dividido em fragmentos (chunks) baseados na estrutura Markdown. Utiliza-se a Fusão de Classificação Recíproca (RRF) para combinar resultados de busca vetorial e BM25, seguido por um reranker customizado (baseado no BAAI/bge-reranker-v2-m3) para selecionar os 8 fragmentos mais relevantes.

B. Geração e Ajuste Fino (Fine-Tuning):

• Dados Sintéticos: Para superar a escassez de dados, os autores criaram um pipeline que utiliza o GPT-4o-mini para gerar 7.000 perguntas de múltipla escolha a partir dos documentos originais, garantindo que as perguntas fossem autossuficientes.
• Modelo de Linguagem: Utilizaram o MamayLM-12B (baseado no Gemma 3), que já possui proficiência linguística em ucraniano. O modelo foi ajustado via LoRA (Low-Rank Adaptation) para realizar a tarefa dupla de responder a questão e citar o número da página.
• Otimização para Implantação: Para caber na GPU P100, o modelo foi submetido à quantização de 4 bits (formato GGUF) via llama.cpp, reduzindo drasticamente o uso de memória sem perda significativa de precisão.

3. Principais Contribuições

1. Sistema de Recuperação Híbrida Especializado: Um pipeline de dois estágios (documento $\rightarrow$ página) que garante alta precisão na localização da informação.
2. Metodologia de Dados Sintéticos: Um método robusto para gerar conjuntos de treinamento de alta qualidade para idiomas de recursos médios.
3. LLM Customizado e Comprimido: Engenharia de um modelo capaz de realizar inferência de alta velocidade e baixa memória em hardware legado, mantendo a capacidade de fundamentação (grounding).

4. Resultados

• Desempenho na Competição: O sistema alcançou o 2º lugar, com uma pontuação de 0,942 no conjunto de teste privado (o critério de avaliação pondera a precisão da resposta, a identificação correta do documento e a proximidade da página citada).
• Eficiência: O pipeline cumpriu rigorosamente o limite de 9 horas de processamento na GPU P100.
• Recuperação: A recuperação em nível de página atingiu um recall@3 de 0,92 no conjunto de desenvolvimento.

5. Significância

O trabalho demonstra que é possível construir sistemas de IA de alta performance, confiáveis e verificáveis para idiomas que não são o inglês, operando de forma totalmente local e privada. Isso tem implicações cruciais para setores que exigem soberania de dados e privacidade, como o jurídico e o farmacêutico, provando que a eficiência arquitetural e o ajuste fino inteligente podem compensar as limitações de hardware.