An End-to-End Ukrainian RAG for Local Deployment. Optimized Hybrid Search and Lightweight Generation

Este artículo presenta un sistema de Generación Aumentada por Recuperación (RAG) optimizado para el idioma ucraniano que utiliza una búsqueda híbrida de dos etapas y un modelo ligero especializado para permitir respuestas precisas y verificables en dispositivos con recursos computacionales limitados.

Lo esencial

El "Bibliotecario Inteligente" de Ucrania: Cómo crear una IA que no inventa historias

Imagina que tienes un estudiante muy inteligente, pero que tiene un problema: tiene una memoria increíble para las cosas generales, pero cuando le preguntas algo muy específico sobre un libro técnico en ucraniano, empieza a "alucinar" (inventar respuestas que suenan muy reales pero son mentira).

Este artículo presenta una solución para ese problema. Los investigadores crearon un sistema llamado RAG (Generación Aumentada por Recuperación) diseñado específicamente para el idioma ucraniano, que funciona de forma local (sin necesidad de internet o supercomputadoras de Google) y es extremadamente preciso.

Para entender cómo funciona, imagina que este sistema es como un Bibliotecario de Élite trabajando en una biblioteca gigante y oscura.

1. El proceso de búsqueda: "El radar y la lupa" (Búsqueda Híbrida)

Cuando le haces una pregunta al sistema, no intenta responder de memoria. En su lugar, activa un proceso de dos pasos:

• Paso 1: El Radar (Búsqueda de Documentos): En lugar de leer todos los libros de la biblioteca, el bibliotecario usa un "radar" que combina dos técnicas. Una busca por el significado (semántica) y la otra busca por palabras clave exactas (como un índice). Así, en segundos, descarta miles de libros y se queda solo con el que tiene la respuesta.
• Paso 2: La Lupa (Búsqueda de Páginas): Una vez que tiene el libro correcto, no lo lee todo de golpe. Usa una "lupa" para encontrar los párrafos exactos donde se menciona el tema. Esto es vital porque, si el libro tiene 500 páginas, leerlo entero le tomaría demasiado tiempo y energía.

2. El cerebro: "Un experto entrenado con práctica intensiva" (Fine-tuning)

El "cerebro" de este sistema es un modelo de lenguaje llamado MamayLM. Pero no es un cerebro genérico; es como un estudiante que se ha pasado meses estudiando exclusivamente manuales en ucraniano.

Como no tenían una cantidad infinita de libros de práctica, los investigadores hicieron algo muy ingenioso: usaron una IA más grande para crear "exámenes de práctica". Crearon miles de preguntas y respuestas falsas pero realistas basadas en los documentos reales. Así, el cerebro aprendió a responder de forma precisa y, lo más importante, aprendió a decirte exactamente en qué página encontró la respuesta (esto se llama "anclaje" o grounding).

3. El cuerpo: "Un atleta ligero" (Optimización y Despliegue)

Normalmente, las IAs son como elefantes: necesitan mucha comida (memoria y potencia de cómputo) para moverse. Si intentas meter un elefante en un coche pequeño (una computadora normal), no funcionará.

Los investigadores aplicaron una técnica llamada "Cuantización". Imagina que en lugar de esculpir una estatua con mármol pesado, la esculpen con un material ligero pero que se ve igual de bien. Esto hizo que la IA fuera lo suficientemente "ligera" para correr en una sola tarjeta gráfica común, sin necesidad de estar conectada a la nube.

¿Por qué es esto importante?

Este proyecto ganó el segundo lugar en una competencia mundial (UNLP 2026) porque demostró que:

1. No necesitas internet: Puedes tener una IA ultra inteligente y privada en tu propia computadora.
2. No miente: Al obligar a la IA a buscar en documentos reales antes de hablar, reducimos las "alucinaciones".
3. Respeta el idioma: Funciona de maravilla con el ucraniano, un idioma que a las IAs comerciales (como ChatGPT) a veces les cuesta procesar de forma eficiente.

En resumen: Han construido un bibliotecario ultra rápido, que no inventa datos, que habla ucraniano perfecto y que puede trabajar en una oficina pequeña sin necesidad de una supercomputadora.

Resumen técnico

Resumen Técnico: Un RAG de extremo a extremo para ucraniano con despliegue local

Este documento presenta la solución desarrollada por un equipo de investigadores para el UNLP 2026 Shared Task, una competencia de procesamiento de lenguaje natural (NLP) centrada en el idioma ucraniano. El sistema logró el segundo lugar en la clasificación final, demostrando que es posible ejecutar sistemas de Generación Aumentada por Recuperación (RAG) de alta precisión en hardware limitado y de forma totalmente local.

1. El Problema

El desafío consistía en construir un sistema capaz de responder preguntas de opción múltiple en ucraniano, basándose en un corpus de documentos de múltiples dominios. Las restricciones eran severas:

• Limitación de Hardware: El sistema debía funcionar de forma totalmente offline en una única GPU NVIDIA P100.
• Limitación de Tiempo: El proceso de inferencia no podía exceder las 9 horas.
• Barreras Lingüísticas: Los modelos de lenguaje (LLMs) suelen estar optimizados para el inglés. En ucraniano, los tokenizadores estándar fragmentan excesivamente el texto cirílico, lo que aumenta el consumo de memoria, ralentiza la inferencia y degrada la precisión.
• Necesidad de Verificabilidad: El sistema no solo debía dar la respuesta, sino también citar la página exacta del documento para evitar alucinaciones.

2. Metodología

Los autores diseñaron una arquitectura modular dividida en tres fases principales:

A. Preparación de Datos y Recuperación Híbrida en Dos Etapas:
Para maximizar la precisión sin agotar los recursos, implementaron un pipeline de búsqueda escalonado:

1. Recuperación a nivel de documento: Primero, el sistema identifica el archivo más relevante mediante un método híbrido que combina búsqueda densa (usando embeddings de Perplexity) y búsqueda dispersa (algoritmo BM25). Si hay ambigüedad, utilizan un re-clasificador (reranker) de Jina AI.
2. Recuperación a nivel de página: Una vez seleccionado el documento, se divide en fragmentos (chunks) de máximo 500 caracteres mediante segmentación sintáctica basada en la estructura Markdown. Se aplica nuevamente una búsqueda híbrida (densas + BM25) combinada con Reciprocal Rank Fusion (RRF) y un re-clasificador personalizado basado en BAAI/bge-reranker-v2-m3.

B. Generación y Ajuste del Modelo (Fine-Tuning):

• Modelo Base: Utilizaron MamayLM-12B, un modelo especializado en ucraniano basado en la arquitectura Gemma 3.
• Datos Sintéticos: Debido a la escasez de datos, crearon un pipeline automatizado con GPT-4o-mini para generar 7,000 preguntas de opción múltiple a partir de los documentos originales.
• Técnica de Entrenamiento: Emplearon LoRA (Low-Rank Adaptation) para ajustar el modelo a la tarea dual de responder la pregunta y proporcionar el número de página (ej. "A 2").
• Optimización para Despliegue: Para que el modelo de 12B parámetros cupiera en la GPU P100, aplicaron cuantización de 4 bits (formato GGUF) mediante la librería llama.cpp.

3. Contribuciones Clave

1. Pipeline de recuperación híbrida especializado: Un sistema de dos etapas (documento $\rightarrow$ página) que optimiza la precisión de la búsqueda en idiomas de recursos medios.
2. Metodología de generación de datos: Un método robusto para crear conjuntos de datos de entrenamiento sintéticos de alta calidad para tareas de QA en ucraniano.
3. Arquitectura de LLM optimizada: Un modelo de lenguaje personalizado, ligero y cuantizado, diseñado específicamente para la inferencia local de alta velocidad y con capacidad de fundamentación (grounding).

4. Resultados

El sistema demostró una excelente capacidad de generalización:

• Ranking: 2.º lugar en el Shared Task de UNLP 2026.
• Métricas de precisión: Obtuvo una puntuación de 0.942 en el conjunto de prueba privado y 0.920 en el público.
• Eficiencia: El pipeline cumplió estrictamente con el límite de 9 horas de cómputo en la GPU P100.
• Recuperación: Lograron una precisión casi perfecta en la identificación de documentos y un recall@3 de 0.92 a nivel de página.

5. Significado y Conclusión

Este trabajo es significativo porque rompe la dependencia de los modelos comerciales masivos (como GPT-4) para tareas de alta precisión en idiomas no ingleses. Demuestra que, mediante una estrategia de recuperación inteligente y un ajuste fino eficiente (LoRA + Cuantización), es posible desplegar sistemas de IA soberanos, privados y altamente precisos en infraestructuras locales y limitadas, garantizando la integridad de la información mediante la citación directa de fuentes.