An End-to-End Ukrainian RAG for Local Deployment. Optimized Hybrid Search and Lightweight Generation

Questo articolo presenta un sistema RAG altamente efficiente e ottimizzato per l'italiano, progettato per rispondere a domande su documenti in lingua ucraina tramite una ricerca ibrida a due stadi e un modello compresso per l'implementazione locale su hardware limitato.

L'essenziale

Il Problema: Il Genio con la Memoria Corta

Immaginate di avere un assistente incredibilmente colto, capace di parlare qualsiasi lingua, ma con un difetto terribile: ha una memoria basata solo su ciò che ha studiato anni fa. Se gli chiedete qualcosa di molto specifico o di un documento che ha appena ricevuto, lui non lo sa. E cosa fa per non sembrare ignorante? Inizia a inventare. In gergo tecnico, questo si chiama "allucinazione". È come un amico che, per non fare brutta figura a una cena, inventa una storia assurda credendoci davvero.

Inoltre, questo assistente è abituato a leggere libri in inglese. Quando gli date un testo in ucraino, lui va in confusione: le parole gli sembrano frammenti di puzzle che non combaciano, rallenta tantissimo e fatica a capire il senso profondo.

La Soluzione: Il Sistema "RAG" (L'Assistente con la Biblioteca)

Gli autori hanno creato un sistema chiamato RAG (Retrieval-Augmented Generation). Invece di chiedere all'assistente di rispondere "a memoria", gli hanno dato una biblioteca personale e super organizzata.

Ora, quando gli fate una domanda, il processo non è più "indovina la risposta", ma diventa un lavoro da detective in tre fasi:

1. La Fase del Bibliotecario (Ricerca in due tempi)

Immaginate che la domanda sia: "Qual è il dosaggio del farmaco X descritto nel manuale di medicina?".

• Primo passo (Trovare il libro giusto): Il sistema non legge tutto subito. Prima fa una scansione rapidissima per capire in quale scaffale (quale documento) si trova la risposta. Usa un mix di "ricerca per parole chiave" (come cercare un titolo in un indice) e "ricerca per significato" (capire il concetto generale).
• Secondo passo (Trovare la pagina giusta): Una volta preso il libro, non legge tutto il tomo. Va a cercare le pagine specifiche che parlano di quel farmaco, usando un sistema che combina la precisione delle parole esatte con la comprensione del contesto.

2. La Fase dello Studente (L'Intelligenza Ucraina)

Invece di usare un modello generico che fatica con l'ucraino, hanno preso un modello specializzato (MamayLM) e lo hanno "addestrato" con dei simulacri. È come se avessero preso uno studente brillante e lo avessero fatto studiare intensamente solo su manuali ucraini, finché non è diventato un esperto della lingua e della struttura dei documenti.

3. La Fase del "Controllore" (Niente bugie!)

Per evitare che l'assistente inventi, lo hanno addestrato a fare una cosa fondamentale: citare la fonte. Non deve solo dirti "La risposta è A", ma deve dirti "La risposta è A, e lo trovi a pagina 12". Se non trova la prova nel testo, non può inventarla.

La Sfida: Il Computer "Vecchio"

La cosa incredibile è che tutto questo non avviene su un supercomputer della NASA, ma su un computer con risorse limitate (un vecchio chip chiamato P100).
Per farlo stare in uno spazio così piccolo, gli autori hanno usato la "quantizzazione". Immaginate di dover far stare una biblioteca intera in uno zaino: invece di portare ogni singolo libro in formato gigante, ne fanno delle versioni "compresse" ma che mantengono tutte le informazioni essenziali. È come passare da un video in 4K a uno in HD: lo vedi benissimo, ma occupa molto meno spazio.

In sintesi: Perché è importante?

Questo lavoro ha vinto il 2° posto in una competizione internazionale perché ha dimostrato che possiamo avere un'intelligenza artificiale:

1. Precisa: Non inventa fatti (grazie alla ricerca nei documenti).
2. Locale: Funziona offline, senza inviare dati privati su internet (fondamentale per la sicurezza).
3. Efficiente: Funziona bene anche con lingue "meno comuni" come l'ucraino e su computer non potentissimi.

In breve: hanno costruito un bibliotecario ucraino infallibile, velocissimo e capace di lavorare anche con uno zaino leggero!

Sommario tecnico

Riassunto Tecnico: Un sistema RAG end-to-end in lingua ucraina per il deployment locale

Problema e Contesto

Il paper affronta le sfide poste dal Natural Language Processing (NLP) per lingue a risorse medio-basse, nello specifico l'ucraino, all'interno di un contesto di Retrieval-Augmented Generation (RAG). Le problematiche principali identificate sono:

1. Limiti dei modelli linguistici (LLM): La tendenza alle allucinazioni quando le informazioni richieste sono specifiche o non presenti nel dataset di addestramento.
2. Inefficienza linguistica: I tokenizer standard, ottimizzati per l'inglese, frammentano eccessivamente il testo cirillico, aumentando il consumo di memoria e rallentando l'inferenza.
3. Vincoli hardware estremi: La necessità di eseguire il sistema in modalità completamente offline su hardware limitato (una singola GPU NVIDIA P100) entro un limite temporale di 9 ore, escludendo l'uso di API esterne.

Il lavoro è stato sviluppato per la sfida UNLP 2026 Shared Task, che richiedeva la risposta a domande a scelta multipla basate su documenti multi-dominio, fornendo la citazione della pagina di riferimento.

Metodologia

Gli autori hanno implementato un'architettura modulare suddivisa in tre fasi principali:

1. Pipeline di Recupero Ibrido a due stadi (Hybrid Retrieval)

Per massimizzare la precisione senza eccedere nei costi computazionali, il sistema non cerca direttamente le risposte, ma segue un processo gerarchico:

• Document-Level Retrieval (Primo stadio): Identifica il documento corretto combinando la ricerca densa (utilizzando gli embedding di Perplexity) e la ricerca sparsa (algoritmo BM25). Se i risultati non coincidono, viene utilizzato un reranker (Jina-reranker-v3) per selezionare il file più pertinente.
• Page-Level Retrieval (Secondo stadio): Una volta scelto il documento, questo viene suddiviso in chunk (massimo 500 caratteri) basati sulla struttura Markdown. Viene applicata la Reciprocal Rank Fusion (RRF) per combinare i punteggi di similarità vettoriale e BM25, seguita da un reranking finale tramite un cross-encoder personalizzato (BGE-reranker-v2-m3).

2. Generazione e Grounding

Il cuore del sistema è il modello MamayLM-12B (basato su Gemma 3), ottimizzato per l'ucraino.

• Fine-tuning: Il modello è stato affinato tramite LoRA (Low-Rank Adaptation) su un dataset sintetico di circa 7.000 domande a scelta multipla (generate con GPT-4o-mini) e sul dataset di competizione. Il fine-tuning è stato progettato per un compito duale: fornire la risposta corretta e il numero della pagina (grounding).
• Ottimizzazione per il deployment: Per rispettare i limiti della GPU P100, il modello è stato quantizzato a 4-bit tramite il formato GGUF (utilizzando llama.cpp).

3. Preparazione dei Dati

È stato utilizzato pymupdf4llm per l'estrazione del layout (mantenendo tabelle e intestazioni in Markdown) e pymorphy3 per la lemmatizzazione e la rimozione delle stop words ucraine, migliorando il segnale durante la ricerca lessicale.

Contributi Chiave

1. Sistema di recupero ibrido specializzato: Un approccio a due stadi (documento $\rightarrow$ pagina) che garantisce un'altissima precisione nel reperimento del contesto.
2. Metodologia di sintesi dati: Un pipeline automatizzata per generare dataset di addestramento di alta qualità in lingua ucraina partendo da documenti PDF grezzi.
3. LLM ottimizzato per l'inferenza locale: Un modello da 12 miliardi di parametri, altamente specializzato e quantizzato, capace di operare con efficienza su hardware legacy.

Risultati

Il sistema ha ottenuto il 2° posto nella classifica finale della UNLP 2026 Shared Task:

• Punteggio sul test set privato: 0.942.
• Punteggio sul test set pubblico: 0.920.
• Efficienza: Il sistema ha completato l'inferenza rispettando il limite di 9 ore su una singola GPU P100.
• Precisione del recupero: Il recupero a livello di pagina ha raggiunto un recall@3 di 0.92 sul dataset di sviluppo.

Significato e Conclusioni

Il lavoro dimostra che è possibile costruire sistemi di IA sofisticati, affidabili e "grounded" (ancorati ai fatti) anche per lingue meno rappresentate e su hardware limitato. L'approccio sottolinea come, in un sistema RAG, la precisione della ricerca sia spesso più critica della potenza bruta del modello generativo. La capacità di eseguire tutto localmente garantisce inoltre la privacy dei dati, un aspetto fondamentale per applicazioni in domini sensibili come quello farmaceutico citato nel paper.