Hyperparameter Analysis in Retrieval-Augmented Generation Systems Applied to the Public Prosecutor’s Office of the State of Espírito Santo Corpus

Immagina di avere un amico robot super intelligente che sa scrivere saggi, raccontare barzellette e rispondere a quasi ogni domanda tu faccia. Questo robot è come uno studente brillante che ha letto l'intero internet. Ma c'è un problema: questo studente ha una memoria terribile per i fatti. Se gli chiedi di una legge specifica, potrebbe inventare con estrema sicurezza una regola che sembra perfetta ma che è completamente falsa. Questo si chiama "allucinazione", ed è un grosso problema quando hai bisogno di informazioni accurate, come in un tribunale o in un ospedale.

Per risolvere questo problema, gli scienziati hanno inventato un trucco astuto chiamato Generazione Aumentata dalla Recupero (RAG). Pensa a questo come se dessi al tuo amico robot una pila di libri di testo proprio prima dell'esame. Invece di indovinare dalla sua memoria, il robot prima cerca la risposta nei libri, poi scrive la sua risposta basandosi solo su ciò che ha trovato. È come un detective che controlla il fascicolo delle prove prima di scrivere il rapporto. Ma c'è un colpo di scena: il modo in cui organizzi quei libri è importante. Strappi le pagine in piccoli pezzi? Mantieni interi capitoli insieme? E quante pagine lasci leggere al robot prima che inizi a scrivere? Se sbagli queste impostazioni, il robot potrebbe perdere l'indizio cruciale o confondersi con troppo rumore. Questo è esattamente l'enigma che un team di ricercatori in Brasile ha deciso di risolvere.

---

Il dilemma del detective: Sintonizzare la macchina

Nello stato di Espírito Santo, in Brasile, l'Ufficio del Pubblico Ministero (MPES) possiede una biblioteca enorme di documenti legali: migliaoli di leggi, regole e ordinanze. Per anni, trovare una regola specifica è stato un incubo. I dipendenti pubblici dovevano sapere esattamente dove cercare, altrimenti restavano bloccati. Per aiutare, hanno costruito un assistente virtuale di nome Fabi (chiamata così in onore di una vera dipendente super preparata). Fabi usa il trucco RAG: legge la biblioteca legale e risponde alle domande del personale.

Ma Fabi non era perfetta. A volte perdeva dettagli importanti; a volte dava risposte vaghe. I ricercatori, guidati da Heitor Quartezani e dal suo team, si sono posti una domanda semplice: Quali impostazioni rendono Fabi il miglior detective possibile? Non hanno tirato a indovinare; hanno trattato il problema come un enorme esperimento scientifico. Hanno testato ogni combinazione di quattro diversi "pomelli" del sistema per vedere quale producesse le risposte più accurate, oneste e utili.

Ecco cosa hanno girato e cosa hanno scoperto:

1. La strategia di "taglio" (Chunking)

Immagina di avere una storia legale lunga e complessa. Come la tagli per darla al robot?

• Il vecchio modo (Ricorsivo): Taglia la storia in blocchi di dimensioni fisse, come affettare una pagnotta in pezzi da 500 caratteri. È facile, ma potresti tagliare una frase a metà, perdendo il significato.
• Il modo intelligente (Semantico): Taglia la storia solo quando l'argomento cambia. Se la legge passa dalle "regole sulle vacanze" al "pagamento degli straordinari", è lì che devi tagliare. Questo mantiene intatte le idee.

La scoperta: I ricercatori hanno scoperto che il "Modo intelligente" (taglio semantico) era il vincitore assoluto. Nello specifico, tagliare in base al 95° percentile dei cambiamenti di argomento (ovvero, tagliare solo quando l'argomento cambia significativamente) manteneva l'informazione più integra. Il "Vecchio modo" di tagliare in pezzetti da 500 caratteri era terribile; frammentava la logica legale, rendendo impossibile per il robot trovare la risposta corretta. Nel lavoro legale, perdere anche un singolo dettaglio può essere disastroso, quindi mantenere la storia intera era il fattore più importante.

2. Il metodo di ricerca (Retrieval)

Come trova Fabi le pagine giuste nella biblioteca?

• Ricerca Vettoriale: È come chiedere al robot: "Trovami cose che sembrano simili a questa domanda". È ottima per comprendere il significato, ma potrebbe mancare parole esatte.
• Ricerca Lessicale: È come un classico catalogo della biblioteca. Cerca corrispondenze esatte di parole. È ottima per termini specifici, ma scarsa nel comprendere il contesto.
• Ricerca Ibrida: È il meglio dei due mondi. Utilizza un trucco matematico speciale (chiamato Fusione del Rango Reciproco) per combinare la ricerca basata sul "sentire" e la ricerca basata sulle "parole esatte".

La scoperta: La Ricerca Ibrida è stata la campionessa. Combinando entrambi i metodi, Fabi poteva trovare i documenti giusti anche se l'utente poneva una domanda in un modo insolito o usava un termine legale molto specifico. La ricerca basata sul "sentire" da sola non era sufficiente, e la ricerca basata sulle "parole esatte" da sola era troppo rigida. Insieme, rendevano il sistema molto più affidabile.

3. Quanto leggere (Top-K)

Quando Fabi trova i documenti migliori, quanti dovrebbe leggere prima di rispondere? Dovrebbe leggere 5 pagine? 20?

• La scoperta: Più leggeva, meglio diventava — almeno fino a un certo punto. Leggere 20 documenti dava i risultati migliori. Si è scoperto che dare al robot una "rete" più grande per catturare le informazioni lo aiutava a trovare gli indizi giusti, anche se alcune delle pagine extra erano un po' rumorose. Tuttavia, i ricercatori hanno notato che dopo 15 documenti, il miglioramento della qualità della risposta finale smetteva di essere statisticamente significativo. Quindi, sebbene leggere 20 fosse leggermente meglio, costava più potenza di calcolo. Hanno suggerito che in futuro il sistema potrebbe usare un filtro più intelligente per leggere meno pagine ottenendo comunque ottimi risultati.

4. La potenza del cervello (Scelta del LLM)

Infine, hanno testato due diversi "cervelli" per Fabi: il massiccio e super intelligente gpt-4o e il più piccolo e veloce gpt-4o-mini.

• La sorpresa: Potresti pensare che il cervello più grande e costoso vincerebbe. Ma il più piccolo gpt-4o-mini è stato in realtà altrettanto bravo, e a volte anche meglio!
• Perché? Il cervello gigante era così intelligente che a volte cercava di essere troppo creativo. Quando il robot leggeva 20 documenti, il grande cervello iniziava a mescolare le idee o a sovra-interpretare il testo, portando a piccoli errori. Il cervello più piccolo, invece, era più obbediente. Si atteneva strettamente al testo fornito, estraendo i fatti senza aggiungere il proprio "gusto". Per un assistente legale che ha bisogno di essere preciso, essere un po' più letterale era in realtà un superpotere.

Il verdetto finale

I ricercatori non hanno solo tirato a indovinare; hanno eseguito 3.840 esperimenti diversi (ovvero 96 diverse impostazioni testate contro 40 domande diverse) e hanno usato la matematica avanzata per provare i loro risultati.

Hanno concluso che per costruire il miglior assistente legale:

1. Taglia i documenti per argomento, non per dimensione fissa.
2. Usa una Ricerca Ibrida che combini significato e parole esatte.
3. Leggi circa 20 documenti per assicurarti di non perdere nulla.
4. Usa il modello di IA più piccolo e meno costoso (gpt-4o-mini) perché segue le istruzioni in modo più rigoroso e commette meno errori.

Questo studio è importante perché va oltre il "proviamo questo e vediamo cosa succede". Utilizza una scienza rigorosa per dirci esattamente come sintonizzare questi potenti strumenti affinché non sembrino solo intelligenti, ma siano effettivamente intelligenti e affidabili. Per l'Ufficio del Pubblico Ministero, questo significa che Fabi può ora aiutarli a trovare le leggi giuste più velocemente e con meno errori, facendo sì che il sistema legale funzioni meglio per tutti.