Riepilogo Tecnico: RH-RAG per la Generazione di Testi Lunghi e Affidabili in Ambienti con Vincoli di Privacy

Definizione del Problema

Le organizzazioni in settori sensibili (sanità, finanza, legale) affrontano un collo di bottiglia critico: l'impossibilità di utilizzare i Large Language Models (LLM) per la generazione di contenuti di lungo formato partendo da rapporti interni riservati, a causa dei rigorosi vincoli di privacy che proibiscono l'invio di dati a API cloud proprietarie. Sebbene l'implementazione locale di modelli open-weight (ad esempio, con 7B–8B parametri) offra un'alternativa che preserva la privacy, essi soffrono di tre modalità di fallimento primarie durante la generazione di testi lunghi:

1. Allucinazione Fattuale: Le affermazioni non supportate si accumulano nel corso di output estesi.
2. Saturazione del Contesto: La fedeltà del recupero degrada man mano che la finestra di contesto cresce, causando una tendenza del modello ad attendere a pattern superficiali piuttosto che integrare prove rilevanti.
3. Deriva Strutturale: L'assenza di una pianificazione globale porta a una perdita di coerenza tra le sezioni e di continuità narrativa.

Le pipeline di Retrieval-Augmented Generation (RAG) esistenti mitigano parzialmente le allucinazioni, ma mancano di meccanismi di pianificazione globale e degradano la continuità narrativa su documenti estesi. Inoltre, le strategie di generazione multi-step proposte in letteratura sono spesso progettate per il deployment in cloud o mancano di meccanismi di verifica fattuale deterministici adatti ad ambienti locali con vincoli di privacy.

Metodologia: Il Framework RH-RG

RH-RAG è un framework multi-agente progettato per replicare il flusso di lavoro della scrittura umana (pianifica, bozza, verifica) utilizzando modelli open-weight implementati localmente. Opera interamente all'interno di ambienti locali privati su hardware di classe consumer (ad esempio, GPU NVIDIA T4). Il framework si compone di tre fasi sequenziali gestite da agenti dedicati:

1. Segmentazione del Documento a Doppio Livello

Per bilanciare la comprensione del contesto globale con il recupero fattuale preciso, i documenti sono indicizzati a due granularità complementari:

• Livello-1 (Riassunti di Instradamento): I documenti sono divisi in segmenti ampi (20k–30k token). Per ogni segmento viene generato un riassunto conciso utilizzando un modello Mistral-7B sottoposto a fine-tuning. Questi riassunti formano uno strato di routing semantico leggero utilizzato esclusivamente durante la fase di pianificazione per identificare le regioni documentali rilevanti senza caricare l'intero corpus.
• Livello-2 (Chunk di Evidenza): Passaggi granulari che preservano il testo originale per l'ancoraggio fattuale. Questi vengono codificati utilizzando il modello di embedding bge-base-en-v1.5 per il recupero semantico denso.

2. Pipeline di Generazione Multi-Agente

• Agente Pianificatore (Planner Agent): Prima della generazione del testo, questo agente interroga l'indice di Livello-1 per costruire una struttura globale organizzata. Fondamentalmente, genera un ancoraggio di recupero (una query mirata) per ogni sezione per guidare il successivo recupero delle evidenze di Livello-2. Ciò disaccoppia la pianificazione strutturale globale dal recupero dell'evidenza fine.
• Agente Scrittore (Writer Agent): Questo agente genera contenuti in modo incrementale, una sezione alla volta. Per prevenire la saturazione del contesto, utilizza una memoria di coerenza limitata composta da:
  • Riassunto Locale ($L_{i-1}$): Cattura la transizione narrativa immediata dalla sezione precedente.
  • Riassunto Globale ($G_{i-1}$): Una rappresentazione compressa corrente dell'intero arco tematico del documento e dei fatti stabiliti.
    Entrambi i riassunti sono aggiornati da un riassuntore leggero dopo ogni sezione, garantendo la continuità senza espandere la dimensione effettiva del contesto.
• Agente Verificatore (Checker Agent) & Ciclo di Feedback di Attestazione: Ogni sezione generata subisce un processo di verifica in tre fasi prima dell'incorporazione finale:
  1. Estrazione delle Claim: Il testo viene decomposto in affermazioni fattuali atomiche.
  2. Verifica NLI: Un modello DeBERTa-v3-large classifica ogni affermazione come supportata, non supportata o contraddetta rispetto alle evidenze di Livello-2 recuperate.
  3. Ciclo di Attestazione: Se la copertura fattuale ($coverage(S_i)$) scende al di sotto di una soglia ($\tau=0.8$), le affermazioni non supportate vengono riscritte da un Agente di Revisione dedicato utilizzando nuove evidenze recuperate. Questo ciclo viene eseguito per un massimo di tre iterazioni.

Contributi Chiave

Il documento identifica tre contributi primari:

1. Architettura di Recupero a Doppio Livello: Una nuova strategia di indicizzazione che consente un recupero multi-agente efficiente su hardware limitato, separando i riassunti di pianificazione dalle evidenze dei chunk di generazione.
2. Memoria di Coerenza Limitata: Un meccanismo di generazione per sezione che utilizza riassunti locali e globali per prevenire la saturazione del contesto e mantenere la coerenza narrativa senza superare i limiti di contesto del modello.
3. Ciclo di Revisione Guidato dall'Attestazione: Un meccanismo di controllo generativo che integra la verifica basata su NLI direttamente nel processo di generazione, eliminando sistematicamente le affermazioni non supportate tramite un ciclo di feedback anziché affidarsi a una valutazione post-hoc.

Risultati Sperimentali

Il framework è stato valutato in tre domini: Letterario (libri di pubblico dominio), Finanziario (rapporti annuali) e Legale (materiali relativi a casi giudiziari). Le prestazioni sono state misurate rispetto a Standard RAG, Hierarchical RAG e modelli proprietari commerciali (GPT-4o, Claude, Gemini Pro).

• Fondamento Fattuale: RH-RAG ha superato costantemente i baseline RAG. Nel dominio finanziario, la rimozione del Checker Agent ha causato una diminuzione dell'AlignScore da 78.5 a 74.2, dimostrando il ruolo critico della verifica.
• Coerenza e Allineamento: RH-RAG ha ottenuto miglioramenti significativi nella coerenza semantica (SUMMAC) e nell'allineamento a livello di documento (AlignScore) rispetto ai metodi di generazione a singolo passaggio.
• Confronto con Sistemi Proprietari: Nonostante l'utilizzo di modelli open-weight da 7B–8B, RH-RAG si è avvicinato alle metriche di fedeltà dei sistemi cloud proprietari. Ad esempio, nel dominio letterario, RH-RAG (Mistral-7B) ha raggiunto un AlignScore di 76.7, rimanendo entro 3 punti da GPT-4o (79.1), senza trasmettere dati esternamente.
• Studi di Ablazione: Lo studio ha confermato che ogni componente (Planner, Writer con memoria, Checker) fornisce guadagni non ridondanti. Il Planner ha migliorato la coerenza strutturale, mentre il Checker ha fornito il maggior guadagno individuale nell'allineamento fattuale.

Significato e Rivendicazioni

Il documento sostiene che RH-RAG colma una lacuna critica nella letteratura affrontando simultaneamente la pianificazione globale del documento, la generazione a memoria limitata, la verifica deterministica a livello di claim e il rigoroso deployment esclusivamente locale all'interno di un unico framework unificato.

L'autore posiziona RH-RAG come una soluzione viabile per le organizzazioni che non possono compromettere la privacy dei dati. Il sistema dimostra che una generazione di testi lunghi, di alta qualità e affidabile, è realizzabile su hardware di classe consumer utilizzando modelli open-weight, a condizione che il processo di generazione sia strutturato con una pianificazione esplicita e una verifica iterativa. Il lavoro suggerisce che l'affidabilità dei sistemi cloud proprietari può essere approssimata in contesti privati attraverso innovazioni architettoniche piuttosto che semplicemente scalando i parametri del modello.

Il documento riconosce i limiti, notando che il framework è vincolato dalle capacità di ragionamento dei modelli da 7B–8B, si affida a modelli general-purpose istruiti (instruction-tuned) piuttosto che a modelli specifici per agenti, e che l'valutazione su testi di pubblico dominio può rappresentare un limite superiore dovuto alla potenziale conoscenza parametrica latente nei modelli. Il lavoro futuro proposto include soglie di verifica adattive al dominio e modelli NLI specializzati.