Riepilogo Tecnico: AstroRAG - Una Pipeline di Generazione Aumentata dal Recupero Basata su PageRank per la QA Astronomica

1. Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) mostrano forti capacità di elaborazione del linguaggio naturale, ma generano frequentemente errori fattuali quando si affidano esclusivamente alla conoscenza parametrica. Sebbene la Generazione Aumentata dal Recupero (RAG) mitighi questo problema ancorando le risposte a prove esterne, le pipeline convenzionali di "recupero e scarico" introducono spesso contesti irrilevanti. Ciò è particolarmente dannoso in domini specializzati come l'astronomia, dove sono richiesti terminologia tecnica densa, formalismo matematico e un ancoraggio contestuale preciso.

Inoltre, studi recenti evidenziano un "effetto posizionale a forma di U" nei modelli a contesto lungo, dove l'accuratezza diminuisce significativamente quando le prove chiave sono posizionate nel mezzo di un prompt piuttosto che all'inizio o alla fine. Le soluzioni specifiche per il dominio esistenti spesso faticano a gestire contenuti ricchi di equazioni, colmare il divario tra vocabolari generali e specializzati e garantire tracciabilità e privacy nel ragionamento scientifico.

2. Metodologia: La Pipeline AstroRAG

AstroRAG è un framework RAG leggero, completamente locale e privo di addestramento, progettato specificamente per la risposta alle domande in astronomia. Opera su base per istanza per garantire la privacy e prevenire la fuoriuscita di dati tra compiti diversi. La pipeline è composta dalle seguenti fasi:

A. Isolamento a Livello di Istanza e Pre-elaborazione

• Indicizzazione Transitoria: Per ogni query, il sistema ingerisce solo i documenti di background pertinenti (.txt, .pdf, .md), li elabora e li archivia in un indice Elasticsearch effimero. Questo indice viene eliminato immediatamente dopo la generazione della risposta per prevenire la contaminazione dei dati.
• Frammentazione Consapevole dei Token: I documenti vengono normalizzati e suddivisi utilizzando un divisore di testo ricorsivo e consapevole dei token (basato su tiktoken con codifica p50k).
  • Dimensione massima del frammento ($L$): 300 token.
  • Sovrapposizione ($\Delta$): 30 token.
  • I metadati (nome file, pagina, ID frammento) sono allegati a ogni frammento per la provenienza.

B. Incapsulamento e Indicizzazione Vettoriale

• I frammenti vengono incapsulati utilizzando un modello di incapsulamento di frasi (ad esempio, Sentence-BERT).
• Opzionale HyDE (Hypothetical Document Embeddings): Un LLM locale può generare un passaggio ipotetico per la query, che viene poi incapsulato per migliorare il recupero su query sparse.
• Gli incapsulamenti sono archiviati nell'indice Elasticsearch transitorio.

C. Recupero in Due Fasi

Il sistema impiega un processo di recupero in due fasi per selezionare un contesto compatto e reciprocamente supportivo entro un budget di token rigoroso:

1. Fase 1: Massima Rilevanza Marginale (MMR):

   • Recupera un piccolo insieme di candidati diversificati (predefinito $k=3$) dallo store vettoriale.
   • Ottimizza sia la rilevanza rispetto alla query che la diversità tra i candidati per evitare ridondanza.
   • Formula: $d^* = \arg\max_{d \in D \setminus S} [\lambda s(d, q) - (1-\lambda) \max_{d' \in S} s(d, d')]$.

2. Fase 2: Riordinamento PageRank (PR) Guidato dal Lettore:

   • Costruisce un grafo di similarità in cui i nodi sono i $k$ frammenti recuperati e gli archi rappresentano la similarità coseno sopra una soglia ($\tau = 0.01$).
   • Applica un algoritmo PageRank con un vettore di personalizzazione derivato dai punteggi di similarità query-frammento.
   • Obiettivo: Identificare un insieme compatto di frammenti che non solo siano rilevanti per la query, ma anche reciprocamente rafforzanti (alto supporto tra frammenti).
   • I primi $pr$ frammenti (predefinito = 3) sono selezionati in base ai punteggi PageRank.

D. Generazione della Risposta

• I frammenti selezionati vengono concatenati e tagliati a un budget di token fisso (predefinito $T=1800$) per adattarsi alla finestra di contesto dell'LLM.
• Un LLM locale (ad esempio, Mistral-7B, LLaMA 2, AstroSage) genera la risposta finale in un singolo passaggio, fornendo la risposta insieme alle citazioni esatte delle fonti.
• Il sistema supporta più backend tramite API compatibili con OpenAI o HuggingFace TGI.

3. Contributi Chiave

1. Isolamento a Livello di Istanza e Tracciabilità: Il sistema ingerisce solo file pertinenti, costruisce un indice transitorio per istanza, registra la risposta e i frammenti di supporto, ed elimina l'indice dopo la generazione. Ciò garantisce la privacy e previene la contaminazione tra istanze.
2. Recupero in Due Fasi con PageRank Guidato dal Lettore: La combinazione innovativa di MMR per la diversità iniziale e una fase di riordinamento PageRank guidato dal lettore seleziona un piccolo insieme coerente di frammenti. Questo bilancia la rilevanza della query con il supporto tra frammenti, ottimizzando per l'"effetto posizionale" negli LLM.
3. Pipeline Completamente Locale e Modulare: L'intero flusso di lavoro (incapsulamento, recupero, generazione) viene eseguito su hardware locale, supportando operazioni offline e casi d'uso sensibili alla privacy senza dipendenza da API cloud esterne.

4. Risultati Sperimentali

La pipeline è stata valutata sul benchmark AstroQA (3.082 domande su livelli di difficoltà facile, medio e difficile) e su un dataset personalizzato AstroRef-QA.

• Prestazioni su AstroQA:
  • La variante Mistral-7B + AstroRAG ha raggiunto un'accuratezza del 79,49% e un punteggio F1 del 79,49% sul dataset totale.
  • Ciò rappresenta un raddoppio quasi completo delle prestazioni rispetto alla baseline Mistral-7B non-RAG (21,74% di accuratezza).
  • I guadagni di prestazioni sono stati coerenti tra i livelli di difficoltà: Facile (77,50%), Medio (80,28%) e Difficile (83,59%).
  • AstroRAG ha superato altre baseline RAG come DrQA e strategie Map-Reduce.
• Prestazioni su AstroRef-QA:
  • Utilizzando le metriche ROUGE-L e ROUGE-N, il modello Mistral-7B + AstroRAG ha ottenuto i punteggi più alti (30,17% ROUGE-L, 42,12% ROUGE-N), dimostrando una migliore sovrapposizione lessicale e rilevanza dei contenuti.
• Studi di Ablazione:
  • Budget di Token: Un limite di token di output di 64 ha fornito il miglior equilibrio tra latenza e accuratezza.
  • Iperparametri: Le migliori prestazioni sono state osservate con un top-$K$ di PageRank di 3 e una sovrapposizione di frammenti di 30 token.

5. Significato e Affermazioni

Il documento afferma che AstroRAG stabilisce una base solida per estendere la RAG ad altri campi scientifici, dimostrando che un recupero e raffinamento disciplinati sono fondamentali per potenziare il ragionamento specifico del dominio.

• Efficacia del Riordinamento: I risultati evidenziano che recuperare semplicemente più passaggi è meno efficace rispetto all'uso di un processo in due fasi (MMR + PageRank) per selezionare un contesto compatto e reciprocamente supportivo.
• Privacy e Riproducibilità: Operando localmente e utilizzando l'indicizzazione transitoria, il sistema affronta le esigenze critiche di verificabilità e privacy nelle applicazioni scientifiche.
• Adattamento al Dominio: Il framework colma con successo il divario tra le capacità generali degli LLM e i rigorosi requisiti del ragionamento astronomico, gestendo compiti complessi come il ragionamento su magnitudine-luminosità, la categorizzazione degli oggetti celesti e i calcoli del tempo siderale.

Gli autori riconoscono le limitazioni, inclusa la sensibilità alla scelta del modello di incapsulamento e degli iperparametri di recupero, e suggeriscono lavori futuri su frammentazione adattiva, aggregazione multi-hop e gestione di input multilingue.