GORAG: Graph-based Online Retrieval Augmented Generation for Dynamic Few-shot Social Media Text Classification

Riepilogo Tecnico: GORAG per la Classificazione Dinamica di Testi Social Media con Few-shot

Problema

Il documento affronta il compito della Classificazione Dinamica di Testi Social Media con Few-shot (DFSTC). Questo scenario coinvolge la classificazione di testi provenienti dai social media (ad es. incitamento all'odio, disinformazione) in cui:

1. Scarsità di Dati: Sono disponibili solo pochi esempi etichettati per classe (few-shot).
2. Evoluzione Dinamica: Nuove classi (etichette) emergono frequentemente nel tempo (ad es. nuovi tipi di abuso o disinformazione), richiedendo che i modelli si adattino senza un addestramento esteso o nuovi dati etichettati.
3. Limitazioni degli Approcci Esistenti:
   • Modelli di Reti Neurali (NN): Richiedono abbondanti dati etichettati per il fine-tuning e spesso vanno in overfitting quando i dati sono scarsi o sbilanciati.
   • Data Augmentation: I dati generati spesso mancano di pattern diversificati e portano all'overfitting.
   • RAG a Lungo Contesto: Sebbene i Large Language Models (LLM) possano gestire compiti few-shot, l'integrazione di informazioni laterali recuperate (come le descrizioni delle etichette) aumenta la dimensione dell'input, sommergendo i dettagli critici nel rumore e aumentando i costi dei token.
   • Esistenti RAG basati su Grafi: Gli approcci attuali soffrono di tre problemi specifici nel contesto DFSTC:
     • Indicizzazione uniforme: Trattare tutti i chunk di testo e le estrazioni di parole chiave con uguale importanza, ignorando i diversi livelli di confidenza.
     • Recupero non adattivo: Fare affidamento su soglie definite globalmente per il recupero, che potrebbero non essere ottimali per query specifiche o round in evoluzione.
     • Fonte ristretta: Recuperare informazioni solo da un set limitato di testi di addestramento, ignorando le preziose informazioni che emergono nei testi delle query.

Metodologia: GORAG

Gli autori propongono GORAG (Graph-based Online Retrieval Augmented Generation), un framework progettato per costruire e mantenere un grafo pesato online adattivo per recuperare un contesto preciso per la classificazione. Il framework opera in tre fasi principali:

1. Indicizzazione del Grafo Offline

GORAG costruisce un grafo pesato $G_r$ basato sui dati di addestramento etichettati $D_r$ per il round corrente $r$.

• Nodi: Il grafo consiste in nodi di parole chiave (estratti dal testo usando punteggi TF-IDF normalizzati) e nodi di etichetta (che rappresentano le classi target).
• Meccanismo di Pesatura degli Archi: A differenza dell'indicizzazione uniforme, GORAG assegna pesi agli archi che collegano le parole chiave alle etichette. Il peso $w_{v,y}$ è calcolato in base all'importanza della parola chiave all'interno del corpus testuale e alla sua rilevanza rispetto alla specifica etichetta $y$. Questo è derivato dalla media di $(1 - \text{punteggio TF-IDF})$ attraverso tutti i testi che contengono la parola chiave ed sono etichettati con $y$.
• Fusione dei Grafi: I grafi dei round precedenti vengono fusi con i nuovi grafi. Per garantire la connettività tra i vecchi e i nuovi set di etichette, vengono aggiunti archi tra i nodi delle nuove e delle vecchie etichette, con pesi calcolati come la media delle loro connessioni a nodi di parole chiave condivisi.

2. Recupero del Grafo Adattivo

Per una data query testuale, GORAG esegue il recupero senza soglie definite dall'uomo.

• Estrazione delle Parole Chiave: Le parole chiave vengono estratte dal testo della query. Quelle già esistenti nel grafo ($V_{exist}$) vengono utilizzate per il recupero; le nuove ($V_{notexist}$) sono riservate per l'indicizzazione online.
• Albero Ricoprente Minimo (MST): Il problema del recupero è formulato come la ricerca di un sottografo che colleghi tutti i nodi delle parole chiave estratte con il minimo peso totale (un problema del Albero di Steiner NP-difficile).
• Soluzione Greedy: Un algoritmo greedy (basato sull'algoritmo di Melhorn) approssima la soluzione. Costruisce un Albero di Copertura Minima (MST) sul grafo che include le parole chiave della query.
• Selezione dei Candidati: Tutti i nodi di etichetta contenuti in questo MST generato vengono recuperati come set di etichette candidate $\hat{Y}_r$. Ciò garantisce che vengano considerate solo le etichette semanticamente connesse alle parole chiave della query tramite il percorso più efficiente, eliminando la necessità di soglie arbitrarie.

3. Classificazione e Indicizzazione del Grafo Online

• Classificazione: L'LLM riceve il testo della query, le etichette candidate recuperate e le loro descrizioni (se disponibili) per eseguire la classificazione finale.
• Indicizzazione Online: Per affrontare il problema della "fonte ristretta", il framework aggiorna il grafo in tempo reale. Le parole chiave estratte dal testo della query che non esistono ancora nel grafo vengono aggiunte come nuovi nodi. Esse vengono collegate all'etichetta predetta del testo della query con pesi calcolati tramite lo stesso meccanismo di pesatura degli archi. Questo arricchisce il grafo per le query future, sebbene il meccanismo includa penalità per ridurre il rumore derivante da classificazioni LLM potenzialmente imprecise.

Contributi Chiave

1. Proposta di Framework: Introduzione di GORAG, un framework RAG online specificamente per DFSTC che affronta i problemi di indicizzazione uniforme, recupero non adattivo e fonte ristretta.
2. Meccanismo di Pesatura degli Archi: Un metodo innovativo per pesare gli archi tra parole chiave ed etichette in base all'importanza del corpus e alla rilevanza dell'etichetta, consentendo una modellazione più accurata delle relazioni.
3. Formulazione del Recupero Adattivo: Formulazione del recupero delle etichette candidate come problema dell'Albero di Steiner e fornitura di una soluzione efficiente tramite algoritmo greedy che elimina la necessità di soglie umane.
4. Validazione Empirica: Esperimenti estesi che dimostrano l'efficacia ed l'efficienza di GORAG attraverso benchmark di rilevamento di abusi sui social media e disinformazione.

Risultati Sperimentali

Gli autori hanno valutato GORAG su tre dataset: CAD (abuso sui social media), WOS (abstract accademici) e IFS-Rel (disinformazione nelle news web).

• Efficacia: GORAG ha superato tutti i baseline (inclusi i modelli basati su NN come Entailment, i RAG a lungo contesto come NaiveRAG e LongLLMLingua, e i RAG basati su grafi come GraphRAG, LightRAG e HippoRAG2) in tutti i round e nelle impostazioni di shot (1-shot, 5-shot, 10-shot).
  • Sul dataset IFS-Rel (1-shot), GORAG ha raggiunto il 96,88% di accuratezza nel Round 1, superando significativamente il secondo miglior risultato (LightRAG al 75,78%).
  • GORAG ha mantenuto un'accuratezza competitiva all'aumentare del numero di round (fino a 8 round), mentre i baseline come GraphRAG e NaiveRAG hanno subito cali significativi di prestazioni.
• Efficienza:
  • Costo dei Token: GORAG ha consumato significativamente meno token per query (ad es. 557,5 token su IFS-Rel) rispetto ai baseline RAG basati su grafi (ad es. GraphRAG a 9296,3 token), risultando in costi inferiori.
  • Tempo: Nonostante l'indicizzazione online, GORAG ha ottenuto un'efficienza temporale comparabile o migliore rispetto ai baseline.
  • Memoria: L'uso della memoria del grafo è rimasto basso (sotto i 50KB per il dataset testato), mostrando scalabilità.
• Studi di Ablazione: La rimozione dell'indicizzazione online ("GORAG offline") o del meccanismo di pesatura degli archi ("GORAG unit") ha portato a una minore accuratezza, confermando la necessità di entrambi i componenti.

Significato e Rivendicazioni

Il documento afferma che GORAG fornisce una soluzione robusta per scenari reali in cui i compiti di classificazione evolvono dinamicamente con dati etichettati limitati. Sfruttando un grafo pesato e un recupero adattivo tramite MST, GORAG:

• Preserva le informazioni granulari a livello di entità che spesso vanno perse negli approcci RAG a lungo contesto.
• Si adatta a nuove classi e aggiornamenti delle etichette senza richiedere un addestramento esteso o la regolazione manuale delle soglie.
• Riduce il problema del "lost-in-the-middle" e gli elevati costi dei token associati agli LLM proprietari che gestiscono contesti lunghi.
• Dimostra che un recupero preciso basato su grafi può migliorare significativamente le prestazioni degli LLM nei compiti di classificazione few-shot e dinamici, particolarmente per applicazioni sensibili come il rilevamento di incitamento all'odio e disinformazione.

Gli autori concludono che GORAG bilancia efficacemente la necessità di un contesto completo con i vincoli degli ambienti dinamici e few-shot, offrendo un approccio pratico per le applicazioni "Web for Good".