Technische Samenvatting: GORAG voor Dynamische Few-shot Social Media Tekstclassificatie

Probleemstelling

Het artikel behandelt de taak van Dynamische Few-shot Social Media Tekstclassificatie (DFSTC). Dit scenario omvat het classificeren van sociale mediateksten (bijv. haatspraak, desinformatie) waarbij:

1. Data-schaarsheid: Er zijn slechts enkele gelabelde voorbeelden per klasse beschikbaar (few-shot).
2. Dynamische Evolutie: Nieuwe klassen (labels) ontstaan frequent in de loop van de tijd (bijv. nieuwe vormen van misbruik of desinformatie), wat modellen vereist om zich aan te passen zonder uitgebreide hertraining of nieuwe gelabelde data.
3. Beperkingen van Bestaande Benaderingen:
   • Neurale Netwerk (NN) modellen: Vereisen overvloedige gelabelde data voor fine-tuning en leiden vaak tot overfitting wanneer data schaars of ongebalanceerd is.
   • Data-augmentatie: Gegenereerde data mist vaak diverse patronen en leidt tot overfitting.
   • Long Context RAG: Hoewel Large Language Models (LLMs) few-shot taken kunnen afhandelen, verhoogt het integreren van opgehaalde zij-informatie (zoals labelbeschrijvingen) de inputgrootte, waardoor cruciale details verdrinken in ruis en de tokenkosten stijgen.
   • Bestaande Grafische RAG-methoden: Huidige benaderingen lijden onder drie specifieke problemen in de DFSTC-context:
     • Uniforme indexering: Het behandelen van alle tekstfragmenten en trefwoordextracties met gelijke belangrijkheid, waarbij variërende betrouwbaarheidsniveaus worden genegeerd.
     • Niet-adaptieve Retrieval: Vertrouwen op globaal vooraf gedefinieerde drempelwaarden voor retrieval, wat mogelijk niet optimaal is voor specifieke queries of evoluerende rondes.
     • Beperkte Bron (Narrow-source): Informatie ophalen uit slechts een beperkte set trainings-teksten, waarbij waardevolle informatie die in query-teksten naar voren komt, wordt genegeerd.

Methodologie: GORAG

De auteurs stellen GORAG (Graph-based Online Retrieval Augmented Generation) voor, een framework dat is ontworpen om een adaptieve online gewogen graaf te construeren en te onderhouden om precieze context voor classificatie op te halen. Het framework werkt in drie kernstadia:

1. Offline Graaf-indexering

GORAG construeert een gewogen graaf $G_r$ op basis van gelabelde trainingsdata $D_r$ voor de huidige ronde $r$.

• Nodes (Knopen): De graaf bestaat uit trefwoordknopen (geëxtraheerd uit tekst met behulp van genormaliseerde TF-IDF scores) en labelknopen (die de doelklassen vertegenwoordigen).
• Edge Weighting Mechanisme (Randgewichtsmechanisme): In tegenstelling tot uniforme indexering wijst GORAG gewichten toe aan randen die trefwoorden met labels verbinden. Het gewicht $w_{v,y}$ wordt berekend op basis van de belangrijkheid van het trefwoord binnen de tekstcorpus en de gerelateerdheid aan de specifieke label $y$. Dit is afgeleid van het gemiddelde van $(1 - \text{TF-IDF score})$ over alle teksten die het trefwoord bevatten en gelabeld zijn met $y$.
• Graaf-merging: Grafen uit voorgaande rondes worden samengevoegd met nieuwe grafen. Om connectiviteit tussen oude en nieuwe labelsets te waarborgen, worden randen toegevoegd tussen nieuwe en oude labelknopen, waarbij de gewichten worden berekend als het gemiddelde van hun verbindingen met gedeelde trefwoordknopen.

2. Adaptieve Graaf-retrieval

Voor een gegeven query-tekst voert GORAG retrieval uit zonder menselijk gedefinieerde drempelwaarden.

• Trefwoordextractie: Trefwoorden worden geëxtraheerd uit de query-tekst. De trefwoorden die al in de graaf bestaan ($V_{exist}$) worden gebruikt voor retrieval; nieuwe trefwoorden ($V_{notexist}$) worden gereserveerd voor online indexering.
• Minimum-Cost Spanning Tree (MST): Het retrieval-probleem wordt geformuleerd als het vinden van een subgraaf die alle geëxtraheerde trefwoordknopen verbindt met het minimale totale randgewicht (een NP-hard Steiner Tree probleem).
• Greedy Oplossing: Een greedy algoritme (gebaseerd op Melhorn's algoritme) benadert de oplossing. Het construeert een Minimum Spanning Tree (MST) over de graaf die de query-trefwoorden bevat.
• Kandidaatselectie: Alle labelknopen die binnen deze gegenereerde MST zijn opgenomen, worden opgehaald als de kandidaat-labelset $\hat{Y}_r$. Dit zorgt ervoor dat alleen labels die semantisch verbonden zijn met de query-trefwoorden via het meest efficiënte pad worden overwogen, waardoor de noodzaak voor willekeurige drempelwaarden wordt geëlimineerd.

3. Classificatie & Online Graaf-indexering

• Classificatie: De LLM ontvangt de query-tekst, de opgehaalde kandidaat-labels en hun beschrijvingen (indien beschikbaar) om de uiteindelijke classificatie uit te voeren.
• Online Indexering: Om het "narrow-source" probleem aan te pakken, werkt het framework de graaf in realtime bij. Trefwoorden geëxtraheerd uit de query-tekst die nog niet in de graaf bestaan, worden toegevoegd als nieuwe knopen. Ze worden verbonden met het voorspelde label van de query-tekst met gewichten die worden berekend via hetzelfde randgewichtsmechanisme. Dit verrijkt de graaf voor toekomstige queries, hoewel het mechanisme straffen bevat om ruis door potentieel onnauwkeurige LLM-classificaties te verminderen.

Belangrijkste Bijdragen

1. Framework Voorstel: Introductie van GORAG, een online RAG-framework specifiek voor DFSTC dat de problemen van uniforme indexering, niet-adaptieve retrieval en beperkte bron aanpakt.
2. Edge Weighting Mechanisme: Een nieuwe methode om randen tussen trefwoorden en labels te wegen op basis van corpus-belang en labelrelevantie, wat een nauwkeurigere modellering van relaties mogelijk maakt.
3. Adaptieve Retrieval Formulering: Het formuleren van kandidaat-label retrieval als een Steiner Tree probleem en het bieden van een efficiënt greedy algoritme-oplossing die de noodzaak voor menselijk gedefinieerde drempelwaarden elimineert.
4. Empirische Validatie: Uitgebreide experimenten die de effectiviteit en efficiëntie van GORAG aantonen over benchmarks voor sociale media misbruik en desinformatie detectie.

Experimentele Resultaten

De auteurs evalueerden GORAG op drie datasets: CAD (social media misbruik), WOS (academische abstracts) en IFS-Rel (web nieuws desinformatie).

• Effectiviteit: GORAG presteerde beter dan alle baselines (inclusief NN-gebaseerde modellen zoals Entailment, Long Context RAGs zoals NaiveRAG en LongLLMLingua, en Graph-gebaseerde RAGs zoals GraphRAG, LightRAG en HippoRAG2) over alle rondes en shot-settings (1-shot, 5-shot, 10-shot).
  • Op de IFS-Rel dataset (1-shot) behaalde GORAG een nauwkeurigheid van 96,88% in Ronde 1, wat de op één na beste (LightRAG met 75,78%) aanzienlijk versloeg.
  • GORAG behield een concurrerende nauwkeurigheid naarmate het aantal rondes toenam (tot 8 rondes), terwijl baselines zoals GraphRAG en NaiveRAG een significante daling in prestaties lieten zien.
• Efficiëntie:
  • Token Kosten: GORAG verbruikte aanzienlijk minder tokens per query (bijv. 557,5 tokens op IFS-Rel) vergeleken met Graph-gebaseerde RAG baselines (bijv. GraphRAG met 9296,3 tokens), wat resulteerde in lagere kosten.
  • Tijd: Ondanks de online indexering bereikte GORAG een vergelijkbare of betere tijdefficiëntie dan de baselines.
  • Geheugen: Het graafgeheugengebruik bleef laag (onder de 50KB voor de geteste dataset), wat schaalbaarheid aantoont.
• Ablatie-studies: Het verwijderen van de online indexering ("GORAG offline") of het edge weighting mechanisme ("GORAG unit") resulteerde in een lagere nauwkeurigheid, wat de noodzaak van beide componenten bevestigt.

Betekenis en Claims

Het artikel claimt dat GORAG een robuuste oplossing biedt voor real-world scenario's waar classificatietaken dynamisch evolueren met beperkte gelabelde data. Door gebruik te maken van een gewogen graaf en adaptieve retrieval via MST, biedt GORAG:

• Behoud van fijnmazige, entiteitsniveau informatie die vaak verloren gaat in long-context RAG benaderingen.
• Aanpassing aan nieuwe klassen en label-updates zonder dat uitgebreide hertraining of handmatige drempelwaarde-instellingen nodig zijn.
• Vermindering van het "lost-in-the-middle" probleem en de hoge tokenkosten geassocieerd met propriëtaire LLMs die lange contexten verwerken.
• Demonstratie dat precieze, graafgebaseerde retrieval de prestaties van LLMs aanzienlijk kan verbeteren in few-shot, dynamische classificatietaken, met name voor gevoelige toepassingen zoals haatspraak en desinformatie detectie.

De auteurs concluderen dat GORAG effectief een balans vindt tussen de behoefte aan uitgebreide context en de beperkingen van dynamische, few-shot omgevingen, en een praktische aanpak biedt voor "Web for Good" toepassingen.