💬 NLP

GORAG: Graph-based Online Retrieval Augmented Generation for Dynamic Few-shot Social Media Text Classification

Das Papier schlägt GORAG vor, ein graphbasiertes Framework für die Online-Retrieval-Augmented Generation, das einen gewichteten Schlüsselwort-Label-Graphen konstruiert und minimale Spannbäume nutzt, um dynamisch relevanten Kontext abzurufen, wodurch die Few-Shot-Leistung der Klassifizierung von Social-Media-Texten in sich entwickelnden Szenarien verbessert wird, in denen gelabelte Daten knapp sind.

Ursprüngliche Autoren: Yubo Wang, Haoyang Li, Fei Teng, Lei Chen

Veröffentlicht 2026-01-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yubo Wang, Haoyang Li, Fei Teng, Lei Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das „bewegliche Ziel“ in einer kleinen Bibliothek

Stellen Sie sich vor, Sie sind ein Bibliothekar, der versucht, einen Stapel neuer Social-Media-Beiträge in verschiedene Kategorien zu sortieren (wie z. B. „Hassrede“, „Fehlinformationen“ oder „Witze“).

In der realen Welt ist dieser Job aus zwei Gründen schwierig:

Die Regeln ändern sich ständig: Neue Arten von Fehlverhalten tauchen ständig auf. In einer Woche müssen Sie vielleicht nur „Drohungen“ erkennen. In der nächsten Woche erscheint eine neue Kategorie namens „Identitätsbeleidigungen“. Sie müssen diese neue Kategorie sofort lernen.
Sie haben nur sehr wenige Beispiele: Sie verfügen nicht über eine riesige Bibliothek vergangener Beispiele, die Sie studieren könnten. Sie haben vielleicht nur ein oder fünf Beispiele für die neue Kategorie „Identitätsbeleidigungen“.

Traditionelle Computermodelle (wie Standard-KI) scheitern hier meistens. Wenn man sie bittet, eine neue Kategorie mit nur einem einzigen Beispiel zu lernen, werden sie verwirrt oder erfinden Antworten. Wenn man versucht, ihnen eine riesige Liste von Regeln zum Lesen zu geben, werden sie von den Hintergrundgeräuschen überwältigt und übersehen die wichtigen Details.

Die Lösung: GORAG (Die intelligente, lebendige Karte)

Die Autoren schlagen ein neues System namens GORAG (Graph-based Online Retrieval Augmented Generation) vor. Betrachten Sie GORAG nicht als ein statisches Buch, sondern als eine lebendige, atmende Karte, die sich in Echtzeit selbst aktualisiert.

So funktioniert es, unterteilt in drei einfache Schritte:

1. Die Karte erstellen (Offline Graph Indexing)

Anstatt nur Text zu lesen, erstellt GORAG eine gewichtete Karte.

Die Knoten (Punkte auf der Karte): Dies sind die Schlüsselwörter, die im Text gefunden werden (z. B. „Krypto“, „Milliardär“), und die Labels (z. B. „Betrug“).
Die Kanten (Linien, die Punkte verbinden): Diese Linien verbinden Schlüsselwörter mit den Labels, zu denen sie gehören.
Das Gewicht (Wie dick die Linie ist): Das ist das Geheimrezept. Nicht alle Verbindungen sind gleich. Wenn das Wort „Krypto“ in einem „Betrug“-Post erscheint, ist die Linie, die sie verbindet, dick und stark. Wenn es in einem neutralen Post erscheint, ist die Linie dünn.

Analogie: Stellen Sie sich ein Spinnennetz vor. Einige Fäden sind dick und stabil (starke Verbindungen), während andere dünn und schwach sind. Dies hilft dem System zu wissen, welche Hinweise tatsächlich wichtig sind.

2. Den richtigen Pfad finden (Graph Retrieval)

Wenn ein neuer Text eingeht, liest GORAG ihn nicht blind. Es extrahiert die Schlüsselwörter und schaut auf seine Karte.

Es fragt: „Welche Teile des Netzes sind mit diesen Schlüsselwörtern verbunden?“
Es erstellt einen Minimum-Cost Spanning Tree (MST).
- Analogie: Stellen Sie sich vor, Sie sind ein Lieferfahrer, der fünf bestimmte Häuser (Schlüsselwörter) besuchen muss, aber so wenig Benzin wie möglich verbrauchen möchte. Sie zeichnen die effizienteste Route, die alle diese Häuser verbindet, ohne Kreise zu ziehen.
Entlang dieser effizienten Route wählt GORAG die „Label“-Schilder (wie „Betrug“ oder „Scam“), die den Schlüsselwörtern am nächsten liegen.
Warum das intelligent ist: Es verwendet keine feste Regel (wie „wähle immer die Top 5“). Es passt sich an den spezifischen Text an. Wenn die Schlüsselwörter stark auf „Betrug“ hindeuten, führt die Karte es natürlich dorthin. Wenn sie woanders hindeuten, geht es dorthin. Dies löst das Problem, dass das System zu starr wäre.

3. Die Karte aktualisieren (Online Indexing)

Nachdem die KI eine Vermutung angestellt hat, hört GORAG nicht einfach auf. Es lernt.

Wenn der Text ein neues Wort enthielt, das noch nicht auf der Karte war, fügt GORAG es hinzu.
Es zieht eine neue Linie, die dieses neue Wort mit dem Label verbindet, das es gerade vorhergesagt hat.
Analogie: Es ist wie eine GPS-App, die jedes Mal eine neue Abkürzung lernt, wenn man sie fährt. Wenn das nächste Mal jemand nach einer Route mit diesem neuen Wort fragt, ist die Karte bereits aktualisiert und intelligenter.

Warum ist das besser als andere Methoden?

Das Paper vergleicht GORAG mit anderen Methoden und stellt fest, dass es aus drei Hauptgründen gewinnt:

Keine „Einheitslösungen“-Fehler: Alte Graph-Systeme behandeln jede Verbindung gleich. GORAG weiß, dass manche Wörter wichtiger sind als andere (der „gewichtete“ Teil).
Kein „Schätzen von Schwellenwerten“: Andere Systeme benötigen einen Menschen, der sagt: „Wähle nur Ergebnisse, bei denen du zu 80 % sicher bist.“ GORAG findet den richtigen Pfad automatisch basierend auf der Struktur der Karte, sodass es nie bei den falschen Einstellungen stecken bleibt.
Es sieht mehr Quellen: Alte Systeme betrachteten nur die wenigen Beispiele, die ihnen gegeben wurden. GORAG betrachtet die Anfrage (den neuen Text) selbst, um Hinweise zu finden, was seine Suche viel umfassender macht.

Die Ergebnisse

Die Autoren testeten dies bei realen Aufgaben wie der Erkennung von Hassrede und Fehlinformationen in Social-Media-Beiträgen.

Genauigkeit: GORAG lieferte konsistent häufiger die richtige Antwort als die anderen Modelle, selbst wenn es nur ein einziges Beispiel (1-shot) gab, um zu lernen.
Effizienz: Es war nicht notwendig, riesige Mengen an Text zu lesen, was Zeit und Geld spart (weniger „Tokens“ werden verbraucht).
Anpassungsfähigkeit: Als in späteren Testrunden neue Kategorien hinzugefügt wurden, passte sich GORAG schnell an, während die Leistung anderer Modelle signifikant sank.

Zusammenfassung

GORAG ist wie ein Detektiv, der eine intelligente, selbst aktualisierende Karte bei sich trägt. Anstatt ein riesiges Lehrbuch auswendig zu lernen, sucht der Detektiv nach den Hinweisen (Schlüsselwörtern), folgt den stärksten Pfaden auf der Karte, um den wahrscheinlichsten Verdächtigen (das Label) zu finden, und aktualisiert dann sofort die Karte mit allen neu gefundenen Hinweisen. Dies ermöglicht es ihm, neue, schwierige Fälle mit sehr wenig Vorerfahrung zu lösen.

Technisches Resümee: GORAG für die dynamische Few-Shot-Klassifizierung von Social-Media-Texten

Problemstellung

Das Paper adressiert die Aufgabe der dynamischen Few-Shot-Klassifizierung von Social-Media-Texten (Dynamic Few-shot Social Media Text Classification, DFSTC). Dieses Szenario umfasst die Klassifizierung von Social-Media-Texten (z. B. Hassrede, Desinformation), bei denen gilt:

Datenknappheit: Es stehen nur wenige gelabelte Beispiele pro Klasse zur Verfügung (Few-Shot).
Dynamische Evolution: Neue Klassen (Labels) entstehen häufig im Laufe der Zeit (z. B. neue Arten von Missbrauch oder Desinformation), was Modelle erfordert, die sich ohne umfangreiches Retraining oder neue gelabelte Daten anpassen können.
Einschränkungen bestehender Ansätze:
- Neuronale Netze (NN): Erfordern eine große Menge an gelabelten Daten für das Fine-Tuning und neigen oft zu Overfitting, wenn die Daten knapp oder unausgewogen sind.
- Datenaugmentation: Generierte Daten weisen oft nicht vielfältige Muster auf und führen zu Overfitting.
- Long Context RAG: Obwohl Large Language Models (LLMs) Few-Shot-Aufgaben bewältigen können, erhöht die Integration von abgerufenen Zusatzinformationen (wie Label-Beschreibungen) die Eingabegröße, was kritische Details in Rauschen untergehen lässt und die Token-Kosten erhöht.
- Bestehende graphbasierte RAG-Ansätze: Aktuelle Ansätze leiden im Kontext von DFSTC unter drei spezifischen Problemen:
  - Uniform-Indizierung: Alle Text-Chunks und Keyword-Extraktionen werden als gleich wichtig behandelt, wobei unterschiedliche Konfidenzniveaus ignoriert werden.
  - Nicht-adaptive Abfrage (Retrieval): Die Abhängigkeit von global vordefinierten Schwellenwerten für das Retrieval, die für spezifische Abfragen oder sich entwickelnde Runden nicht optimal sein können.
  - Enger Quellenfokus (Narrow-source): Informationen werden nur aus einem begrenzten Satz von Trainings-Texten abgerufen, wodurch wertvolle Informationen, die in den Abfragesexten (Queries) auftauchen, ignoriert werden.

Methodik: GORAG

Die Autoren schlagen GORAG (Graph-based Online Retrieval Augmented Generation) vor, ein Framework, das darauf ausgelegt ist, einen adaptiven, Online-gewichteten Graphen zu konstruieren und zu pflegen, um präzisen Kontext für die Klassifizierung abzurufen. Das Framework operiert in drei Kernstadien:

1. Offline-Graph-Indizierung

GORAG konstruiert einen gewichteten Graphen $G_r$ basierend auf den gelabelten Trainingsdaten $D_r$ für die aktuelle Runde $r$ .

Knoten: Der Graph besteht aus Keyword-Knoten (extrahiert aus Texten mittels normierter TF-IDF-Scores) und Label-Knoten (die die Zielklassen repräsentieren).
Mechanismus der Kantengewichtung: Im Gegensatz zur Uniform-Indizierung weist GORAG den Kanten, die Keywords mit Labels verbinden, Gewichte zu. Das Gewicht $w_{v,y}$ wird basierend auf der Bedeutung des Keywords innerhalb des Textkorpus und seiner Verwandtschaft zum spezifischen Label $y$ berechnet. Dies wird aus dem Durchschnitt von $(1 - \text{TF-IDF-Score})$ über alle Texte abgeleitet, die das Keyword enthalten und mit $y$ gelabelt sind.
Graph-Zusammenführung (Merging): Graphen aus vorangegangenen Runden werden mit neuen Graphen zusammengeführt. Um die Konnektivität zwischen alten und neuen Label-Sets sicherzustellen, werden Kanten zwischen neuen und alten Label-Knoten hinzugefügt, wobei die Gewichte als Durchschnitt ihrer Verbindungen zu gemeinsamen Keyword-Knoten berechnet werden.

2. Adaptive Graph-Abfrage (Retrieval)

Für einen gegebenen Query-Text führt GORAG das Retrieval ohne menschlich definierte Schwellenwerte durch.

Keyword-Extraktion: Keywords werden aus dem Query-Text extrahiert. Jene, die bereits im Graphen existieren ( $V_{exist}$ ), werden für das Retrieval verwendet; neue Keywords ( $V_{notexist}$ ) sind für die Online-Indizierung reserviert.
Minimaler Spannbaum (Minimum-Cost Spanning Tree, MST): Das Retrieval-Problem wird als Suche nach einem Subgraphen formuliert, der alle extrahierten Keyword-Knoten mit dem minimalen Gesamtkantengewicht verbindet (ein NP-schweres Steiner-Baum-Problem).
Greedy-Lösung: Ein Greedy-Algorithmus (basierend auf Melhorns Algorithmus) approximiert die Lösung. Er konstruiert einen Minimalen Spannbaum (MST) über den Graphen, der die Query-Keywords einschließt.
Kandidatenauswahl: Alle Label-Knoten, die innerhalb dieses generierten MST enthalten sind, werden als Kandidaten-Label-Set $\hat{Y}_r$ abgerufen. Dies stellt sicher, dass nur Labels berücksichtigt werden, die semantisch über den effizientesten Pfad mit den Query-Keywords verbunden sind, wodurch die Notwendigkeit willkürlicher Schwellenwerte entfällt.

3. Klassifizierung & Online-Graph-Indizierung

Klassifizierung: Das LLM erhält den Query-Text, die abgerufenen Kandidaten-Labels und deren Beschreibungen (falls verfügbar), um die finale Klassifizierung durchzuführen.
Online-Indizierung: Um das Problem des „engen Quellenfokus“ zu lösen, aktualisiert das Framework den Graphen in Echtzeit. Keywords, die aus dem Query-Text extrahiert wurden und noch nicht im Graphen existieren, werden als neue Knoten hinzugefügt. Sie werden mit dem prädizierten Label des Query-Texts verbunden, wobei die Gewichte über denselben Kantengewichtungsmechanismus berechnet werden. Dies bereichert den Graphen für zukünftige Abfragen, wobei der Mechanismus jedoch Strafen (Penalties) enthält, um Rauschen aus potenziell ungenauen LLM-Klassifizierungen zu reduzieren.

Zentrale Beiträge

Framework-Vorschlag: Einführung von GORAG, einem Online-RAG-Framework speziell für DFSTC, das die Probleme der Uniform-Indizierung, der nicht-adaptiven Abfrage und des engen Quellenfokus adressiert.
Kantengewichtungsmechanismus: Eine neuartige Methode zur Gewichtung der Kanten zwischen Keywords und Labels basierend auf der Korpus-Relevanz und Label-Relevanz, was eine präzisere Modellierung von Beziehungen ermöglicht.
Adaptive Retrieval-Formulierung: Formulierung der Kandidaten-Label-Abfrage als Steiner-Baum-Problem und Bereitstellung einer effizienten Greedy-Algorithmus-Lösung, die menschlich definierte Schwellenwerte eliminiert.
Empirische Validierung: Umfangreiche Experimente, die die Effektivität und Effizienz von GORAG über verschiedene Social-Media-Abuse- und Misinformation-Detection-Benchmarks hinweg demonstrieren.

Experimentelle Ergebnisse

Die Autoren evaluierten GORAG auf drei Datensätzen: CAD (Social-Media-Missbrauch), WOS (akademische Abstracts) und IFS-Rel (Web-News-Desinformation).

Effektivität: GORAG übertraf alle Baselines (einschließlich NN-basierter Modelle wie Entailment, Long-Context-RAGs wie NaiveRAG und LongLLMLingua sowie Graph-basierten RAGs wie GraphRAG, LightRAG und HippoRAG) in allen Runden und Shot-Einstellungen (1-shot, 5-shot, 10-shot).
- Auf dem IFS-Rel-Datensatz (1-shot) erreichte GORAG in Runde 1 eine Genauigkeit von 96,88 % und übertraf damit signifikant den nächstbesten Wert (LightRAG mit 75,78 %).
- GORAG behielt eine wettbewerbsfähige Genauigkeit bei, während die Anzahl der Runden zunahm (bis zu 8 Runden), wohingegen Baselines wie GraphRAG und NaiveRAG deutliche Leistungseinbußen zeigten.
Effizienz:
- Token-Kosten: GORAG verbrauchte signifikant weniger Token pro Query (z. B. 557,5 Token auf IFS-Rel) im Vergleich zu Graph-basierten RAG-Baselines (z. B. GraphRAG mit 9296,3 Token), was zu geringeren Kosten führte.
- Zeit: Trotz der Online-Indizierung erreichte GORAG eine vergleichbare oder bessere Zeiteffizienz als die Baselines.
- Speicher: Der Graph-Speicherverbrauch blieb niedrig (unter 50 KB für den getesteten Datensatz), was die Skalierbarkeit zeigt.
Ablationsstudien: Das Entfernen der Online-Indizierung („GORAG offline“) oder des Kantengewichtungsmechanismus („GORAG unit“) führte zu einer geringeren Genauigkeit, was die Notwendigkeit beider Komponenten bestätigt.

Bedeutung und Ansprüche

Das Paper behauptet, dass GORAG eine robuste Lösung für reale Szenarien bietet, in denen Klassifizierungsaufgaben dynamisch mit begrenzten gelabelten Daten verlaufen. Durch die Nutzung eines gewichteten Graphen und einer adaptiven Abfrage via MST:

Bewahrt GORAG feingliedrige, Entitäts-basierte Informationen, die in Long-Context-RAG-Ansätzen oft verloren gehen.
Passt es sich an neue Klassen und Label-Updates an, ohne dass umfangreiches Retraining oder manuelle Schwellenwert-Justierung erforderlich ist.
Reduziert es das „Lost-in-the-Middle“-Problem und die hohen Token-Kosten, die mit proprietären LLMs beim Umgang mit langen Kontexten verbunden sind.
Zeigt, dass eine präzise, graphbasierte Abfrage die LLM-Leistung in Few-Shot-Szenarien und dynamischen Klassifizierungsaufgaben, insbesondere für sensible Anwendungen wie die Erkennung von Hassrede und Desinformation, signifikant verbessern kann.

Die Autoren kommen zu dem Schluss, dass GORAG effektiv die Balance zwischen dem Bedarf an umfassendem Kontext und den Einschränkungen dynamischer Few-Shot-Umgebungen hält und somit einen praktischen Ansatz für „Web for Good“-Anwendungen bietet.